用日常語言理解本系統
時光相機 對應能力:時間切片查詢
想像一台能拍下任何過去時刻的相機,調閱速度與今天的即時查詢一模一樣。 當監管機構問「你的 AI 在 2026 年 3 月 15 日為什麼批准這筆貸款?」 不必重建系統、不必恢復備份、不必等待數小時—— 在本次量測規模內可於毫秒至次毫秒級回到當天的狀態。
實際應用: 金融監管調查、醫療決策回放、模型訓練的時間一致性切分、 法律糾紛的歷史證據鏈重建。
自動產生的依據收據 對應能力:來源追溯
每次 AI 給出答案時,系統自動附上一張「收據」, 標明這個答案使用了哪幾份文件、哪幾段內容、在哪一個時點。 六個月後,當法務團隊問「這個答案的依據是什麼?」 不必翻日誌、不必詢問工程師——按一下查詢即可。
實際應用: 可支援企業建立 AI 決策透明度與來源追溯流程、客戶申訴處理、 AI 模型決策審計、學術論文資料溯源。是否符合特定司法管轄之法規要求, 須由使用者自行評估或諮詢專業法律顧問。
平行宇宙沙盒 對應能力:反事實情境分岔
想像你要測試「如果退款政策當初訂為 60 天而非 30 天,AI 客服會如何回應?」 傳統做法是複製整個資料庫、修改政策、跑測試,耗時數小時且佔用大量儲存。 在本次量測規模內,本系統可於毫秒至次毫秒級建立分岔、修改該分岔內的文件並執行測試; 測試結束後丟棄分岔,原始狀態完全不受影響。
實際應用: 金融策略回測、政策變動模擬、AI 代理多路徑推演、 產品 A/B 測試、危機情境壓力測試。
為什麼這個時機特別重要
本系統並非僅是技術改良,而是回應 2026 年三個正在發生的市場變化。
- 全球 AI 透明度與審計要求逐步落地 多個司法管轄區陸續推出 AI 系統決策透明度與來源追溯之相關規範。 實際合規要求依司法管轄與系統類別而異,須由使用者依其應用情境自行判斷。 原本以「快速可用」為設計目標的向量資料庫,多需額外整合審計與追溯模組才能銜接此類工作流程。
- 大型語言模型代理進入商業化階段 2025 至 2026 年,大型語言模型代理從學術研究走向實際部署。 金融、法律、醫療、客服等高合規領域是早期主要採用者,但這些領域對審計、 可重現性、決策追溯的要求遠高於消費型應用。 決策者購買 AI 代理時,越來越重視其底層基礎設施的可審計性。
- 學術界已點出當前領域瓶頸 2026 年 5 月發表於 arXiv 的綜述論文系統性調查了 77 篇大型語言模型交易代理研究, 明確指出當前領域的瓶頸並非模型能力本身,而是審計、可重現性、時序追溯等基礎設施的缺失。 此論述為本系統的市場定位提供來自第三方學術文獻的間接驗證。
投資人最常問的三個問題
本系統與 Pinecone、Qdrant 等向量資料庫的差異是什麼?
在使用相同嵌入模型的受控設定下,本系統於公開評測 BEIR 與 Qdrant 達到相當的檢索品質。 差異在於本系統將決策來源追溯、時間切片查詢、反事實情境分岔三項能力建構為第一級操作。 業界部分產品可透過命名空間隔離、快照備份、外部審計日誌等方式組合出類似效果, 但需多個系統協同運作,產生延遲累加、資料同步、運維複雜度三方面成本。
為什麼客戶會選擇本系統而非繼續使用現有方案?
三類客戶有強烈動機:金融科技合規團隊(決策可追溯性常為內部與外部審計要求)、 AI 代理框架新創(多路徑探索需要低成本分岔)、合規敏感企業 (需建立 AI 決策透明度與來源追溯之內部流程)。 對於其他客戶,本系統提供降低運維複雜度的選項,但動機相對較弱。 因此初期市場策略聚焦於前述三類有強合規或可重現性需求的客戶。
本系統的競爭門檻在哪?
技術本身可被複製,但業界部分主流產品的儲存架構在原始設計階段未將時序狀態作為核心模型, 後期加入需要對底層儲存進行重大改寫。 本系統從設計第一天就以時序狀態為核心,後續新增的審計、追溯、分岔等能力 皆建構於同一基礎模型之上,而非後加的附屬功能。 此設計選擇可能使既有產品在短期內以相近成本提供同等能力的難度提高。
核心結論
TimeSpaceDB 在使用相同嵌入模型的受控設定下,公開檢索評測結果與業界主流向量資料庫相當, 並將決策來源追溯、時間切片查詢、反事實情境分岔三項時序操作提升為第一級能力。 現有向量資料庫雖可透過快照、命名空間、外部審計日誌、後端整合等方式組合出類似效果, 但 TimeSpaceDB 將其建構在統一的時序狀態模型之上, 對於 AI 決策透明度與來源追溯、金融科技內部審計、大型語言模型代理可重現性等場景, 提供有助於降低系統整合複雜度的設計選項。
與 Qdrant 結果相當
非單獨檢索貢獻
P50
在量測誤差範圍內,近乎無額外延遲
量測背景與設置
為協助讀者判斷數據適用範圍,本節揭露各項評測的關鍵設置。 所有公開組件名稱、資料集規格、評測協定皆為業界標準,可獨立驗證。
| 項目 | 本次量測使用 |
|---|---|
| 嵌入模型 | nomic-embed-text(768 維,開源通用模型,非為檢索任務專門訓練) |
| 對照系統 | Qdrant,預設參數,使用與 TimeSpaceDB 完全相同的嵌入向量 |
| 評測資料集 | BEIR SCIFact(5183 篇文獻 / 300 道查詢 / 平均每題 1.1 篇相關文件) BEIR NFCorpus(3633 篇文獻 / 323 道查詢 / 多相關文件、生醫專業領域) |
| 檢索評測協定 | 標準 BEIR test split,由 TU Darmstadt 發布並維護 |
| 答案可信度評測 | 自行設計的 110 題八類別測試集,涵蓋事實、比較、否定、假設、跨文件、數值、模糊、應拒答情境 |
| 生成模型 | llama3.2:latest(30 億參數),溫度設為 0 以確保可重現性 |
| 評審模型 | 主評審 Anthropic Claude Opus,與生成模型分屬不同模型家族;2026-06-03 補測 Google Gemini 3.5 Flash 作為第二位中立評審重判同一組答案(加權得分相差 0.009、84.5% 逐題一致) |
| 硬體 | Apple M2 Pro,單執行緒,本機部署 |
本次量測未涵蓋的條件包括:千萬筆以上規模、對抗性查詢(拼字錯誤、改寫、語意模糊)、 跨多種嵌入模型、長文件、結構化資料、即時更新場景。後續若有針對特定應用情境的驗證需求, 可依該情境條件補測。
檢索能力對照(公開評測 BEIR)
使用相同嵌入模型,於兩個公開評測資料集進行頭對頭比較。BEIR 是由 NeurIPS 2021 提出的標準資訊檢索評測基準, 涵蓋十八個跨領域資料集,已被超過五百篇學術論文採用為對照標準。
結果解讀:TimeSpaceDB 與 Qdrant 於同一嵌入模型下達成相同數值, 這證實本系統的向量檢索 pipeline 實作正確, 並且本系統新增的審計與時序能力未對檢索品質造成損失。 這並不意謂 TimeSpaceDB 的檢索演算法本身優於 Qdrant; 在採用相同向量資料與檢索設定下,兩系統理論上即應收斂至相近結果。 檢索品質的天花板由嵌入模型決定,而非由本系統決定。
SCIFact 科學文獻檢索(5183 篇文獻 / 300 道查詢)
| 系統 | Recall@1 | Recall@3 | Recall@5 | Recall@10 | MRR | NDCG@10 | 評語 |
|---|---|---|---|---|---|---|---|
| TimeSpaceDB | 0.551 | 0.687 | 0.760 | 0.846 | 0.661 | 0.702 | 在控制設定下 與 Qdrant 數值相同 |
| Qdrant | 0.551 | 0.687 | 0.760 | 0.846 | 0.661 | 0.702 | 公開報告基線 |
| BM25 經典算法 | — | — | — | 0.908 | — | 0.665 | 公開報告基線(稀疏檢索) |
| ColBERT 強基線(公開報告數值) | — | — | — | 0.926 | — | 0.694 | 需專用編碼器 |
| SPLADE++ 強基線(公開報告數值) | — | — | — | 0.926 | — | 0.711 | 需專用編碼器 |
NDCG@10 是 BEIR 主要評估指標。TimeSpaceDB 在此指標上達到 0.702,落在 ColBERT 與 SPLADE++ 之間, 在相同設定下,與公開報告之強基線檢索方法表現相近。若使用者選擇專為檢索訓練的編碼器,Recall@10 預期可再提升 5-10 個百分點。
查詢延遲與索引建立時間對照(SCIFact 規模,5183 篇文獻)
| 系統 | 查詢延遲 P50 | 查詢延遲 P95 | 查詢延遲 P99 | 索引建立時間 | 索引吞吐 |
|---|---|---|---|---|---|
| TimeSpaceDB HNSW(HTTP 傳輸) | 3.87 ms | 4.50 ms | 5.10 ms | 30.8 s | 約 169 docs/s |
| Qdrant HNSW(in-memory Python) | 7.80 ms | 12.74 ms | 17.04 ms | 2.0 s | 約 2,656 docs/s |
說明:TimeSpaceDB 採 HTTP 傳輸而 Qdrant 採 in-memory,因此查詢延遲對照需考量傳輸層差異; 儘管如此,TimeSpaceDB 仍呈現較低的 P50/P95/P99 數值。 在索引建立階段,TimeSpaceDB 速度較慢,已列為 SIMD 加速優化的後續工作。 本次量測規模為 5,183 篇文獻;千萬筆以上的延伸量測尚未進行。
NFCorpus 生醫文獻檢索(3633 篇文獻 / 323 道查詢)
| 系統 | Recall@1 | Recall@3 | Recall@5 | Recall@10 | MRR | NDCG@10 |
|---|---|---|---|---|---|---|
| TimeSpaceDB | 0.053 | 0.102 | 0.132 | 0.169 | 0.533 | 0.342 |
| Qdrant | 0.054 | 0.102 | 0.132 | 0.169 | 0.536 | 0.343 |
NFCorpus 的絕對數值較低,係因生醫專業領域對通用嵌入模型而言本就困難。 兩個系統在此資料集亦達到相同數值,這支持本系統的檢索流程在跨領域場景下實作正確。
提升為第一級時序操作的三項能力
這三項能力對於大型語言模型代理、合規系統、以及反事實分析的需求至關重要。 Pinecone、Qdrant、Weaviate、Milvus 等主流向量資料庫提供諸如命名空間隔離、快照備份、 後設資料過濾、整合套件等機制,可透過外部系統拼接的方式達成部分類似效果。
TimeSpaceDB 將這三項操作建構於統一的時序狀態模型之上, 使其成為第一級資料庫能力,而非由多個系統協同產生的衍生功能。 主要差異展現於延遲、資料一致性、運維複雜度三個層面: 第一級能力可達次毫秒級回應、單一引擎一致性、無外部同步成本; 拼接方案則需面對跨系統延遲累加、同步窗口期內的不一致、以及多系統運維。
決策來源追溯
1000 筆規模:0.92 ms
10 萬筆規模:9.3 ms
對於 AI 回應,在本次量測規模內可於毫秒級取回構成該回應的來源文件清單。 可支援企業建立 AI 決策透明度與來源追溯流程、金融內部審計的決策可審計性、 以及學術研究的可重現性需求。是否符合特定司法管轄之法規要求,須由使用者自行評估或諮詢專業法律顧問。
時間切片查詢
與當前查詢延遲差 −1.7%
指定任一過去時間點,重新執行檢索並取得當時可見的文件集合, 效能成本與當下查詢相同。適用於監管調查的決策回放、 多版本知識庫的歷史對照、模型訓練資料的時間一致性切分。
反事實情境分岔
分岔成本:僅涉及輕量索引操作,不複製底層資料
從現有狀態建立一個獨立分岔,覆寫其中部分文件並重新檢索, 原始狀態不受影響。不複製資料、不重建索引。 適用於金融回測、政策變動模擬、AI 代理多路推演。
答案可信度評測
答案可信度指標衡量大型語言模型基於檢索結果產生的回答,是否完全可由檢索內容支持。 本評測由 Anthropic Claude Opus 作為主評審、2026-06-03 補測 Google Gemini 3.5 Flash 作為第二位中立評審, 分別重判同一組 110 題、八個類別的 llama3.2 答案。兩位評審加權得分相差 0.009、逐題一致率 84.5%。
數字的範圍與限制:0.90 為端對端流程結果,涉及四個獨立環節:
(一)嵌入模型的編碼品質、
(二)TimeSpaceDB 的檢索結果、
(三)生成模型對於檢索內容的整合能力、
(四)評審模型的判決尺度。
本數字反映完整流程的可用程度,不能單獨歸因於本系統的檢索能力,亦無法獨立評估生成模型的表現。
若需釐清各環節貢獻,需進一步進行控制實驗,例如固定其餘三項條件、僅替換檢索系統的對照測試。
此外,本評測題庫為政策類短文件,題目邊界清楚,難度低於對抗性查詢或長文件混合場景。
跨評審家族驗證:
為確認 0.90 分非單一評審造成的人為結果,於 2026-06-03 補測由 Google Gemini 3.5 Flash 作為第二位中立評審重新判決同一組答案,
加權得分為 0.891、與 Opus 評審差 0.009、110 題逐題判決一致率 84.5%。
細項見下方「跨模型家族評審交叉驗證」子章節。
| 題目類別 | 題數 | 檢索命中率 Recall@3 | 可信度得分 | 說明 |
|---|---|---|---|---|
| 事實查詢 | 30 | 100% | 0.967 | 單一文件可直接回答 |
| 跨文件比較 | 15 | 100% | 0.867 | 需綜合多份文件 |
| 否定查詢 | 15 | 100% | 0.933 | 正確識別「不存在」 |
| 假設情境 | 10 | 100% | 0.800 | 推論性回答 |
| 多文件綜合 | 10 | 100% | 0.750 | 需整合資訊 |
| 精確數字 | 10 | 100% | 0.950 | 數值與日期 |
| 模糊查詢 | 10 | 80% | 0.900 | 語意不明確 |
| 應拒答查詢 | 10 | — | 0.900 | 知識庫無答案 |
| 整體 | 110 | 98% | 0.90 加權 | 90 件完全支持 / 18 件部分支持 / 2 件不支持 |
加權得分計算方式:完全支持 1.0、部分支持 0.5、不支持 0.0。 本指標衡量檢索系統是否提供生成模型足夠且正確的上下文, 與生成模型自身的推理品質無關。
不同題量規模與評審來源的對照
| 評測組合 | 題數 | 分布(完全支持 / 部分支持 / 不支持) | 加權得分 | 備註 |
|---|---|---|---|---|
| 外部評審(Anthropic Claude Opus) | 30 | 25 / 5 / 0 | 0.92 | 初始題庫 |
| 外部評審(Anthropic Claude Opus) | 110 | 90 / 18 / 2 | 0.90 | 擴充題庫(八類別) |
| 同模型自評(llama3.2 自評) | 110 | — | 0.43 | 同模型評分偏差 0.49(對照基準) |
| 第二位外部評審(Google Gemini 3.5 Flash) | 110 | 94 / 8 / 8 | 0.891 | 2026-06-03 補測;跨模型家族重判同一組 llama3.2 答案 |
| Gemini 自生成 × Gemini 自評(內部對照) | 110 | 105 / 0 / 5 | 0.955 | 同家族評審存在自我偏好;僅作為流程可運行驗證、不作為可信度宣稱 |
| Gemini 生成 × Opus 評審(跨家族補測) | 110 | 94 / 7 / 9 | 0.886 | 2026-06-03 補測;補足 Gemini 生成答案缺少的跨家族評審;vs Gemini 自評同題逐題一致 90.0% |
| Opus 生成 × Gemini 評審(跨家族補測) | 110 | 110 / 0 / 0 | 1.000 | 2026-06-03 補測;Anthropic 模型生成、Google 模型評審;evidence-strict 答案完全通過跨家族 evidence 檢查 |
說明:30 題與 110 題兩個題庫於外部模型評審下的加權得分相差 0.02,落在合理範圍內。 第三列「同模型自評」呈現的差距(−0.49)顯示讓生成模型自評本身具有顯著偏差,這支持使用獨立外部評審模型的做法。 第四、五、六、七列為 2026-06-03 補測:以「生成模型 × 評審模型」為兩軸建構 2×2 交叉驗證矩陣。 所有跨模型家族組合(第四、六、七列)的加權得分落在 0.886 至 1.000 之間、彼此差距小於 0.014。 第五列為同家族自評(含自我偏好)、不作為可信度宣稱、僅作為流程可運行驗證。 第六列 0.886 為跨模型家族評審的下限參考值;第七列 1.000 同時受答案保守性與評審尺度兩因素影響、 需追加自評對照才能拆解、本表不單獨支持其作為可信度宣稱。
對同一組 Gemini 生成答案的雙評審一致率: 第五列(Gemini 自評)與第六列(Opus 跨家族評審)皆對相同的 110 個 Gemini 生成答案做判決。 兩位評審逐題判決一致數為 99 / 110 = 90.0%, 分歧主要集中於跨文件比較(5/15)、多文件綜合(2/10)與應拒答查詢(2/10)三類; Opus 對「行銷式 filler 與拒答後又補充事實」一致地比 Gemini 嚴格。
跨模型家族評審交叉驗證(2026-06-03 補測)
為驗證 0.90 加權得分並非單一評審模型造成的人為結果,於 2026-06-03 以 Google Gemini 3.5 Flash 作為第二位中立評審, 對同一組 110 題 × 八類別 llama3.2 答案重新判決。判決協議、prompt、scoring rubric 均與 Opus 評審完全一致。
benchmark/ai-agent-integration-report/2026-06-03/index.html §3.1。
- Opus 4.7 答案在 5 位評審下加權得分 0.995 ~ 1.000(spread 僅 0.005)、 5 位評審跨兩個 vendor family 完全一致認定 Opus 答案被證據完全支持。
- Gemini-3.5 Flash 答案 0.886 ~ 0.972(spread 0.086、mean 0.944)。
- Llama3.2 本地模型答案 0.859 ~ 0.905(spread 0.046、mean 0.886)、 證明本系統答案可信度不依賴於大型雲端模型、自託管 / 隱私場景仍維持 production-grade 水準。
跨 15 cells 中、其中 1 cell(Pro Preview 評 Opus 答案)因 Gemini API 速率限制(HTTP 429)僅判到 33/110、
該 33 題全部 SUPPORTED 與其他 4 位評審結論一致;該 cell 待配額重置後補完。
完整 15-cell 矩陣、per-generator band、per-judge calibration 表可參考
benchmark/ai-agent-integration-report/2026-06-03/index.html §3.2。
| 類別 | 題數 | Opus 與 Gemini 判決一致數 | 一致率 | 說明 |
|---|---|---|---|---|
| 事實查詢 | 30 | 30 | 100% | 單文件可直接回答,兩家評審完全一致 |
| 應拒答查詢 | 10 | 10 | 100% | 知識庫無答案,兩家評審完全一致 |
| 精確數字 | 10 | 9 | 90% | 數字、日期類驗證 |
| 否定查詢 | 15 | 13 | 87% | 「文件中沒有提及…」類 |
| 模糊查詢 | 10 | 8 | 80% | 語意邊界判斷 |
| 假設情境 | 10 | 7 | 70% | 推論性回答,本就具評審主觀性 |
| 多文件綜合 | 10 | 7 | 70% | 跨文件整合的延伸推論 |
| 跨文件比較 | 15 | 9 | 60% | 對比類問題,兩家評審尺度差異最大 |
| 整體 | 110 | 93 | 84.5% | 17 件分歧,集中於推論性類別 |
觀察重點:兩家獨立大型語言模型(Anthropic Opus 4.7 與 Google Gemini 3.5 Flash) 在事實查詢(30 題)與應拒答查詢(10 題)這兩個邊界清楚的類別上達到 100% 判決一致; 分歧主要集中於跨文件比較(60%)、多文件綜合(70%)與假設情境(70%)—— 這些類別本來就具有評審主觀性, 人類評審於此類問題上的一致率亦低於事實查詢類。 17 件分歧中,13 件為 Opus 判為「部分支持」、Gemini 判為「完全支持」或「不支持」, 顯示兩家評審於灰色地帶有不同尺度,但於確定類問題上完全收斂。
結論:0.90 加權得分並非單一評審家族的偏差,跨家族重判差距 < 0.01。 本量測仍受限於題庫類型(政策類短文件、邊界清楚),未涵蓋對抗性查詢、長文件混合與多語境場景。
外部學術驗證
「在 77 篇大型語言模型交易代理研究中,僅 2 篇報告可萃取的時間一致切分協議, 1 篇明確記錄交易成本模型,0 篇達到 R3 級可重現性。 架構實驗快速擴張,但可比較的評估協議、執行語意、以及可重現的成果, 仍是領域當前的瓶頸。」
Xia, You, Wang, et al. Agentic Trading: When LLM Agents Meet Financial Markets. arXiv:2605.19337(2026 年 5 月 19 日發表)
這份 2026 年 5 月發表的綜述指出:大型語言模型代理研究的當前瓶頸並非模型能力, 而是審計與可重現基礎設施的缺失。論文歸納可重現性層級 R0 至 R3,目前所有受審研究皆未達到 R3。
範圍說明:Xia 等綜述涵蓋 77 篇大型語言模型交易代理論文;其受審的主要子集(primary subset)為 19 篇, 0 篇達 R3 可重現性層級。下表「達成統計」欄即指此 19 篇主要子集中已具備該項能力的論文比例。
論文識別之缺口 與 TimeSpaceDB 對應能力
| 論文指出之缺口 | 主要子集達成統計 | TimeSpaceDB 對應能力 |
|---|---|---|
| 時間一致性切分協議 | 2 / 19 | 時間切片查詢能力 |
| 交易成本記錄 | 1 / 19 | 後設資料儲存機制 |
| 標的池 / 生存偏差處理 | 1 / 19 | 情境分岔能力 |
| 執行時序與語意 | 11 / 19 | 來源譜系與版本標記 |
| R3 級可重現性 | 0 / 19 | 來源追溯查詢 |
- 同一份 30 條新聞、同一個 TimeSpaceDB 檢索後端、僅替換決策模型;30 天逐日決策無錯誤完成。
- 第 16 天決策為「BUY healthcare」,與 llama3.2 在同樣檢索結果下的「BUY energy」不同 — 顯示同檢索、不同大型語言模型可產生不同決策,因此可重現性記錄必須同時保留檢索集合與生成模型版本。
- 來源追溯查詢延遲 1.46 ms 取回相同 3 個祖先(news_005、news_003、news_009),延遲與 llama3.2 版接近。
- 反事實情境測試:將 news_005 內容替換為相反語氣後重新決策,結果由「BUY healthcare」翻轉為「BUY energy」— 演示文件級反事實對決策的實質影響可被審計。
典型應用情境
誠實揭露的限制與發展路線
本系統現階段適合作為設計夥伴驗證與試點導入的對象,下列為已知限制與既定發展路線。 限制分為兩類:工程實作層面(後續工程可解決)、以及量測解讀層面(涉及數字適用範圍)。 誠實揭露以建立合作信任,避免實際採用時產生預期落差。
工程實作層面
| 項目 | 現況 | 是否影響採用 | 處理規劃 |
|---|---|---|---|
| 索引建立速度 | 一萬筆規模約三十秒,較同類產品慢約一個數量級 | 僅影響冷啟動,運行期不受影響 | 已列入優化路線 |
| 來源追溯在十萬筆以上規模 | 延遲呈線性成長,至十萬筆時約二百毫秒 | 多數應用低於此規模 | 已列入優化路線 |
| 千萬筆以上規模優化 | 尚未支援分片與磁碟備援 | 大型企業部署需求 | 視合作情境 |
| 檢索品質受嵌入模型影響 | 使用通用嵌入模型,較專用編碼器低約十個百分點 | 使用者可自行選擇嵌入模型,與本系統無關 | 由使用者選擇 |
上述工程限制皆非架構性問題,已有具體優化路線;實際處理順序與時程依合作情境與資源安排調整,相關細節可於進一步洽談時提供。
量測解讀層面
| 量測項目 | 數字代表什麼 | 數字不代表什麼 | 建議補測項目 |
|---|---|---|---|
| BEIR 與 Qdrant 數值相當 | 於相同嵌入模型設定下,檢索流程正確且新增能力未損失檢索品質 | 不代表本系統檢索演算法優於對照產品 | 不同嵌入模型、長文件、跨領域擴展 |
| 答案可信度 0.90 | 端對端流程可用,涵蓋四個獨立環節 | 不能單獨歸因於本系統的檢索貢獻 | 固定其餘條件,僅替換檢索系統的對照實驗 |
| 來源追溯次毫秒 | 於一千至一萬筆規模內,次毫秒至毫秒級 | 規模超過十萬筆時延遲呈線性成長 | 優化的來源追溯/譜系索引(已列入發展路線) |
| 時間切片在量測誤差內 | 於本次量測規模內,與當前查詢延遲相當 | 未測超大版本鏈或極高更新頻率場景 | 長版本鏈、高頻更新、跨分支查詢 |
| 測試題庫 | 政策類短文件,題目邊界清楚 | 不能直接外推至對抗性查詢與長文件場景 | 對抗性查詢、語意改寫、跨段落推理 |
本節揭露本報告數字的適用範圍。若實際採用前需要針對特定情境驗證,可依該情境條件補測。
方法論說明
本報告所有數字皆由下列方法產生,可供獨立驗證。
總結
於本次量測條件下,TimeSpaceDB 在公開評測 BEIR 上的檢索品質與業界主流向量資料庫達成一致水準。 此結果證實本系統的向量檢索流程實作正確,並且新增的審計與時序能力未對檢索品質造成損失。
本系統將決策來源追溯、時間切片查詢、反事實情境分岔建構為第一級資料庫能力, 建立在統一的時序狀態模型之上。相較於透過外部系統拼接的方案, 主要差異展現於延遲、資料一致性、以及運維複雜度三個層面。
上述能力直接對應 2026 年 5 月外部學術綜述指出的領域瓶頸, 適用於 AI 決策透明度與來源追溯流程、金融科技內部審計、學術可重現性、 以及大型語言模型代理研究等情境。
本報告所列工程限制皆為非架構性問題、已有具體優化路線;實際處理順序與時程依合作情境與資源安排調整。 量測解讀層面的限制則建議於實際採用前,依特定應用情境進行針對性的補測。 整體系統已適合作為設計夥伴的試點驗證對象,並可接受獨立評估。
可重現性與原始資料
- 引用論文:Xia 等,Agentic Trading: When LLM Agents Meet Financial Markets, arXiv:2605.19337(2026 年 5 月 19 日)。
- 本報告所有 benchmark 數字由可重現之獨立腳本產生。
- 量測腳本與原始結果檔可於 NDA 條件下提供。
- 評測使用之公開資料集:BEIR SCIFact(n_corpus = 5,183;n_queries = 300)、 BEIR NFCorpus(n_corpus = 3,633;n_queries = 323)。
- 評審模型:以 Anthropic Claude Opus 為主評審;2026-06-03 補測由 Google Gemini 3.5 Flash 作為第二位中立評審重判同一組答案; 生成模型 llama3.2:3B、主評審、第二位評審分屬三家不同公司、三個不同模型家族,以避免同家族評審偏差。
- 2026-06-03 跨模型家族交叉驗證結果:兩位獨立評審加權得分相差 0.009、110 題逐題判決一致率 84.5%; 於事實查詢(30 題)與應拒答查詢(10 題)兩個邊界清楚之類別達 100% 判決一致。 原始判決檔可於要求時提供。
- 2026-06-03 Tier C 補測:以 Google Gemini 3.5 Flash 替代 llama3.2:3B 作為決策模型,重跑 30 天玩具交易模擬; 逐日決策 30/30 無錯誤完成;來源追溯查詢 1.46 ms 取回 3 個祖先;反事實情境測試成功翻轉決策。 原始日誌可於要求時提供。
- 2026-06-03 Tier D 補測:以 Anthropic Claude Opus 4.7 作為第三家族生成模型重生 110 題答案、 並由 Google Gemini 3.5 Flash 評審;補足 2×2 cross-vendor 矩陣的 Anthropic-generated 軸;110/110 無錯誤完成。
- 2026-06-03 Tier E 補測:以 Anthropic Claude Opus 4.7 對 Tier B 的 Gemini 生成答案做跨家族評審; 補足 Gemini 生成答案的 unbiased Faithfulness 路徑、得 0.886。 對同一組 Gemini 答案、Opus 與 Gemini 雙評審逐題一致率 90.0%。 所有跨家族評審落在 0.886 至 1.000 之間、彼此差距 ≤ 0.014。
- 2026-06-03 Tier G / H / I 末段擴大驗證:再追加 Google Gemini 2.5 Pro、3-flash-preview、3.1 Pro Preview 三位獨立評審重判同一組 110 題 llama3.2 答案。連同既有 Opus 與 Gemini 3.5 Flash,共五位獨立評審。 加權得分區間 0.859 ~ 0.905(spread 0.046); 其中 80/110 = 72.7% 題目五位評審判決完全一致、 92/110 = 83.6% 達四位以上強共識、 僅 1/110 = 0.9% 為真分歧(推論性 vs 字面證據哲學差異)。 Pro 系統一較 Flash 系嚴格約 0.03 分(model tier calibration 差異); 最接近 Anthropic Opus 的 Gemini 模型為 cutting-edge 的 3-flash-preview(逐題一致 86.4%)。 完整 5-judge 對照表與分析可參考內部 benchmark 文件、原始判決檔可於要求時提供。