Astute RAG Nghiên cứu ghi chú

Astute RAG 研究筆記

Phân tích phương pháp (Ba bước)

方法拆解（三步驟）

1. Elicitation thích ứng

   自適應 elicitation（適應性 elicitation）
   Trích xuất từ kiến thức nội bộ của LLM các thông tin chính zwią với truy vấn để bổ sung hoặc sửa lỗi các tiếng ồn hoặc sai lầm có thể có trong kết quả truy xuất.

   從 LLM 的內部知識中提取與查詢相關的關鍵資訊，以補充或校正檢索結果中可能的噪聲或錯誤。
2. Consolidation lặp (tích hợp nhận thức nguồn)

   迭代 consolidation（來源感知的迴融）
   Trong khuôn khổ đánh dấu nguồn rõ ràng, thực hiện quá trình tích hợp lặp để kết hợp kiến thức elicitation nội bộ với kiến thức truy xuất bên ngoài qua nhiều vòng, dần giảm thiểu ảnh hưởng của thông tin không liên quan hoặc gây nhầm lẫn.

   在明確來源標記的框架下，將內部 elicitation 知識與外部檢索知識進行多輪融合，逐步降低無關或誤導性資訊的影響。
3. Lựa chọn câu trả lời cuối cùng dựa trên độ tin cậy

   可靠性 based 最終答案選擇（可靠性驅動的答案選擇）
   Theo mức độ tin cậy của thông tin (độ tin cậy của nguồn, nhất quán nội bộ, kiểm tra chéo 등), tính điểm cho từng câu trả lời ứng cử và chọn câu trả lời có điểm cao nhất làm đầu ra cuối cùng.

   根據資訊的可靠度（來源可信度、內部一致性、交叉驗證等）為每個候選答案打分，選擇分數最高的作為最終輸出。

Dữ liệu chính

關鍵數據

• Thử nghiệm sử dụng hai mô hình ngôn ngữ lớn: Gemini và Claude.

  實驗使用 Gemini 與 Claude 兩種大型語言模型。
• Trong điều kiện truy xuất tồi nhất (chứa nhiều thông tin không liên quan, gây nhầm lẫn hoặc đối địch), Astute RAG là phương pháp RAG duy nhất có thể đạt hoặc vượt qua hiệu suất khi sử dụng đơn lẻ LLM truyền thống.

  在最糟檢索條件下（含大量無關、誤導或對抗性內容），Astute RAG 是唯一能達到或超越傳統 LLM 單獨使用性能的 RAG 方法。
• So sánh với基線 RAG được cường hóa độ 견딥 trước đây, Astute RAG đáng kể tăng tỷ lệ đúng của câu trả lời trong tình huống xung đột kiến thức (mức độ tăng cụ thể phụ thuộc vào bộ dữ liệu nhưng đều đạt sự khác biệt có ý nghĩa thống kê).

  相較於先前的 robustness‑enhanced RAG 基線，Astute RAG 在知識衝突情境下顯著提升答案正確率（具體提升幅度依資料集而異，但皆達統計顯著差異）。
• Phân tích sâu hơn cho thấy, phương pháp này hiệu quả giải quyết xung đột giữa kiến thức nội bộ của LLM và kiến thức truy xuất bên ngoài,從 đó nâng cao độ tin cậy và sự ổn định của hệ thống.

  進一步分析顯示，該方法有效解決 LLM 內部知識與外部檢索知識的衝突，進而提升系統的可信度與穩健性。

Ứng dụng cho Hermes

對 Hermes 應用分析

Đối応 với các giai đoạn của content-curation-pipeline

對應 content-curation-pipeline 的環節

1. Thu thập thông tin (công cụ Web Search, Web Extract, v.v.)

   資訊蒐集（Web Search、Web Extract 等工具）
2. Lọc mức độ liên quan và giảm nhiễu

   相關性過濾與去噪
3. Tích hợp kiến thức (ghi vào bộ nhớ, xây dựng liên kết)

   知識整合（寫入記憶庫、建立關聯）
4. Sinh ra đầu ra (trả lời, báo cáo, v.v.)

   輸出生成（回答、報告等）

Các cơ chế có thể Hermes hiện đang thiếu

目前 Hermes 可能缺少的機制

• Thiếu bước trích xuất các dẫn tố quan trọng từ kiến thức nội bộ của LLM một cách thích ứng; thường dựa nhiều vào điểm truy xuất hoặc khớp từ khóa.

  缺乏自適適從 LLM 內部知識中 elicitation 關鍵線索的步驟；多依賴檢索分數或關鍵字匹配。
• Thiếu cơ chế tích hợp lặp có nhận thức nguồn, khiến việc phân biệt nguồn đáng tin cậy và tiếng ồn trong nhiều lượt trao đổi thông tin trở nên khó khăn.

  缺少來源感知的迭代融合機制，難以在多輪資訊交互中區分可信來源與噪聲。
• Thiếu cơ chế lựa chọn câu trả lời cuối cùng dựa trên độ tin cậy, làm dễ dàng ghi trực tiếp thông tin chất lượng thấp vào bộ nhớ.

  缺乏基於可靠性的最終答案選擇，易於將低品質資訊直接寫入記憶。

Cách bổ sung

如何補充

1. Sau khi lấy nội dung trang web gốc bằng web_extract, chèn một module xử lý Astute RAG:

   在 web_extract 取得原始網頁內容後，插入一個 Astute RAG 處理模組：
   • Gọi LLM để thực hiện elicitation thích ứng, tạo ra gợi ý kiến thức nội bộ.

     呼叫 LLM 進行自適應 elicitation，產生內部知識提示。
   • Dựa trên đánh dấu nguồn (URL, domain, v.v.), thực hiện consolidation lặp để kết hợp có trọng số giữa gợi ý nội bộ và văn bản bên ngoài.

     以來源標記（URL、域名等）為基礎，執行迭代 consolidation，將內部提示與外部文本進行加權合併。
   • Thiết kế hàm đánh giá độ tin cậy (ví dụ: độ uy tín của nguồn, nhất quán giữa các nguồn, tự đánh giá của LLM), chọn khối kiến thức có điểm số cao nhất.

     設計可靠度評分函數（如來源權威度、跨來源一致性、LLM 自我評估），選擇最高分數的知識塊。
2. Đưa các khối kiến thức đã được Astute RAG lọc vào hệ thống bộ nhớ của Hermes (bộ nhớ xuyên giai đoạn Honcho hoặc thư viện技能), làm nền tảng cho việc sinh ra sau này.

   將經 Astute RAG 篩選後的知識塊送往 Hermes 的記憶系統（Honcho 跨階段記憶或技能庫），作為後續生成的依據。
3. Quy trình này có thể được tải như một kỹ năng tùy chọn (skill) hoặc bộ công cụ (toolset), chỉ được kích hoạt khi phát hiện chất lượng truy xuất giảm để tiết kiệm chi phí.

   此過程可作為可選技能（skill）或工具集（toolset）掛載，僅在偵測到檢索品質低落時啟用，以節省成本。

Hạn chế

限制

• Chi phí suy luận LLM bổ sung: Mỗi lần elicitation và consolidation đều cần gọi mô hình, có thể tăng độ trễ và chi phí.

  額外的 LLM 推理成本：每次 elicitation 與 consolidation 都需要調用模型，可能增加延遲與費用。
• Phụ thuộc vào tính chính xác của kiến thức nội bộ của LLM: Nếu mô hình bản thân chứa kiến thức sai, nội dung elicitation có thể mang lại偏差。

  依賴 LLM 內部知識的正確性：若模型本身包含錯誤知識，elicit 內容可能帶來偏差。
• Trong trường hợp truy xuất đối địch cực端 (lượng lớn thông tin gây nhầm lẫn được carefully cấu trúc), vẫn có khả năng bị lừa bằng đánh giá độ tin cậy.

  在極端對抗性檢索（大量精心構造的誤導資訊）下，仍有可能被騙過可靠性評分。
• Độ phức tạp của việc triển khai tăng lên: Cần thiết kế đánh giá độ tin cậy của nguồn, kiểm soát số vòng lặp và ajustement điểm, v.v.

  實作複�度提升：需要設計來源可信度評估、迭代輪數控制及分數校準等細節。