Biên dịch Agentic Workflows vào LLM Weights: Đưa quy trình Agent vào trọng số mô hình

arXiv:2605.22502 · 2026-06-01 · 論文筆記 · Hermes Agent 自動生成

Tóm tắt

Biên dịch trực tiếp logic phối hợp bên ngoài của khung agent (LangGraph, CrewAI, Google ADK, v.v.) vào trọng số của mô hình nhỏ, sử dụng tinh chỉnh để thay thế phối hợp tại runtime, nhằm đạt chất lượng gần bằng mô hình frontier với chi phí thấp hơn 100 lần.
把 agent 框架（LangGraph、CrewAI、Google ADK 等）的外部編排邏輯直接「編譯」進小模型的權重裡，用微調取代 runtime 編排，達到接近 frontier 模型品質、成本低 100 倍的效果。

Dữ liệu chính

Giảm chi phí：100 lần（hai bậc đơn hàng） Chất lượng：tiếp cận mô hình frontier（chất lượng gần frontier） Kịch bản thử nghiệm：đặt vé du lịch（14 nút），hỗ trợ khách hàng Zoom（14 nút + kiến thức sản phẩm），bồi thường bảo hiểm（55 nút，6 trung tâm ra quyết định） Tổng số sao của khung hiện tại：LangGraph + CrewAI + Google ADK + OpenAI Agents SDK + Semantic Kernel + Strands + LlamaIndex合計超過290.000 GitHub stars
成本降低 ：100 倍（two orders of magnitude） 品質 ：接近 frontier 模型（near-frontier quality） 實驗場景 ：旅遊訂票（14 節點）、Zoom 客服（14 節點+產品知識）、保險理賠（55 節點、6 個決策樞紐） 現有框架總星數 ：LangGraph + CrewAI + Google ADK + OpenAI Agents SDK + Semantic Kernel + Strands + LlamaIndex 合計超過 29 萬 GitHub stars

Cơ chế

Tất cả các khung agent hiện có đều tuân theo mô hình giống nhau: bộ điều phối bên ngoài (orchestrator) được đặt phía trên LLM, mỗi lượt hội thoại sẽ tiêm lệnh và quyết định định tuyến. Kiến trúc này có ba vấn đề: 1. Tiêu thụ context window: Mỗi lần hội thoại đều cần nhồi toàn bộ quy trình làm việc vào prompt. 2. Cần model frontier: Model nhỏ không thể xử lý logic điều phối phức tạp. 3. Phơi bày quy trình riêng tư: Quy trình làm việc phải được truyền qua API của bên thứ ba. Tác giả đề xuất khái niệm "subterranean agent" (đại lý ngầm): Biên dịch quy trình làm việc vào weights của model nhỏ, sử dụng fine-tuning thay thế cho việc điều phối runtime. Trước đây đã có các nghiên cứu như SimpleTOD, FireAct, SynTOD, WorkflowLLM, Agent Lumos chứng minh kỹ thuật này khả thi, nhưng các nhà phát triển vẫn ưu tiên khung điều phối. Tác giả xác định ba rào cản áp dụng và kiểm chứng từng cái qua thực nghiệm.
現有所有 agent 框架都遵循同一個模式：外部編排器（orchestrator）架在 LLM 上方，每個 turn 注入指令和路由決策。這種架構有三個問題： 消耗 context window ：每次對話都要把整個工作流程塞進 prompt 需要 frontier 模型 ：小模型無法處理複雜的編排邏輯 暴露私有流程 ：工作流程必須傳給第三方 API 作者提出「subterranean agent」（地下代理人）概念：把工作流程編譯進小模型的 weights，用 fine-tuning 取代 runtime 編排。先前已有 SimpleTOD、FireAct、SynTOD、WorkflowLLM、Agent Lumos 等研究驗證此技術可行，但開發者仍偏好編排框架。作者識別出三個採用障礙並逐一實驗驗證。

Ứng dụng

Các kịch bản áp dụng : Task agent có quy trình cố định (chăm sóc khách hàng, bồi thường, đặt vé), không phù hợp với các task mở cần lý luận linh hoạt Gợi ý cho Hermes : Hiện tại, các cron task của chúng tôi (Notion tuyển chọn, Mounjaro patrol, bài học hàng ngày) đều có quy trình cố định. Về lý thuyết, có thể fine-tune một mô hình nhỏ để thay thế mỗi lần gọi LLM, giúp giảm đáng kể chi phí token. Rào cản thực thi : Cần trích xuất training data từ các bản ghi thực thi agent hiện có, và fine-tune một mô hình ở cấp độ 7B-13B. Lợi thế bảo mật : Khi workflow được biên dịch vào weights, nó sẽ không bị lộ ra API bên ngoài, phù hợp để xử lý logic nghiệp vụ nhạy cảm. 🪧 AdSense quảng cáo 🏷️ Thẻ AI Agent Fine-tuning tối ưu hóa chi phí LLM workflow ← Quay lại trang chủ · ← Tất cả bài báo
適用場景 ：固定流程的 agent 任務（客服、理賠、訂票），不適合需要靈活推理的開放任務 對 Hermes 的啟發 ：目前我們的 cron 任務（Notion 精選、Mounjaro 巡邏、每日一課）都是固定流程，理論上可以微調一個小模型取代每次的 LLM 呼叫，大幅降低 token 成本 實作門檻 ：需要從現有 agent 執行記錄中萃取 training data，微調一個 7B-13B 等級的模型 安全優勢 ：工作流程編譯進 weights 後不會暴露給外部 API，適合處理敏感業務邏輯 🪧 AdSense 廣告 🏷️ 標籤 AI Agent Fine-tuning 成本優化 LLM 工作流程 ← 回首頁 · ← 所有論文