Mellum2: Mô hình Tiêu cự và Cuộc cách mạng Kiến trúc AI Đa Mô hình

arXiv:2605.31268 · JetBrains · 2026-06-01 · Phân tích Mô hình Mở

🎯 Một câu tóm tắt: JetBrains mở mã nguồn Mellum2 — mô hình MoE 12B tham số, chỉ kích hoạt 2.5B mỗi token, nhanh gấp đôi các mô hình cùng cỡ. Nhưng câu chuyện thực sự không phải là một mô hình nữa: đó là triết lý «mô hình tiêu cự» (focal model) — tương lai của AI không phải là một mô hình khổng lồ làm tất cả, mà là sự phối hợp thông minh của nhiều mô hình nhỏ chuyên biệt.
🎯 一句話結論：JetBrains 開源 Mellum2——12B MoE 模型，每 token 僅激活 2.5B 參數，推理速度是同級模型的兩倍。但真正的故事不在於又一個模型：而是「焦點模型」(focal model) 哲學——AI 的未來不是一個超大模型包辦一切，而是多個小型專業模型的智能協作。

Dữ liệu then chốt / 關鍵數據

Chỉ số / 指標Mellum2So sánh / 對比
Tổng tham số / 總參數12B (MoE: 64 chuyên gia, 8 kích hoạt)Cùng hạng Qwen3.5-9B, Gemma 3 12B
Tham số kích hoạt / token / 每 token 激活參數2.5B≈ chi phí mô hình dense 2.5B / 等同 2.5B 密集模型成本
Tốc độ suy luận / 推理速度>2× nhanh hơn so với mô hình cùng cỡTiết kiệm latency ~50% / 延遲減半
Ngữ cảnh / 上下文128K token (YaRN)Đủ cho hầu hết tác vụ code
Giấy phép / 授權Apache 2.0Tự do thương mại, fine-tune / 自由商用、微調
Dữ liệu huấn luyện / 訓練資料10.6 nghìn tỷ token (3 giai đoạn)Web đa dạng → Code + Toán / 多樣網路→代碼+數學
LiveCodeBench v6 (Thinking)78.4%Qwen3.5-9B: 71.8%
Hậu huấn luyện / 後訓練SFT + RLVR2 biến thể: Instruct + Thinking / 兩變體

Phân tích cơ chế / 機制拆解

Câu hỏi lớn: Tại sao mọi hãng AI lớn đều đang chạy đua xây mô hình ngày càng to (1T+ tham số), nhưng JetBrains lại chọn đi ngược dòng: xây mô hình 12B «nhỏ» và gọi đó là chiến lược?

Câu trả lời nằm ở ba từ: «hệ thống phối hợp».

Mellum2 được thiết kế từ đầu không phải để thay thế Claude hay GPT, mà để trở thành «bánh răng» quan trọng trong một hệ thống AI lớn hơn. Hãy tưởng tượng một pipeline agent hiện đại:

  1. User gửi prompt → Mellum2 phân loại và định tuyến (routing) — 10ms, 2.5B params.
  2. Chọn tool phù hợp → Mellum2 quyết định nên gọi API nào — 15ms.
  3. Tạo context từ RAG → Mellum2 tóm tắt tài liệu truy xuất được — 30ms.
  4. Gọi mô hình lớn → Claude/GPT xử lý bước cuối — 2000ms, 1T params.

Trong pipeline này, 80% bước xử lý có thể do Mellum2 đảm nhiệm — với chi phí và độ trễ chỉ bằng một phần nhỏ so với mô hình lớn. Đây không phải suy đoán: JetBrains đã dùng Mellum2 trong chính sản phẩm JetBrains AI Assistant của họ cho các tác vụ routing, tóm tắt và sub-agent trước khi công bố mã nguồn.

大問題：為什麼所有 AI 巨頭都在競賽建造越來越大的模型（1T+ 參數），但 JetBrains 卻反其道而行：建造 12B「小」模型並稱之為策略？

答案在三個字：「協調系統」。

Mellum2 從一開始就不是為了取代 Claude 或 GPT，而是成為更大 AI 系統中的關鍵「齒輪」。想像一個現代 agent 管線：

  1. 用戶發送 prompt → Mellum2 分類和路由（routing）— 10ms，2.5B 參數。
  2. 選擇合適工具 → Mellum2 決定呼叫哪個 API — 15ms。
  3. 從 RAG 生成上下文 → Mellum2 摘要檢索到的文檔 — 30ms。
  4. 呼叫大模型 → Claude/GPT 處理最後一步 — 2000ms，1T 參數。

在此管線中，80% 的處理步驟可由 Mellum2 承擔——以僅為大模型一小部分的成本和延遲。這不是猜測：JetBrains 在開源前已在其自家產品 JetBrains AI Assistant 中使用 Mellum2 處理 routing、摘要和子 agent 任務。

Kiến trúc kỹ thuật: Tại sao «nhỏ mà nhanh»? / 技術架構：為什麼「小而快」？

Mellum2 không chỉ là một mô hình MoE thông thường. Ba quyết định kiến trúc khiến nó khác biệt:

  1. Multi-Token Prediction (MTP) kép: Đầu MTP không chỉ là mục tiêu huấn luyện phụ — nó đồng thời là «draft model» tích hợp cho suy luận speculative decoding. Nghĩa là: mô hình tự tạo bản nháp token tiếp theo miễn phí trong quá trình suy luận, không cần draft model riêng. Đây là thủ thuật giúp đạt >2× tốc độ.
  2. Sliding Window Attention chọn lọc: Chỉ 3 trên 4 layer dùng sliding window — layer còn lại dùng full attention. Kết hợp Grouped-Query Attention (4 KV head) — giảm băng thông bộ nhớ, tăng throughput ở batch size lớn.
  3. Huấn luyện 3 giai đoạn: Giai đoạn 1: web đa dạng → Giai đoạn 2: code + toán → Giai đoạn 3: tinh chỉnh với dữ liệu chất lượng cao nhất. Cách tiếp cận curriculum này giúp mô hình vừa có kiến thức rộng vừa sâu về code.

Kết quả: một mô hình có thể chạy trên một GPU tiêu dùng (RTX 4090 24GB) với tốc độ đủ dùng cho production — điều mà các mô hình 70B+ không thể làm được.

Mellum2 不僅是普通的 MoE 模型。三個架構決策讓它與眾不同：

  1. 雙重 Multi-Token Prediction (MTP)：MTP 頭不僅是輔助訓練目標——它同時是內建的自推測解碼（speculative decoding）草稿模型。意味著：模型在推理過程中免費生成下一個 token 的草稿，無需獨立的草稿模型。這是實現 >2× 速度的關鍵技巧。
  2. 選擇性 Sliding Window Attention：僅 4 層中的 3 層使用滑動窗口——剩餘一層用完整注意力。結合 Grouped-Query Attention（4 個 KV 頭）——降低記憶體頻寬，提高大批次吞吐量。
  3. 三階段訓練：階段 1：多樣網路 → 階段 2：代碼 + 數學 → 階段 3：最高品質資料微調。這種課程式方法讓模型既有廣泛知識又有深厚的程式能力。

結果：一個可以在單張消費級 GPU（RTX 4090 24GB）上以生產級速度運行的模型——這是 70B+ 模型無法做到的。

«Mô hình Tiêu cự» — Cuộc cách mạng tư duy /「焦點模型」— 思維革命

Tôi cho rằng điểm thú vị nhất về Mellum2 không nằm ở benchmark — mà nằm ở khái niệm «focal model» mà JetBrains đưa ra.

Hãy nhìn vào thực tế: mọi người đang dần nhận ra rằng một mô hình khổng lồ duy nhất không phải là giải pháp tối ưu cho mọi thứ. Claude Code dùng Claude làm «não chính», nhưng cần hàng tá tiểu mô hình cho các bước trung gian. Copilot Workspace dùng GPT-5.2, nhưng routing và code completion lại gọi các mô hình nhỏ hơn. Gemini dùng mô hình chính cho reasoning, nhưng RAG và embedding dùng các model chuyên biệt.

Xu hướng này không mới — nhưng trước Mellum2, chưa ai đặt tên cho nó. JetBrains gọi đây là kiến trúc «focal model»: những mô hình nhỏ, nhanh, chuyên biệt cho các tác vụ tần suất cao trong hệ thống AI.

Tôi thấy ba hệ quả quan trọng:

  1. Kinh tế suy luận thay đổi: Nếu 80% token trong pipeline AI được xử lý bởi mô hình 2.5B thay vì 1T, chi phí vận hành giảm một bậc độ lớn — từ vài đô la mỗi request xuống vài cent.
  2. Tự chủ triển khai: Mô hình Apache 2.0 12B có thể chạy on-premise, trong air-gapped network, hoặc trên edge device. Không phụ thuộc API bên thứ ba.
  3. Thị trường mô hình chuyên biệt: Tôi dự đoán 2026–2027 sẽ thấy sự bùng nổ của «focal models» cho từng lĩnh vực: routing, validation, code review, test generation, doc summarization — mỗi loại một mô hình tối ưu.

我認為 Mellum2 最有趣的地方不在於跑分——而在於 JetBrains 提出的「焦點模型」(focal model) 概念。

看看現實：人們逐漸意識到一個超大模型並非萬能解方。Claude Code 用 Claude 作「主腦」，但需要數十個小模型處理中間步驟。Copilot Workspace 用 GPT-5.2，但 routing 和 code completion 呼叫小模型。Gemini 用主模型做推理，但 RAG 和 embedding 用專門模型。

這個趨勢不新鮮——但在 Mellum2 之前，沒有人給它命名。JetBrains 稱之為「焦點模型」架構：在 AI 系統中處理高頻任務的小型、快速、專業化模型。

我看到三個重要效應：

  1. 推理經濟學改變：若 AI 管線中 80% 的 token 由 2.5B 而非 1T 模型處理，營運成本下降一個數量級——從每次請求數美元降到數美分。
  2. 部署自主權：Apache 2.0 許可的 12B 模型可在本地、氣隙網路或邊緣裝置上運行。不依賴第三方 API。
  3. 專業模型市場：我預測 2026–2027 年將看到「焦點模型」在各地領域爆發：routing、驗證、代碼審查、測試生成、文檔摘要——每個任務一個最優化模型。

So sánh nhanh với các đối thủ / 與競爭對手快速對比

Mô hình / 模型Tham số / 參數Kích hoạt / 激活Giấy phép / 授權Thế mạnh / 優勢
Mellum212B2.5BApache 2.0Tốc độ ×2, focal model design, training from scratch
Qwen3.5-9B9B9B (dense)Apache 2.0Cân bằng tốt, cộng đồng lớn
Gemma 3 12B12B12B (dense)Gemma TOUĐa ngôn ngữ 140+, multimodal
Phi-4 14B14B14B (dense)MITMMLU ~72%, chi phí cực thấp
Mistral 7B7B7B (dense)Apache 2.0Kinh điển, ổn định, nhiều fine-tune

Nhận xét: Mellum2 là mô hình MoE duy nhất trong phân khúc 7–14B. Các đối thủ đều là dense — điều này có nghĩa Mellum2 có lợi thế cấu trúc về tốc độ suy luận mà các mô hình dense không thể bắt kịp nếu không chuyển sang MoE.

評價：Mellum2 是 7–14B 區間唯一的 MoE 模型。所有競爭對手都是密集模型——這意味著 Mellum2 在推理速度上有結構性優勢，密集模型若不轉向 MoE 則無法追趕。

Ứng dụng thực tế / 落地應用

  1. Routing Agent cho hệ thống multi-LLM: Triển khai Mellum2 làm «người gác cổng» — phân loại prompt người dùng, chọn model phù hợp (code → DeepSeek, sáng tạo → Claude, nhanh → Gemini Flash), tiết kiệm 60–80% chi phí gọi model lớn không cần thiết.
  2. Tăng tốc RAG pipeline: Dùng Mellum2 cho bước context compression và summarization trước khi đưa vào model chính — giảm token đầu vào 40–60%, giảm latency end-to-end.
  3. Sub-agent cho coding agent: Trong tác nhân lập trình đa bước (plan → code → review → test → fix), giao các bước đơn giản (validation, parsing, formatting) cho Mellum2, chỉ dùng model lớn cho planning và complex reasoning.
  4. Private code assistant: Do Apache 2.0 và chỉ 12B, có thể deploy trên máy chủ nội bộ với GPU tiêu dùng — lý tưởng cho công ty cần AI hỗ trợ code trong môi trường bảo mật.
  1. 多 LLM 系統的 Routing Agent：部署 Mellum2 作為「守門人」——分類用戶 prompt，選擇合適模型（代碼→DeepSeek、創意→Claude、快速→Gemini Flash），節省 60–80% 不必要的大模型呼叫成本。
  2. 加速 RAG 管線：用 Mellum2 做上下文壓縮和摘要步驟，再送入主模型——減少 40–60% 輸入 token，降低端到端延遲。
  3. Coding Agent 的子代理：在多步驟編程代理（計劃→編碼→審查→測試→修復）中，將簡單步驟（驗證、解析、格式化）交給 Mellum2，只在規劃和複雜推理時呼叫大模型。
  4. 私有代碼助手：Apache 2.0 授權 + 僅 12B，可在內部伺服器上用消費級 GPU 部署——非常適合需要在安全環境中使用 AI 輔助編碼的企業。

Hạn chế & Rủi ro / 限制與風險

  1. Không multimodal: Mellum2 chỉ xử lý text và code. Không hỗ trợ hình ảnh, audio, video — đây là lựa chọn thiết kế có chủ đích nhưng đồng nghĩa không dùng được cho OCR, visual understanding.
  2. Chưa có hệ sinh thái fine-tune: Là mô hình mới (1/6/2026), chưa có cộng đồng fine-tune như Mistral hay Qwen. Cần thời gian để có các bản fine-tune cho từng domain cụ thể.
  3. Giới hạn kiến thức chung: Tập trung vào code + toán → có thể yếu hơn về kiến thức lịch sử, văn hóa, ngôn ngữ hiếm so với mô hình đa năng như Gemma.
  4. Chất lượng tiếng Việt chưa được kiểm chứng: Không có công bố về hiệu năng với tiếng Việt. Với mô hình training from scratch tập trung code, khả năng ngôn ngữ không phải tiếng Anh có thể hạn chế.
  1. 非多模態：Mellum2 僅處理文字和代碼。不支援圖片、音頻、影片——這是刻意的設計選擇，但意味著無法用於 OCR、視覺理解。
  2. 尚無微調生態系：作為新模型（2026/6/1），尚無 Mistral 或 Qwen 那樣的社群微調生態。需要時間才會出現特定領域的 fine-tune 版本。
  3. 常識知識限制：聚焦代碼+數學→在歷史、文化、稀有語言方面的知識可能弱於 Gemma 等通用模型。
  4. 越南語能力未驗證：沒有關於越南語性能的公布。對於從頭訓練且聚焦代碼的模型，非英語能力可能受限。
🔮 Dự đoán của tôi: Mellum2 sẽ không phải là cái tên nổi bật nhất năm 2026 — nhưng kiến trúc focal model mà nó đại diện sẽ định hình cách chúng ta xây dựng hệ thống AI trong 2–3 năm tới. Khi chi phí suy luận trở thành rào cản chính cho AI agent quy mô lớn, mô hình «đủ tốt và nhanh gấp đôi» sẽ thắng «tốt nhất nhưng chậm và đắt» ở hầu hết các bước trong pipeline.
🔮 我的預測：Mellum2 不會是 2026 年最響亮的名字——但它所代表的焦點模型架構將塑造未來 2–3 年我們建構 AI 系統的方式。當推理成本成為大規模 AI Agent 的主要障礙時，「夠好且快兩倍」的模型將在管線的大多數步驟中勝過「最好但慢且貴」。