實測結果不僅打臉了這個預測，還讓自製的五題基準本身也被打臉了一次。
回顧週一的假設
四支模型、同一組 5 題基準（繁中改寫、Python、SQL、JSON、邏輯推理），同 prompt、temperature=0.0：
gemma4:e2b（5.1B，PLE 架構）——文獻預測的冠軍gemma3:latest（4.3B）llama3.1:8b（8B）qwen3.5:9b-MLX（9B，MLX backend）
懸念是 Llama 3.1 的參數優勢扛不扛得住，以及 MLX backend 的延遲代價有多大。
結果對比表
Route A 主賽事（4 模型 × 5 題，HuggingFace 統一推論）
| # | model | backend | total | 延遲 |
|---|---|---|---|---|
| 1 | gemma3-4b | GGUF | 4.60 | 14.4s |
| 2 | qwen3-8b | GGUF | 4.40 | 21.6s |
| 3 | llama3.1-8b | GGUF | 4.20 | 21.2s |
| 4 | gemma4-e2b（賽前冠軍） | MLX（GGUF segfault） | 3.73 | 9.6s |
公開 Benchmark 交叉驗證（各模型最佳 backend，4 項平均）
| # | model | backend | TMMLU+ | MMLU | HumanEval | HotpotQA | 平均 |
|---|---|---|---|---|---|---|---|
| 1 | qwen3-8b | MLX | 65.0% | 68.0% | 78.1% | 70.2% | 70.3% |
| 2 | llama3.1-8b | GGUF | 48.0% | 67.0% | 61.6% | 63.0% | 64.9% |
| 3 | gemma4-e2b | GGUF | 45.0% | 64.0% | 68.3% | 57.5% | 58.7% |
| 4 | gemma3-4b | MLX | 37.0% | 62.0% | 66.5% | 60.0% | 56.4% |
排名整個換了一輪：自製五題的冠軍 gemma3-4b，掉到公開 benchmark 的最後一名。
關鍵發現
反轉一：賽前冠軍最後一名，GGUF 版本甚至跑不動。 gemma4:e2b 的 PLE（Per-Layer Embedding）架構在 llama-cpp-python 上直接 segfault，逼得只能改走 MLX。而 MLX 版本在 T2 Python 生成只拿 0.33 分——同一份 5 題基準下，這支「文獻上最有效率」的模型反而墊底。技術報告主打的效率優勢，跟「這個推理框架吃不吃得下這個架構」是兩回事。
反轉二：backend 偏好是模型特定的，不是「GGUF 一律贏」。 四模型 × 兩個 backend 的完整矩陣顯示：gemma3、qwen3 偏好 GGUF；llama3.1 反而偏好 MLX（T1 繁中改寫 MLX 1.0 分 vs GGUF 0.8 分）。差異集中在 T1（繁中）和 T2（Python）這類自由文本生成，結構化任務（T3 SQL、T4 JSON）兩個 backend 完全一致。這推翻了「GGUF 生態最完整所以延遲/品質都比較好」的預設。
反轉三：自製基準的冠軍被公開 benchmark 打臉。 5 題自製基準太簡單，4.3B 的 gemma3 已經飽和拿下 4.60/5.0；換成 TMMLU+／MMLU／HumanEval／HotpotQA 這種 100+ 題的標準化測試，gemma3-4b 掉到最後一名，qwen3-8b 以最佳 backend 平均 70.3% 全面領先。鑑別度也從自製基準的 3.73–4.60（窄幅）擴大到 54.8%–70.3%——題目覆蓋度不夠時，排名本身就不可信。
唯一沒被推翻的結論：4.3B 在 coding 任務上真的有兩把刷子。 HumanEval 上 gemma3/gemma4 兩代都打贏 8B 的 llama3.1（最高 68.3% vs 61.6%），distillation 技術在程式碼生成這個特定領域確實有效——這不是自製基準的錯覺，公開 benchmark 也驗證了同樣的方向。
結論與適用場景
- 日常對話與 coding：
gemma3-4b（GGUF）或gemma4-e2b（GGUF，注意 PLE 架構可能需要 MLX 或調整n_gpu_layers）——4.3B 的效率在這個場景真材實料。 - 需要準確度、尤其繁中理解：
qwen3-8b，兩個 backend 都是目前測到最強的全面選項，MLX 版本又略勝 GGUF。 - backend 選型：不要假設「GGUF 比較好」或「MLX 比較好」，照你實際要用的模型分別測過一輪再決定——這份矩陣本身就是最好的反例。
- 自建評測基準時：5 題規模只能拿來做粗篩，真正要下結論之前，找一個有公開題庫的標準化 benchmark 交叉驗證。
本週剩餘拆解預告
週四拆解 Route B 的量化甜蜜點——為什麼多吃 52% 磁碟的 Q8_0 分數反而比 Q4_K_M 低；週五揭曉 Route C 的原創發現：同一個模型、同一個量化等級，換一個推理 backend 就能讓程式碼生成從全對變成只過三分之一。