AI 模型蒸餾是什麼?能靠蒸餾追上頂尖 AI 嗎?

你可能看過這種新聞標題:「只花 50 美元,做出媲美 OpenAI 的推理模型」,或是「小模型打敗 o1-mini」。這些新聞背後都有同一個關鍵字:蒸餾(Distillation)。
最近美國政府跟 OpenAI、Anthropic,也一直在指控中國 AI 公司「蒸餾」美國的模型。所以這篇文章想一次講清楚三件事:
- AI 模型蒸餾是什麼?
- 靠蒸餾,能不能追上最頂尖的 AI?
- 蒸餾為什麼會變成國際爭議?
先說結論:蒸餾可以讓小模型很快、很便宜地「追近」頂尖 AI,但很難「追過」。
AI 模型蒸餾是什麼?
AI 模型蒸餾,就是讓一個又大又強、但很貴的「老師模型」,去教一個又小又便宜的「學生模型」,讓學生用小很多的身體,留住老師大部分的本事。
這個名字來自 2015 年 Geoffrey Hinton、Oriol Vinyals 和 Google 的 Jeff Dean 發表的論文〈Distilling the Knowledge in a Neural Network〉,所以學術上也常叫「知識蒸餾(Knowledge Distillation)」。
學生到底在學什麼?用考試來比喻
| 學法 | 學生拿到的資訊 | 比喻 |
|---|---|---|
| 一般訓練 | 只有標準答案:「這題答案是 B」 | 只拿到答案卷 |
| 蒸餾 | 老師的把握度:「B 有 90%、有點像 C 9%、絕對不是 A 1%」 | 老師在旁邊講解 |
那些「有點像」的資訊藏了很多知識:學生可以學到哪些東西容易搞混、老師有多確定,所以用更少的資料就能學得更好。
現在的聊天 AI,學生還能這樣學
到了 ChatGPT 這類聊天 AI,蒸餾的方式又多了幾種:
- 抄老師的回答:拿老師寫好的大量回答來訓練學生。
- 看解題過程:連老師一步一步的推理過程一起學,就像拿到學霸的詳解。
- 老師逐步批改:讓學生自己作答,老師在旁邊逐步批改。AI 新創 Thinking Machines 把它比喻成下棋時有個教練盯著你,每一步都告訴你是好棋還是失誤。
其實大家都在蒸餾,它是業界標準做法
看到這裡,你可能覺得蒸餾是偷吃步。其實不是,各大 AI 公司都在用蒸餾做自家的小模型:
| 公司 | 蒸餾的例子 | 來源 |
|---|---|---|
| Gemini 1.5 Flash 由 Gemini 1.5 Pro 蒸餾而來 | Google 官方部落格(2024/5) | |
| Meta | Llama 3.2 的 1B、3B 小模型,用 8B 和 70B 大模型當老師 | PyTorch 部落格(2024/9) |
| 阿里巴巴 | Qwen3 小模型由更大的 Qwen3 模型「由強到弱蒸餾」 | Qwen3 技術報告(2025/5) |
| OpenAI | 推出蒸餾服務,讓企業用大模型的回答訓練便宜的小模型 | OpenAI 官方(2024/10) |
原因很簡單:大模型又貴又慢,也放不進手機。你在 Claude、Gemini 裡看到「大模型+輕量模型」的產品線,背後常常就有蒸餾的影子。
最常被引用的例子是 2019 年的 DistilBERT:模型縮小 40%、速度快 60%,還保留了 97% 的語言理解能力。
蒸餾、量化、剪枝有什麼不同?
這三個詞常被混在一起,其實是不同的東西:
| 技術 | 做法 | 比喻 |
|---|---|---|
| 量化 | 同一個模型,把數字存得比較省 | 把照片壓成小一點的 JPEG |
| 剪枝 | 把模型裡比較沒用的部分砍掉 | 用剪刀修剪 |
| 蒸餾 | 重新訓練出一個新的學生模型 | 老師教學生 |
蒸餾的學生能拿到老師幾分?
蒸餾最有名的例子是 DeepSeek。2025 年 1 月,DeepSeek 推出推理模型 R1,同時用 R1 當老師,蒸餾出 6 個不同大小的學生模型。依 DeepSeek-R1 論文的數字,學生在 AIME 2024 數學競賽題的表現如下:
| 學生模型(參數量) | AIME 2024 分數 | 占老師(79.8 分)的比例 |
|---|---|---|
| R1-Distill-Qwen-1.5B | 28.9 | 36% |
| R1-Distill-Qwen-7B | 55.5 | 70% |
| R1-Distill-Llama-8B | 50.4 | 63% |
| R1-Distill-Qwen-14B | 69.7 | 87% |
| R1-Distill-Qwen-32B | 72.6 | 91% |
| R1-Distill-Llama-70B | 70.0 | 88% |
| 對照:OpenAI o1-mini | 63.6 | — |
(「占老師的比例」是用論文數字換算的。)
從這張表可以看出三件事:
- 320 億參數的學生,拿到老師約 91% 的分數,還贏過 OpenAI 的 o1-mini。
- 越小的學生掉得越多:最小的 15 億參數版本,只剩老師的 36%。
- 解題方法比較好學,知識比較難學:最小的學生在 MATH-500 數學題還有老師 86% 的分數,但在考科學知識的 GPQA 只剩 47%。
DeepSeek 還做了一個對照實驗:同一個 Qwen-32B 模型,一組自己用強化學習苦練,一組直接跟 R1 學。結果跟老師學的那組 AIME 拿 72.6 分,自己苦練的只有 47.0 分。有好老師,真的學得又快又好。
「50 美元做出推理模型」是真的嗎?
這個誘人的標題,說的是史丹佛等學校團隊的 s1 模型。他們的做法是:
| 項目 | 內容 |
|---|---|
| 訓練題目 | 只用 1,000 題 |
| 老師 | 讓 Google 的 Gemini 示範解題 |
| 訓練 | 16 張 GPU,訓練 26 分鐘 |
| 學生的底子 | 阿里巴巴已經訓練好的 Qwen2.5-32B 模型 |
數字是真的,但「50 美元」只算了最後一次訓練的 GPU 租金(而且這是媒體換算的金額,論文本身沒有寫美元)。沒算進去的才是大錢:學生本身是阿里巴巴已經訓練好的 Qwen 模型,老師 Gemini 更是 Google 花大錢做出來的。
所以比較準確的說法是:50 美元,是把「推理的樣子」複製到現成模型上的費用,不是從零做出一個 AI 的費用。
成績也說明了這點:s1 在數學上很接近 OpenAI 的 o1-preview,但在 GPQA 科學知識題,s1 只有 59.6 分,同類的低價學生 Bespoke-32B、Sky-T1 也都停在 56~58 分左右,OpenAI o1 則是 77.3 分。
能靠蒸餾追上頂尖 AI 嗎?三道天花板
答案是:可以很快、很便宜地「追近」,但很難「追過」。 原因有三道天花板。
天花板 1:老師本身
沒有更強的老師,就蒸不出更強的學生。目前找不到任何學生在整體能力上超越自己老師的可靠例子。連 DeepSeek 的論文都說,要突破能力的邊界,還是需要更強的基礎模型和更大規模的訓練。
天花板 2:學生的腦容量
Apple 與牛津大學的研究〈Distillation Scaling Laws〉發現,老師太強,學生反而可能學得更差,就像讓博士直接教小學生,不一定比高中生教得好。
另一篇研究〈Small Models Struggle to Learn from Strong Reasoners〉也發現,小模型從老師身上學到最多的,常常是「wait(等一下)」「but(但是)」這種口氣,而不是真正的推理能力。
天花板 3:考試跟實戰的落差
蒸餾模型在數學、程式這種有標準答案的題目,分數常常很漂亮;但遇到新題型,或要連續工作好幾個小時的任務,差距就露出來了。老師「想太多、繞圈子」的壞習慣,也會一起被學走。
早在 2023 年,柏克萊大學的論文〈The False Promise of Imitating Proprietary LLMs〉就提醒過:這些模仿模型講話很像 ChatGPT,但事實正確度並沒有跟上。講話像頂尖 AI,不代表一樣聰明。
開放模型落後頂尖 AI 多久?
換成具體數字,最強的開放模型大概落後最強的封閉模型多久?
| 來源 | 估計的落後時間 |
|---|---|
| Epoch AI(2026/5) | 約 4 個月 |
| LessWrong 分析:公開考題 | 4~6 個月 |
| 同上:沒公開過的私有考題 | 8~10 個月 |
整體來說,大約落後 3 到 10 個月,看你怎麼量。原因很直觀:頂尖公司花大錢探路,追趕者花小錢複製已經證明有效的做法。所以追趕者可以跟得很近,但每次都要等前面的人先走出來,結構上就是永遠的第二名。至於差距是在縮小還是拉大,專家之間的看法也還不一致。
蒸餾為什麼變成美中國際爭議?
既然蒸餾是正常技術,為什麼會吵成國際新聞?關鍵在於:蒸餾「自己的」模型完全正當,問題是有沒有偷偷蒸餾「別人的」模型。 OpenAI、Anthropic、Google 的使用條款,都禁止拿它們的輸出去訓練跟它們競爭的模型。
事件時間軸
| 時間 | 事件 |
|---|---|
| 2025 年 1 月 | DeepSeek R1 爆紅後,OpenAI 表示正在調查 DeepSeek 是否不當蒸餾自家模型 |
| 2026 年 2 月 | Anthropic 發布報告,指控三家中國公司用約 2.4 萬個假帳號,跟 Claude 對話超過 1,600 萬次 |
| 2026 年 4 月 | 白宮科技政策辦公室發布對美國 AI 模型「敵意蒸餾」的備忘錄(NPR) |
| 2026 年 9 月 | FBI 等單位發出聯合警示;中國商務部回應,蒸餾是全球通行的正常做法(AP) |
國會也有議員提出反蒸餾法案。
Anthropic 指控的數字
| 被點名的公司 | 跟 Claude 的對話次數(Anthropic 指控) |
|---|---|
| MiniMax | 超過 1,300 萬次 |
| 月之暗面 | 超過 340 萬次 |
| DeepSeek | 超過 15 萬次 |
有趣的是,新聞最常點名的 DeepSeek,在這份報告裡次數反而最少。
目前仍是「指控」
要特別強調,到目前為止這些都還是指控:數字是公司自己統計的,沒有經過法院或獨立單位證實;中國政府和被點名的公司也都否認。路透社也提到,蒸餾本身並不違法,爭議在於違反服務條款。這件事目前比較像是美中科技競爭的一部分,後續還要繼續觀察。
蒸餾對一般人有什麼好處?
蒸餾跟我們一般人的關係其實很大。你在免費方案、手機上用到的那些「快又夠用」的 AI,背後很多就是蒸餾出來的。
根據 a16z 與 Epoch AI 等機構的統計,同樣能力的 AI,價格大約每年下降 10 倍(不同量法的約略值),蒸餾就是推動降價的重要技術之一。蒸餾很難讓誰搶到第一名,卻能讓「去年的第一名」變成大家都用得起的版本。
如果你正在考慮要不要付費訂閱,可以參考「ChatGPT 訂閱方案比較」和「Google AI 訂閱方案比較」,看看免費版和付費版的模型差在哪。
下次看到「小模型打敗頂尖 AI」,先問三個問題
- 它贏的是誰? 是自己的老師,還是別家比較舊的模型?
- 它贏在哪種題目? 是數學考題,還是真實的工作?
- 價格算了什麼? 是只算最後一次訓練,還是整個模型?
常見問題(FAQ)
AI 模型蒸餾是什麼?
AI 模型蒸餾是讓大而強的「老師模型」去教小而便宜的「學生模型」的技術。學生不只學標準答案,還學老師對每個選項的把握度、甚至整段解題過程,因此能用小很多的模型留住老師大部分的能力。
蒸餾跟量化、剪枝有什麼不同?
量化是同一個模型把數字存得更省,剪枝是砍掉模型裡比較沒用的部分,兩者都是「改造原本的模型」;蒸餾則是重新訓練出一個新的學生模型。
蒸餾出來的小模型能超越老師嗎?
目前沒有學生在整體能力上超越自己老師的可靠例子。蒸餾能讓學生在數學、程式等考題上非常接近老師,但在知識題、新題型和長時間任務上,差距仍然明顯。
蒸餾違法嗎?
蒸餾技術本身不違法,Google、Meta、OpenAI 都在蒸餾自家模型。爭議在於拿別家模型的輸出來訓練競爭模型,這違反 OpenAI、Anthropic、Google 的使用條款;目前美國公司對中國公司的指控,仍未經法院或獨立單位證實。
「50 美元做出 AI」是真的嗎?
s1 模型確實只用 1,000 題、16 張 GPU 訓練 26 分鐘,但「50 美元」只算最後一次訓練的 GPU 租金,沒有算進學生底子 Qwen 和老師 Gemini 的龐大研發成本,所以不是從零做出一個 AI 的費用。
科技兔有針對蒸餾做一隻教學視頻,點擊下方連結觀看。
總結
AI 模型蒸餾,就是大模型當老師、小模型當學生,用很少的成本留住老師大部分的能力。它是 Google、Meta、OpenAI 都在用的業界標準做法,也是 AI 越來越便宜的重要原因。
但靠蒸餾,可以很快、很便宜地追近頂尖,尤其是數學和程式;目前還沒有學生超越自己的老師。要當第一名,還是得自己花大錢往前開路。

