三大訓練階段

三段式學習

ChatGPT 這類 AI 助理怎麼學會幫忙？答案不是一次訓練，而是三個接續階段。

流程像人類上學：先讀課本，再看詳解範例，最後自己做練習題。

對應到 AI，就是預訓練、監督式微調與強化學習。每一階段都建立在前一階段上。

預訓練建立基礎

第一階段是預訓練。模型大量閱讀網路文件，從中學習文字的樣貌。

這一步規模最大：數千張 GPU連續運算，通常約3 個月。

成果叫做基礎模型。它很會模擬網路文件，但還不能直接當助理。

微調教會助理角色

基礎模型像讀了很多書、卻不懂怎麼回話的人。它擅長模擬網路文件，不一定會好好回答問題。

監督式微調（SFT）使用人類標註的對話。模型從範例學會用助理的方式回應。

這就像看老師寫好的詳解，照著好答案學習。

強化學習反覆解題

第三階段是強化學習（RL），就像學生自己動手做練習題。

模型反覆嘗試解題、檢視效果、保留更好的做法，再帶著它進行下一次練習。

一次次循環後，模型能自己發現更好的解題策略。這一階段靠練習持續改進。

成本差距非常大

三個階段的花費差很多。預訓練使用數千張 GPU，花費數百萬美元，大約耗時3 個月。

後訓練包含監督式微調與強化學習，便宜得多。它約需3 小時，較廣的時間範圍是數小時到數天。

運算成本隨階段大幅下降，但三個階段都不可缺少。便宜不代表不重要。

成本影響開發順序

成本會左右開發選擇。預訓練又貴又慢，因此很難經常重來。

後訓練便宜又快，比較容易反覆調整。

所以，哪些能力會被優先開發，常和訓練成本有關。想改助理的回應方式時，可先判斷能否從後訓練著手。

辨認三階段作用

三階段依序堆疊：預訓練建立基礎模型，監督式微調教會助理回應，強化學習磨練解題策略。後一階段都建立在前一階段上。

向同事解釋時，可說：先讀課本，再看詳解，最後做練習。

觀察模型行為時，先分辨是基礎文字能力、助理回應，還是解題策略。成本上，預訓練最高，後訓練便宜許多。

剛完成預訓練的基礎模型，已經可以直接當成好用的聊天助理

• 正確
• 錯誤

答案: 錯誤

錯誤。基礎模型只會模擬網路文件、接續文字，還不會以助理身分回應。需要靠監督式微調，用人工標註的對話訓練，才會變成助理。

大型語言模型的訓練分三階段：_____從網路文件建立基礎模型，_____用人工標註對話教模型扮演助理，_____讓模型反覆練習解決問題。

答案: 大型語言模型的訓練分三階段：預訓練從網路文件建立基礎模型，監督式微調用人工標註對話教模型扮演助理，強化學習讓模型反覆練習解決問題。

三階段各有目的：預訓練學習網路知識（像讀課本），監督式微調學習當助理（像看範例解答），強化學習透過練習發現解題策略（像做練習題）。

若把模型訓練比喻成學生學習，「自己動手做練習題，從嘗試中找出最佳解法」對應哪個階段？

• 預訓練
• 監督式微調
• 強化學習
• 資料蒐集

答案: 強化學習

強化學習讓模型反覆練習解題，自行發現最佳策略，對應做練習題。讀課本對應預訓練，研讀範例解答對應監督式微調。