深入解析 LLM 與 ChatGPT（Deep Dive Into LLMs Like ChatGPT）

OpenAI 早期核心成員、前 Tesla AI Director Andrej Karpathy 以 3.5 小時課程，系統講解大型語言模型。內容涵蓋 pretraining、supervised finetuning、reinforcement learning 等完整訓練流程，也用可實作案例幫助你建立直覺。

5 sections · 20 lessons

Course outline

訓練流程

  1. 三大訓練階段
  2. 網路資料的篩選與整理
  3. Token 化基礎
  4. 神經網路訓練
  5. 基礎模型解析
  6. 文字生成流程
  7. 訓練流程

後訓練

  1. 監督式微調
  2. 對話的 Token 化
  3. 後訓練

局限

  1. 幻覺
  2. 整合工具使用
  3. 運算限制
  4. 分詞造成的盲點
  5. 局限

強化學習

  1. 強化學習基礎
  2. 數學與程式中的強化學習
  3. 思維鏈
  4. 用 RLHF 處理主觀任務
  5. RLHF 的侷限
  6. 強化學習

實用洞見

  1. 理解 AI 的心智模型
  2. LLM 生態系
  3. 未來的能力
  4. 實用洞見

Start learning with Wondering