星星數有 73.5k

https://github.com/mlabonne/llm-course

這份 GitHub Repo (mlabonne/llm-course) 是一套非常完整且受歡迎的大型語言模型（LLM）學習路徑與課程。作者 Maxime Labonne 整理了從基礎理論到實戰應用的豐富資源，並提供了許多 Colab Notebook 讓學習者可以直接運行代碼。

以下是該 Repo 的內容大綱分析：

📚 課程核心結構 (三大階段)

這門課程主要分為三個階段，由淺入深：

1. 🧩 LLM 基礎 (LLM Fundamentals)

• 這是選修部分，適合初學者補強基礎。
• 數學基礎：線性代數、微積分、機率與統計。
• Python 機器學習：Python 基礎、數據處理 (NumPy, Pandas)、Scikit-learn。
• 神經網路：架構原理、反向傳播、優化算法 (Adam, SGD)、PyTorch 實作。
• NLP (自然語言處理)：文字前處理、詞嵌入 (Word Embeddings)、RNN/LSTM。

2. 🧑‍🔬 LLM 科學家 (The LLM Scientist)

• 專注於如何訓練和構建最好的 LLM。
• 預訓練 (Pre-training)：了解模型架構 (Llama, Mistral 等)。
• 微調 (Fine-tuning)：學習各類微調技術，如 QLoRA、DPO (Direct Preference Optimization)、Unsloth 等。
• 量化 (Quantization)：如何將模型輕量化 (GGUF, GPTQ, AWQ, EXL2)。
• 模型合併 (Merging)：將多個模型合併的技術 (MergeKit)。

3. 👷 LLM 工程師 (The LLM Engineer)

• 專注於如何開發與部署 LLM 應用程式。
• RAG (檢索增強生成)：結合外部知識庫的應用。
• Agent (代理人)：打造能自主決策的 AI (使用 LangGraph, CrewAI 等框架)。
• 部署與優化：推理優化 (Flash Attention, vLLM)、模型評估。

🛠️ 實用工具與 Notebooks (Hands-on) 除了理論地圖外，這個 Repo 最有價值的是作者開發與整理的一系列實作工具 (可以直接在 Google Colab 運行)：

• 自動化工具：
  • LazyMergekit：一鍵合併模型。
  • LazyAxolotl：雲端微調模型工具。
  • AutoQuant：一鍵量化模型 (轉為 GGUF/GPTQ 等格式)。
  • LLM AutoEval：自動化評測模型能力。
• 實戰教學 Notebooks：
  • 如何微調 Llama 3 / Mistral 7B。
  • 如何使用 QLoRA 進行高效微調。
  • 如何實作 RAG 系統。

總結 這是一個「從入門到實戰」的一站式 LLM 學習庫，特別適合想要親手訓練、微調或部署模型的開發者，而不僅僅是停留在理論層面。