Before LLM
这是一份面向实验室新同学的入门材料。目标不是在短时间内记住所有算法，而是建立一套可以继续学习和参与科研的基础能力：能查资料、读论文、写代码、做实验、解释结果，并清楚大语言模型从哪些知识发展而来。
本材料可以独立阅读，不依赖站内其他教程。这里关注进入大语言模型学习前需要具备的通用能力，不实现完整的大语言模型。
培训目标
完成这部分学习后，你应当能够：
- 使用文献检索工具定位一个主题的重要论文，并完成结构化阅读笔记；
- 使用 LaTeX 撰写包含公式、图表和参考文献的短报告；
- 制作结构清晰的研究汇报 PPT，并在限定时间内讲清问题、方法和结论；
- 使用 Python、Git、虚拟环境、IDE 与远程 Linux 服务器完成基本开发；
- 解释训练集、验证集、测试集、损失函数、评价指标和过拟合；
- 理解神经网络、反向传播、CNN、RNN 与 Transformer 的基本作用；
- 认识 NLP 的典型任务、语料库、n-gram 语言模型和三类预训练模型架构。
学习路线
| 阶段 | 内容 | 阶段产出 |
|---|---|---|
| 1. 科研基本功 | 文献检索与阅读、PPT、LaTeX、实验记录 | 一份论文笔记和 5 分钟汇报 |
| 2. Python 与开发环境 | Python、IDE、Git、Linux、SSH | 一个可在服务器运行的小项目 |
| 3. 机器学习 | 数据划分、指标、监督与无监督学习 | 完成一个表格数据分类实验 |
| 4. 深度学习 | 反向传播、神经网络与常见架构 | 用 PyTorch 训练一个小型网络 |
| 5. NLP 基础 | NLP 任务、语料库、n-gram 与模型架构 | 完成文本分类或语言模型实验 |
推荐节奏
建议用 6–8 周完成，每周保证稳定的阅读和动手时间。编程部分应采用 Learning by Doing：遇到语法再查语法，遇到报错先读错误信息，再查文档或询问 AI 工具。不要等“学完 Python”才开始写项目。
一个可行的安排是：
- 第 1 周：科研工作流、文献检索、PPT 与 LaTeX；
- 第 2 周：Python、Git、Linux 与远程服务器；
- 第 3–4 周：机器学习基本概念与经典算法；
- 第 5–6 周：深度学习与 PyTorch；
- 第 7 周：NLP 基本任务与统计语言模型；
- 第 8 周：神经语言模型与综合小项目。
怎样判断是否学会
“看过”不等于“掌握”。每一阶段至少完成一个可以检查的产出：代码仓库、实验表格、阅读笔记、讲解录屏或短报告。若你能在不看答案的情况下复现结果、解释关键选择并分析一次失败，才算真正完成。
学习原则
先做出最小可运行版本，再逐步理解和改进。基础学习的目标不是一次做到完美，而是建立稳定的学习—实验—复盘循环。