雅书

内容简介：

2022年底，ChatGPT的诞生引发变革，以GPT系列模型为代表的大语言模型(Large Language Model，LLM)成为人工智能领域的研究热点，LLM在此背景下基于预训练语言模型取得突破性进展。本书分为基础知识与实战应用两大部分，基础知识部分包含第1～4章，首先介绍NLP的基本任务及文本表示的发展历程，接着阐述LLM基本架构Transformer和经典PLM架构，最后详述LLM的特点、能力和训练过程;实战应用部分包含第5～7章，依次讲解基于PyTorch搭建LLM的全流程，借助主流框架实现LLM训练，以及LLM的各类应用，帮助读者构建完整的LLM知识体系。

本书适合具备一定编程经验(尤其对Python编程语言有所了解)、掌握深度学习相关知识且了解NLP领域相关概念和术语的大学生、研究人员及LLM爱好者阅读。

作者简介：

朱信忠，工学博士，博士生导师，二级教授，浙江省特级专家，浙江师范大学杭州人工智能研究院院长，工业和信息化部人工智能产业创新任务“智能机器人”揭榜挂帅项目负责人，国家高层次人才，国家有突出贡献中青年专家，国家科技进步奖二等奖第一完成人，享受国务院政府特殊津贴。Datawhale 首席科学家，Happy-LLM、Hello-Agents 等开源项目总体负责人及核心贡献者。主要研究方向为大模型、具身智能、世界模型、自主移动机器人及低空具身等。通过“场景—数据—技术—泛化”闭环迭代，推动具身智能拣货、焊接、装配、抹灰、喷涂等下一代“感知—理解—决策—执行”智能体技术与商业的协同进化。

宋志学，河南理工大学工学学士、测绘工程硕士，西湖大学通用人工智能实验室科研助理。研究方向为自然语言处理、多模态大模型智能体落地应用。Datawhale 成员，Self-LLM、Happy-LLM 等开源项目负责人，所负责项目数十次登上 GitHub 趋势榜单，累计获得GitHub 星标 5.5 万余次。

邹雨衡，对外经济贸易大学数据科学与大数据技术学士、管理科学与工程硕士，小红书人工智能工程师，研究方向为大语言模型、大模型智能体及其落地应用。Datawhale 成员，LLM-Cookbook、LLM-Universe 等开源项目负责人，所负责项目数十次登上 GitHub 趋势榜单，累计获得 GitHub 星标 7.6 万余次。

精彩书评：

大模型的发展日新月异，但万变不离其宗。本书难能可贵地选择了一条“溯源”之路，从自然语言处理的基础概念出发，抽丝剥茧地解析了Transformer架构与注意力机制，为读者构建了坚实的理论基础。不仅如此，本书还完整展现了LLaMA2大模型的构建过程，实现了从方法原理到工程代码的贯通。这是一本既有学术深度又有实践温度的佳作，堪称初学者踏入大模型领域的引路灯。

——殷建平，“万人计划”教学名师，全国优秀教师，全国优秀博士学位论文指导教师

“纸上得来终觉浅，绝知此事要躬行。”在开源大模型百花齐放的今天，从零开始构建并训练一个模型是每位人工智能工程师的必修课。本书真正做到了“授人以渔”，不仅详细拆解了大模型底层架构原理，手把手带领读者完成从预训练、SFT(有监督微调)到LoRA(低秩适配)微调的全流程，更涵盖了RAG(检索增强生成)和智能体等前沿应用。对渴望深入理解大模型底层逻辑、提升工程落地能力的开发者而言，本书提供了一条清晰、高效的进阶路径。

——刘聪，科大讯飞副总裁，科大讯飞研究院院长

这是通用人工智能从概念走向落地的时代。本书敏锐地捕捉到了这一技术浪潮的核心，通过系统性的章节编排，连接了经典的自然语言处理理论与当下的大模型热潮。本书关于大模型构建理论与实战的探讨极具启发性。无论是想要转行人工智能的初学者，还是希望紧跟技术潮流的从业者，都能从中获得新知。

——刘新旺，国防科技大学计算机学院教授，国家杰出青年科学基金、优秀青年科学基金获得者

本书是开源精神在人工智能时代的又一次生动实践。作者团队以极大的耐心深入浅出地将晦涩难懂的大模型原理转化为通俗易懂的教程，并提供了从数据处理到模型训练再到搭建大模型应用的完整代码实现。本书能够帮助读者去除对大模型的各种困惑，让读者亲手构建专属大模型成为可能。

——李洪波，北京极智嘉联合创始人、首席技术官

从Transformer的搭建，到完整构建并训练属于自己的大模型——本书以系统化的工程实践路径，架起了大模型领域理论与应用间的桥梁。本书兼具技术深度与可读性，是大模型学习者的实战宝典，特推荐给每一位对人工智能充满好奇的探索者!

——程明明，南开大学卓越工程师学院执行院长，国家杰出青年科学基金获得者

目  录：

第 1 章 NLP 基础概念 1

1.1 什么是 NLP 1

1.2 NLP 发展历程 2

1.3 NLP 任务 3

1.3.1 中文分词 3

1.3.2 子词切分 3

1.3.3 词性标注 4

1.3.4 文本分类 5

1.3.5 实体识别 5

1.3.6 关系抽取 6

1.3.7 文本摘要 6

1.3.8 机器翻译 7

1.3.9 自动问答 8

1.4 文本表示的发展历程 8

1.4.1 词向量 9

1.4.2 语言模型 10

1.4.3 Word2Vec 10

1.4.4 ELMo 11

1.5 本章小结 12

参考资料 12

第 2 章 Transformer 架构 14

2.1 注意力机制 14

2.1.1 什么是注意力机制 14

2.1.2 深入理解注意力机制 17

2.1.3 注意力机制的实现 19

2.1.4 自注意力 20

2.1.5 掩码自注意力 20

2.1.6 多头注意力 22

2.2 编码器 - 解码器架构 26

2.2.1 Seq2Seq 27

2.2.2 全连接神经网络 28

2.2.3 层归一化 29

2.2.4 残差连接 31

2.2.5 编码器 32

2.2.6 解码器 33

2.3 搭建一个 Transformer 模型 34

2.3.1 嵌入层 35

2.3.2 位置编码 36

2.3.3 一个完整的 Transformer 41

参考资料 44

第 3 章 PLM 45

3.1 仅编码器 PLM 45

3.1.1 BERT 46

3.1.2 RoBERTa 54

3.1.3 ALBERT 57

3.2 编码器 - 解码器 PLM 59

T5 60

3.3 仅解码器 PLM 66

3.3.1 GPT 66

3.3.2 LLaMA 72

3.3.3 GLM 74

参考资料 78

第 4 章 LLM 80

4.1 什么是 LLM 81

4.1.1 LLM 的定义 81

4.1.2 LLM 的能力 82

4.1.3 LLM 的特点 84

4.2 如何训练一个 LLM 86

4.2.1 预训练 87

4.2.2 SFT 91

4.2.3 RLHF 96

参考资料 100

第 5 章 动手搭建大模型 101

5.1 动手搭建一个 LLaMA2 大模型 101

5.1.1 定义超参数 101

5.1.2 构建 RMS 归一化 102

5.1.3 构建 LLaMA2 Attention 模块 104

5.1.4 构建 LLaMA2 MLP 模块 111

5.1.5 构建 LLaMA2 的解码器层 113

5.1.6 构建 LLaMA2 大模型 115

5.2 训练分词器 119

5.2.1 词级分词器 119

5.2.2 字符级分词器 120

5.2.3 子词级分词器 120

5.2.4 训练一个分词器 122

5.3 预训练一个小型 LLM 129

5.3.1 数据下载 129

5.3.2 分词器训练实战 131

5.3.3 数据集 137

5.3.4 预训练 142

5.3.5 SFT 训练 148

5.3.6 使用模型生成文本 154

第 6 章 大模型训练流程实践 161

6.1 模型预训练 161

6.1.1 Transformers 框架介绍 161

6.1.2 初始化 LLM 162

6.1.3 预训练数据处理 166

6.1.4 使用 Trainer 类进行训练 169

6.1.5 使用 DeepSpeed 实现分布式训练 170

6.2 模型 SFT 178

6.2.1 预训练与 SFT 179

6.2.2 微调数据处理 179

6.3 高效微调 185

6.3.1 高效微调方案 186

6.3.2 LoRA 微调 187

6.3.3 LoRA 微调的原理 188

6.3.4 LoRA 微调的代码实现 189

6.3.5 使用 peft 实现 LoRA 微调 192

参考资料 194

第 7 章 大模型应用 195

7.1 大模型评测 195

7.1.1 LLM 的评测数据集 196

7.1.2 主流的大模型评测榜单 197

7.1.3 特定的大模型评测榜单 198

7.2 RAG 199

7.2.1 RAG 的基本原理 199

7.2.2 实现一个 RAG 框架 200

7.3 智能体 209

7.3.1 什么是智能体 209

7.3.2 智能体的类型 210

7.3.3 动手构造一个小型智能体 212

参考资料 219