雅书

内容简介：

这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作，也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。

本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。具体地，通过本书你能了解或掌握以下知识：

(1)大型语言模型的基础理论，包括常见的模型架构、领域大型语言模型以及如何评估大模型的性能。

(2)大模型微调的关键步骤：从数据的收集、清洗到筛选，直至微调训练的技术细节。

(3)大模型人类偏好对齐方法，从基于人工反馈的强化学习框架到当前主流的对齐方法。

(4)通过GPTs快速搭建个性化的专属ChatGPT应用。

(5)通过开源模型在多种场景下搭建大模型应用，包括：表格查询、角色扮演、信息抽取、知识问答、AI Agent等。

(6)掌握大模型Agent方法以及Agent常用框架。

(7)基于LangChain框架构建一个AutoGPT应用。

本书集大模型理论、实践和场景落地于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究大模型本身，还是进行大模型相关应用搭建，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

作者简介：

刘聪

资深NLP技术专家和AI技术专家，南京云问科技首席算法架构师，MLNLP(机器学习算法与自然语言处理)社区学术委员。主攻文本向量表征、问答系统、AIGC等技术方向，是大模型领域的先驱者和布道者。开源了首个中文Unilm预训练模型、中文GPT2、夸夸闲聊机器人(ChatBot)、大模型微调等项目。作为主要负责人，在多项自然语言处理比赛中获得前三名，在中文核心期刊和SCI发表多篇论文，有多项发明专利。知乎ID“刘聪NLP”，拥有公众号“NLP工作站”，撰写书籍《ChatGPT原理与实战》。

沈盛宇

资深算法工程师，南京云问网络技术有限公司算法组负责人。擅长结合用户业务场景，针对性设计知识图谱、问答、检索、多模态、AIGC等的相关算法和落地方案。在结合客户现有产品体系，推动数据中台和算法平台结合，从而提升服务质量方面，有丰富实战经验。曾获得多项国家专利，参与制定和撰写《IDP术语标准》《人工智能-智能助理能力等级评估标准》《人工智能标准化与开源研究报告》《ChatGPT原理与实战》等多项国家级人工智能标准和书籍。

李特丽

资深大模型应用专家，LangChain中文社区联合创始人，开发Langchain等多个大模型开发框架的中文网，帮助中国开发者快速学习AI开发框架，撰写书籍《LangChain入门指南》。

杜振东

资深NLP技术专家和AI技术专家，南京云问科技NLP研究院院长，国家人工智能标准委专家、AIIA 人工智能技术专家、CCF智能机器人专业组首批委员。拥有10年机器学习与文本挖掘经验，8年中文自然语言处理实战经验，参与制定6项国家人工智能总体组标准，编写书籍《会话式AI》《人工智能实践录》《ChatGPT原理与实战》等。

目  录：

前言

第1章　大型语言模型基础 1

1.1　Transformer基础 1

1.2　常用的大型语言模型 4

1.2.1　GPT系列模型 4

1.2.2　OPT模型 11

1.2.3　Bloom模型 12

1.2.4　GLM系列模型 12

1.2.5　LLaMA系列模型 14

1.2.6　Baichuan系列模型 16

1.2.7　Qwen系列模型 18

1.2.8　Skywork模型 19

1.3　领域大型语言模型 21

1.3.1　法律大型语言模型 21

1.3.2　医疗大型语言模型 24

1.3.3　金融大型语言模型 27

1.3.4　教育大型语言模型 29

1.4　大型语言模型评估 30

1.4.1　大型语言模型的评估内容 30

1.4.2　大型语言模型的评估方法 32

1.4.3　大型语言模型评估榜单 33

1.5　本章小结 37

第2章　大型语言模型的常用微调方法 38

2.1　数据构造与清洗 38

2.1.1　数据构造方法 39

2.1.2　数据清洗方法 43

2.2　分词器构造 44

2.2.1　分词器概述 44

2.2.2　BPE分词器 45

2.2.3　WordPiece分词器 52

2.2.4　Unigram分词器 56

2.2.5　SentencePiece分词器 58

2.2.6　词表融合 62

2.3　大型语言模型的微调方法 63

2.3.1　前缀调优 63

2.3.2　提示调优 64

2.3.3　P-Tuning v2 65

2.3.4　LoRA 65

2.3.5　DyLoRA 66

2.3.6　AdaLoRA 67

2.3.7　QLoRA 67

2.3.8　QA-LoRA 68

2.3.9　LongLoRA 69

2.3.10　VeRA 69

2.3.11　S-LoRA 70

2.4　基于PEFT的LLaMA模型微调实战 71

2.4.1　项目介绍 71

2.4.2　数据预处理 71

2.4.3　模型微调 72

2.4.4　模型预测 77

2.5　本章小结 78

第3章　大型语言模型的人类偏好对齐 79

3.1　基于人类反馈的强化学习框架 79

3.2　前沿偏好对齐方法 84

3.2.1　RRHF 84

3.2.2　RLAIF 85

3.2.3　DPO 87

3.2.4　APO 89

3.3　基于DPO的偏好对齐实战 90

3.3.1　数据集介绍 90

3.3.2　TRL框架介绍 92

3.3.3　训练代码解析 93

3.4　本章小结 96

第4章　创建个人专属的ChatGPT—GPTs 97

4.1　GPTs初体验 97

4.2　GPTs的初阶使用 105

4.2.1　知识库的使用 105

4.2.2　内置插件的使用 108

4.2.3　知识库与内置插件的结合使用 111

4.3　GPTs的高阶使用 113

4.4　本章小结 122

第5章　大型语言模型SQL任务实战 123

5.1　公开数据集 123

5.1.1　英文公开数据集 123

5.1.2　中文公开数据集 128

5.2　主流方法 132

5.2.1　基于规则的方法 133

5.2.2　基于深度学习的方法 133

5.2.3　基于预训练语言模型的方法 136

5.2.4　基于大型语言模型的方法 136

5.3　Text2SQL任务实战 141

5.3.1　项目介绍 141

5.3.2　数据预处理 142

5.3.3　模型微调 147

5.3.4　模型预测 149

5.4　本章小结 150

第6章　大型语言模型的角色扮演应用 151

6.1　角色扮演 151

6.1.1　大型语言模型如何进行角色扮演 153

6.1.2　角色扮演数据的构造方法 155

6.1.3　大型语言模型角色扮演的能力评估 155

6.2　角色扮演实战测试 156

6.3　基于Baichuan的角色扮演模型微调 159

6.3.1　项目介绍 159

6.3.2　数据预处理 160

6.3.3　模型微调 164

6.3.4　模型预测 171

6.4　本章小结 175

第7章　大型语言模型的对话要素抽取应用 176

7.1　对话要素抽取 176

7.2　对话要素抽取实战测试 177

7.2.1　基于GPT-3.5 API进行对话要素抽取 178

7.2.2　基于Qwen-1.8B模型进行对话要素抽取 180

7.3　基于Qwen的对话要素抽取模型微调 183

7.3.1　项目介绍 183

7.3.2　数据预处理 183

7.3.3　模型微调 190

7.3.4　模型预测 198

7.4　本章小结 202

第8章　Agent应用开发 203

8.1　Agent概述 203

8.2　Agent的主要模块 205

8.3　Agent的行为决策机制 207

8.4　主流Agent 框架 211

8.4.1　LangChain框架 211

8.4.2　LlamaIndex框架 214

8.4.3　AutoGPT框架 215

8.4.4　AutoGen 框架 216

8.4.5　SuperAGI框架 219

8.5　本章小结 221

第9章　基于知识库的大型语言模型问答应用 222

9.1　基于知识库问答 222

9.2　向量数据库 224

9.2.1　文本的向量表征 225

9.2.2　向量的距离度量方法 228

9.2.3　常用的向量数据库 229

9.3　基于知识库的大型语言模型问答实战 231

9.3.1　BGE微调 231

9.3.2　基于ChatGLM3知识库答案生成任务的微调 238

9.3.3　基于Streamlit 的知识库答案应用搭建 245

9.4　本章小结 249

第10 章　使用LangChain 构建一个AutoGPT 250

10.1　AutoGPT 概述 250

10.2　LangChain 概述 253

10.3　使用LangChain 构建AutoGPT 254

10.3.1　构建 254

10.3.2　规划和任务分解 255

10.3.3　输出解析 258

10.3.4　程序的核心AutoGPT类 261

10.3.5　工具能力配置 266

10.3.6　为Agent 配置记忆 269

10.4　运行AutoGPT 274

10.5　本章小结 277