雅书

内容简介：

本书第一章为读者揭示了数据的魅力以及其在日常生活中的无处不在。随后的章节详细介绍了数据的成长、存储和处理方式。从早期的磁带和光盘，到现代的Hadoop、Spark和分布式系统，读者将对大数据技术有一个全面的了解。中间章节着重于大数据在不同领域中的应用，如社交媒体、金融市场和电商，展示了数据如何被转化为有价值的洞察和解决方案。同时，书中也详述了数据处理和机器学习的方法，让读者了解到计算机是如何"思考"和从数据中"学习"的。后续章节则深入讲解了大数据的采集、存储和处理技术，为读者呈现了大数据的后台运行机制、架构原理等。从数据的采集、传输，到其如何被存储、清洗和展现，每一个环节都至关重要。在大数据应用的最后部分，书中讨论了其如何助力企业实现数字化转型，为企业决策提供坚实的数据支撑。此外，也对数据治理进行了详细的探讨，强调了数据质量、安全和隐私的重要性。

作者简介：

张伟洋，大数据领域资深专家，拥有多年互联网公司软件研发经验，曾在互联网旅游公司任软件研发事业部经理。先后多次为中国海洋大学、曲阜师范大学、青岛理工大学等高校举行大数据专题讲座及实践授课，对Hadoop及周边大数据框架ZooKeeper、Hive、HBase、Storm、Spark、Flink等有深入的研究。已出版《Hadoop3.X大数据开发实战》《Flink大数据分析实战》等图书，公众号"奋斗在IT” 的创办人。

目  录：

第 1 章 大家好，我叫大数据 / 001

1 我的成长历程：从小小的石头到壮大的字节 / 002

最初的我：原始部落中的计数石头 / 002

我的成长轨迹：从小小的字节到庞大的数据宇宙 / 003

2 我为何这么火? / 004

我的舞台：从厨房计时到火箭发射 / 004

我的超能力：从预测天气到做出决策 / 006

第 2 章 我的近代成长历程 / 008

3 我的童年回忆：被遗忘的数据碎片 / 009

磁带与光盘：早期的数据存储 / 009

数据的碎片：数据格式的演变历程 / 012

4 青涩的少年时期：积累的数据块 / 016

数据库的诞生：管理的需要 / 016

关系数据库：数据的规整之家 / 018

对象数据库：面向对象的存储魔法 / 021

分布式数据库：分而治之的大数据仓库 / 025

SQL：与数据的对话 / 029

SQL 的不同版本：与我沟通的“方言”/ 031

NoSQL 与非结构化数据：自由的空间 / 033

现在的我：我已经这么“大”了 / 035 我的与众不同之处 / 035

Hadoop：我身后的大象 / 038 流处理：快速做出反应 / 039 Spark：闪电般的速度 / 042 分布式系统：多个“我”合作 / 043

6 记忆的宝库：数据库是我存储回忆的地方 / 047 安全的保险柜：确保数据不丢失 / 047 快速检索数据：让查询变得飞快 / 050

第 3 章 你知道我每天都吃些什么吗? / 055

7 早餐：你的点赞和分享 / 056 社交媒体的数据流：实时感受你的喜怒哀乐 / 056 每一个点击、每一次滑动：深藏在用户行为背后的无尽宝藏 / 058

8 午餐：各个公司的交易记录 / 060 金融市场的脉搏：股票与货币 / 060 商业的核心：交易与客户关系 / 063

9 晚餐：你们的网购和搜索历史 / 065 购物车里的秘密：推荐系统背后 / 065 搜索的力量：广告与优化 / 068

第 4 章 我是如何思考的? / 070

10 算法的基石：逻辑与数学是我思考的工具 / 071 逻辑结构：算法的骨架 / 071

【示例】排序算法 / 072 数学工具：算法的血肉 / 074

【示例】基于逻辑与数学实现一个电影推荐系统 / 076

11 深度思考：深度学习让我变得更像人类 / 080 神经网络：算法的“大脑”/ 080

实际应用：图像识别 / 081

12 搜索算法：简单而强大 / 083 线性搜索：简单而直接 / 083

二分搜索：高效的搜索方法 / 084

13 路径规划算法：两点之间的最短路径 / 088 路径规划算法的过程 / 088

【示例】最短路径探险 / 089

14 持续学习：在线学习让我不断进化 / 092 什么是在线学习? / 092

为什么需要在线学习? / 092

在线学习的实际应用 / 093

第 5 章 跟我去健身吧! / 095

15 热身动作：首先清洗“身体”/ 096 错误与异常：数据清洗的艺术 / 096 数据转换：标准化与归一化 / 099 清洗工具：流行的清洗技术与软件 / 103

16 体能训练：深度挖掘 / 109关联分析：发现数据之间的联系 / 109 【示例】顾客购物篮数据关联分析 / 109

聚类分析：发现数据中的自然分组 / 112 示例：客户群体聚类分析 / 113 频繁模式挖掘：发现常见模式 / 115

【示例】找出文章中的高频词 / 116 分类分析：将数据分为不同的类别 / 118

【示例】使用决策树模型预测客户流失 / 121 【示例】使用随机森林模型预测客户贷款违约 / 124

挖掘技术：常用的数据分析技术与流程 / 128 【示例】使用 Matplotlib 进行数据可视化 / 130

17 心肺锻炼：解读“心跳”数据 / 134

【示例】使用 Python 绘制时间序列图 / 134 【示例】使用移动平均方法统计数据的长期趋势 / 137 【示例】使用 ARIMA 模型预测未来销售额 / 140

心跳图：时序数据与异常检测 / 142 【示例】心跳数据监测 / 142

专家解读：数据科学家是如何解读数据的 / 144

第 6 章 数据治理：保护我，让我更健康 / 147

18 我的身份证：数据目录和元数据 / 148 数据字典：定义与约束 / 148

元数据的守护：跟踪数据的来源与变化 / 15019 我的护卫：数据加密先生 / 153 数据加密与数据解密的基本原理 / 153 对称加密与非对称加密 / 154 安全的保障：防止数据泄露的措施 / 157

第 7 章 介绍我的好朋友们 / 161

20 我的学霸朋友：机器学习 / 162 小明的学习日志 1：模型的训练与测试 / 162 小明的学习日志 2：模型部署与监控 / 169 小明的实践场：机器学习的应用场景 / 171

21 我的邻居：云计算小红 / 173 小红的云屋：数据存储与处理的新时代 / 173 云上的合作：我与云的互动 / 178

22 我的技术达人：自然语言处理小华 / 181 小华的语言天赋：文本处理与情感分析 / 181 小华的应用场景：聊天机器人与翻译 / 185

23 我的创意伙伴：计算机视觉小强 / 188 小强的视觉技能：图像识别与图像生成 / 188 语义分割：从像素级别理解图像 / 197

3D 视觉：从二维图像到三维世界的探索 / 200 小强的应用场景：自动驾驶与智能监控 / 201

R-CNN、Fast R-CNN 和 Faster R-CNN： 目标检测的进化之路 / 203第 8 章 我的语音伙伴：语音识别与合成 / 210

24 语音识别的基本原理 / 211 声音的数字化处理：从声音到数据 / 211 语音信号处理技术：拆解声音的秘密 / 213

25 语音识别的常用算法 / 220 隐马尔可夫模型(HMM)：语音识别的老将 / 221 深度神经网络(DNN)：赋予语音识别新的生命 / 224 循环神经网络(RNN)：记住你的每一句话 / 226 端到端语音识别模型：一条龙服务 / 229

26 语音合成的基本原理 / 231 文本分析与处理：从文字到声音 / 231 神经网络语音合成技术 / 232 智能语音助手的实现流程 / 234

第 9 章 我与区块链和物联网的故事 / 237

27 我与区块链的融合 / 238 区块链基础：去中心化与数据透明 / 238 我与区块链联手：数据存储与可信计算 / 240

28 我与物联网 / 244

物联网设备：数据收集的前沿 / 244 物联网设备的工作原理 / 245 传感器：物联网的感觉器官 / 247 物联网通信协议：设备之间的语言 / 248 我在物联网中的应用：智能家居与智慧城市 / 252