序言

知名高管语录

人类正从IT时代走向DT时代。未来的制造业要的最大的能源不是石油，而是数据。

——阿里巴巴集团董事局前主席马云

“互联网+”的发展与大数据、云计算密不可分。

——腾讯公司董事会主席兼CEO马化腾

探索数据的价值、挖掘大数据时代的商业模式，是全行业的当务之急。

——小米公司董事长兼CEO雷军

丛书设计背景

当你在知名人士口中听到“大数据”时，其实它早已渗透到了每个行业和业务职能领域，并成为了重要的生产因素。企业利用大数据贴近用户、加强业务中的薄弱环节、规范生产架构和策略，创造了更多的商业价值，进而形成了包括大数据采集、存储、处理、分析、可视化呈现等的大数据产业，并在其形成过程中提出了以Hadoop为代表的一整套大数据技术解决方案。

大数据产业当前仍处于技术高速发展时期，需要使用到很多不同的框架和工具，初学者在学习时会有无从下手的感觉，因此“大数据核心技术系列”丛书应时而生。该丛书根据企业的实际人才需求，参考历史学习难度曲线，选取了“Hadoop+Spark+Python”技术集作为核心学习路径。编委会系统打造大数据核心技术系列丛书，旨在为读者提供一站式实战型大数据开发学习指导，帮助读者踏上由入门到实战的大数据开发之旅！

丛书核心技术

“大数据核心技术系列”丛书以Hadoop、Spark、Python三个技术为核心，根据各个技术的不同特点，解决在大数据离线批处理和实时计算两个过程中所遇到的问题。主要内容如下：

➢ 以Hadoop为核心完成大数据分布式存储与离线计算；

➢ 使用Hadoop生态圈中的日志收集、任务调度、消息队列、数据仓库、可视化UI等子系统完成大数据应用系统架构设计；

➢ 使用Spark Streaming和Flink实现大数据的实时计算；

➢ 使用基于Python的Scrapy爬虫框架实现数据采集；

➢ 使用NumPy、Pandas和Matplotlib完成数据的分析与可视化；

➢ 使用Scala实现交互式查询分析与Spark应用开发；

➢ 结合大量项目案例完成大数据处理业务场景的实战。

丛书特点

1. 逆向课程设计

满足企业对人才的技能需求是设计本系列丛书的核心原则，为此，课工场大数据开发教研团队采用逆向课程设计法（对应的设计流程如下图所示），不断迭代优化课程，形成了落地生根的应用型人才培养体系。

2. 任务驱动讲解

本丛书中的技能点和知识点均由任务驱动，读者在学习知识时不仅可以知其然，还可以知其所以然，有助于读者融会贯通、举一反三。

3. 实战技术提升

本丛书均设置项目实战环节，综合运用书中的知识点，帮助读者提升项目实践能力。每个实战项目都设有相应的项目思路指导、重难点讲解、实现步骤总结和知识点梳理。

4. 融媒体移动学习

本丛书可配合使用课工场App进行移动学习，观看理论讲解和案例操作的配套视频，同时课工场在线开辟教材配套版块提供案例素材及代码下载服务。此外，课工场还为读者提供了体系化的学习路径、丰富的在线学习资源和活跃的学习社区，方便读者随时学习。

读者服务

读者可以扫描下方二维码访问课工场在线的系列课程和免费资源，如果学习过程中有任何疑问，也欢迎发送邮件到ke@kgc.cn，我们的课代表将竭诚为您服务。

感谢您阅读本丛书，希望本丛书能成为您大数据开发之旅的好伙伴！

“大数据核心技术系列”丛书编委会