Hadoop大数据开发案例教程与项目实战 在线实验+在线自测PDF|Epub|txt|kindle电子书版本网盘下载

Hadoop大数据开发案例教程与项目实战 在线实验+在线自测PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

基础篇1

第1章 Hadoop概述1

1.1 Hadoop简介1

1.2 Hadoop相关项目2

1.3 Hadoop来源3

1.4 Hadoop的发展史4

1.5 Hadoop特点5

1.6 Hadoop体系架构6

1.6.1 HDFS体系结构7

1.6.2 MapReduce体系结构7

本章小结8

习题8

第2章 Hadoop基础环境配置9

2.1 准备Linux环境9

2.1.1 安装VMware12虚拟机9

2.1.2 部署CentOS 64位操作系统11

2.2 Linux配置16

2.2.1 什么是Linux16

2.2.2 Linux发行版16

2.2.3 配置网络16

2.2.4 Linux终端17

2.3 Hadoop环境搭建21

2.3.1 JDK安装和测试21

2.3.2 Hadoop安装和配置25

2.3.3 SSH免密码配置31

本章小结33

习题34

第3章 分布式存储HDFS35

3.1 HDFS概念35

3.1.1 HDFS简介35

3.1.2 HDFS设计思路和理念35

3.2 HDFS体系结构36

3.3 HDFS文件存储机制36

3.4 HDFS Shell介绍39

3.4.1 命令格式39

3.4.2 HDFS用户命令40

3.4.3 HDFS管理员命令40

3.5 Hadoop项目创建47

3.6 RPC通信原理53

3.6.1 什么是Hadoop的RPC53

3.6.2 RPC采用的模式53

3.7 分布式文件系统操作类59

本章小结69

习题69

第4章 计算系统MapReduce70

4.1 MapReduce概念70

4.1.1 MapReduce简介70

4.1.2 MapReduce数据类型与格式71

4.1.3 数据类型Writable接口71

4.1.4 Hadoop序列化机制72

4.2 MapReduce架构72

4.2.1 数据分片72

4.2.2 MapReduce执行过程73

4.2.3 Mapper执行过程73

4.2.4 Reducer执行过程74

4.2.5 Shuffle过程75

4.3 第一个MapReduce案例75

4.4 MapReduce接口类79

4.4.1 MapReduce输入的处理类79

4.4.2 MapReduce输出的处理类80

本章小结87

习题87

第5章 计算模型Yarn88

5.1 Yarn概述88

5.1.1 Yarn简介88

5.1.2 Yarn的组成89

5.2 Yarn的执行过程89

5.3 新旧MapReduce的对比90

本章小结101

习题101

第6章 数据云盘102

6.1 项目概述102

6.2 功能需求102

6.3 软件开发需求102

6.4 效果展示103

6.5 系统开发104

本章小结125

习题125

提 高篇126

第7章 协调系统Zookeeper126

7.1 Zookeeper概述126

7.1.1 Zookeeper简介126

7.1.2 Zookeeper数据模127

7.1.3 Zookeeper特征127

7.1.4 Zookeeper 工作原理128

7.2 Zookeeper术语129

7.2.1 节点129

7.2.2 角色129

7.2.3 顺序号129

7.2.4 观察129

7.2.5 Leader选举129

7.3 事件130

7.4 Zookeeper Shell操作130

7.4.1 Zookeeper服务命令130

7.4.2 Zookeeper客户端命令134

7.5 Zookeeper API操作137

本章小结156

习题156

第8章 Hadoop数据库Hbase157

8.1 Hbase概述157

8.1.1 Hbase简介157

8.1.2 Hbase优势和特点158

8.1.3 Hbase专业术语158

8.2 Hbase架构158

8.2.1 角色159

8.2.2 Hbase物理存储和逻辑视图160

8.3 Hbase Shell操作163

8.4 Hbase API操作168

8.5 Hbase过滤器182

8.5.1 过滤器的含义182

8.5.2 过滤器的比较操作符182

8.5.3 过滤器的比较器183

本章小结193

习题193

第9章 Hadoop数据仓库Hive194

9.1 Hive概述194

9.1.1 Hive简介194

9.1.2 Hive数据类型194

9.1.3 Hive Metastore195

9.1.4 Hive存储和压缩195

9.1.5 Hive与传统数据库对比195

9.2 Hive的系统架构196

9.3 Hive的数据模型200

9.3.1 内部表200

9.3.2 外部表200

9.3.3 分区表201

9.3.4 桶表201

9.4 Hive Shell操作201

9.5 Hive API操作208

9.6 Hive内置函数和UDF215

9.6.1 内置函数215

9.6.2 UDF函数215

本章小结222

习题222

第10章 Hadoop数据采集Flume223

10.1 Flume概述223

10.1.1 Flume简介223

10.1.2 Flume核心概念223

10.1.3 Flume系统要求224

10.2 Flume架构224

10.3 Flume常见操作命令225

10.4 Flume环境搭建226

10.4.1 设置一个Agent226

10.4.2 启动Agent226

本章小结231

习题231

第11章 OTA离线数据分析平台232

11.1 项目概述232

11.2 功能需求233

11.3 软件开发关键技术233

11.4 效果展示233

11.5 平台搭建与测试233

11.5.1 配置ssh免密码登录233

11.5.2 配置JDK234

11.5.3 配置Hadoop236

11.5.4 配置Hive242

11.6 数据收集247

11.6.1 解压Flume247

11.6.2 修改配置文件248

11.6.3 启动Flume248

11.6.4 校验数据248

11.7 数据分析249

11.7.1 数据清洗249

11.7.2 ETL编程256

11.7.3 业务分析261

11.7.4 配置Sqoop264

11.7.5 从HDFS导出数据至MySQL267

11.8 数据展示268

11.8.1 搭建Web开发环境268

11.8.2 添加代码272

11.8.3 项目结构282

11.8.4 启动Tomcat283

11.8.5 访问Web页面283

本章小结283

习题284