Hadoop云技术从入门到精通PDF|Epub|txt|kindle电子书版本网盘下载

Hadoop云技术从入门到精通PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云计算概述1

1.1云计算的定义1

1.1.1灵活资源分配2

1.1.2按需收费2

1.1.3虚拟化2

1.1.4网络化2

1.1.5高可靠性3

1.2云计算的分类3

1.2.1按技术路线分类3

1.2.2按服务对象分类4

1.2.3按资源封装的层次分类5

1.3云计算发展简介6

1.3.1发展历程6

1.3.2国内现状7

1.3.3国外现状7

1.4云计算技术8

1.4.1编程模式8

1.4.2虚拟化技术9

1.4.3存储技术9

1.4.4 云计算平台管理技术10

1.5小结10

第2章 Hadoop简介11

2.1 Hadoop起源11

2.2 Hadoop发展历程11

2.3 Apache Hadoop项目及其结构12

2.4 Hadoop常用项目介绍14

2.5 Hadoop的衍化版本16

2.5.1 Cloudera16

2.5.2 Transwarp17

2.6小结17

第3章 MapReduce18

3.1 MapReduce简介18

3.2 MapReduce架构19

3.3 MapReduce的工作机制20

3.3.1 MapReduce作业运行机制20

3.3.2 MapReduce容错机制21

3.4 MapReduce编程实例22

3.5第二代计算框架YARN24

3.5.1 YARN的设计24

3.5.2 YARN的组件25

3.6小结25

第4章 Hadoop分布式文件系统26

4.1 HDFS简介26

4.2 HDFS架构26

4.3 HDFS容错机制28

4.4 HDFS备份规则29

4.4.1放置策略29

4.4.2流水式复制29

4.5 HDFS权限管理29

4.5.1 HDFS用户身份认证30

4.5.2超级用户30

4.5.3文件权限管理30

4.6小结31

第5章 Hadoop案例分析32

5.1互联网企业——Yahoo、百度、阿里、腾讯32

5.1.1 Yahoo—Hortonworks32

5.1.2百度——百度云33

5.1.3阿里巴巴——阿里云33

5.1.4腾讯——腾讯云34

5.2智慧城市——贵阳35

5.3电子商务——京东36

5.4国内外旅游业38

5.4.1旅游搜索网站FareCast38

5.4.2途牛旅游网38

5.5小结39

第6章 Hadoop集群实验40

6.1安装VMware ESXi 6.5平台40

6.2安装Ubuntu 16.04系统45

6.3 Hadoop系统运行环境54

6.3.1设置主机名54

6.3.2设置网络54

6.3.3安装JDK56

6.3.4配置系统环境变量58

6.3.5配置SSH免密登录59

6.4 Hadoop集群部署62

6.4.1单节点模式Hadoop系统安装63

6.4.2伪分布模式Hadoop系统安装64

6.4.3完全分布式Hadoop系统安装65

6.4.4启动及测试Hadoop集群68

6.5 HDFS命令行73

6.6 Hive部署74

6.6.1 MySQL安装75

6.6.2 Hive安装76

6.6.3启动及测试Hive77

6.7 ZooKeeper和HBase部署77

6.7.1 ZooKeeper安装78

6.7.2启动ZooKeeper79

6.7.3 HBase部署79

6.7.4启动HBase81

6.8 Eclipse环境82

6.8.1配置工作环境83

6.8.2开发初步89

6.8.3运行WordCount程序92

6.9 Hadoop集群运维94

6.10小结94

第7章 Hadoop系统的优化95

7.1影响Hadoop系统性能的因素95

7.2监测工具96

7.2.1 Chukwa96

7.2.2 Ganglia收集器96

7.2.3 Nagios96

7.3基于性能基线的Hadoop系统性能优化97

7.3.1调优过程97

7.3.2甄别资源瓶颈97

7.4 MapReduce调优98

7.4.1 Map任务调优98

7.4.2 Reduce任务调优99

7.5常用调优手段100

7.5.1面向MapReduce应用程序的调优手段100

7.5.2面向作业的调优手段101

7.5.3面向Hadoop系统参数的调优手段102

7.6小结103

第8章 Hadoop在光网络优化中的应用104

8.1装箱问题104

8.2光网络中的装箱问题105

8.3 WDM光网络106

8.3.1路由和波长分配108

8.3.2绿色光网络的优化设计110

8.4弹性光网络112

8.4.1基于SBPP共享保护策略的路由和频谱分配113

8.4.2基于自适应FEC分配策略的路由和频谱分配115

8.5 Hadoop平台执行多次业务打乱策略116

8.6结果分析117

8.6.1路由和波长分配117

8.6.2绿色光网络的优化设计118

8.6.3基于SBPP共享保护策略的路由和频谱分配119

8.6.4基于自适应FEC分配策略的路由和频谱分配119

8.7小结120

第9章 Hadoop的Java API121

9.1 Hadoop API中常用包121

9.1.1 org.apache.Hadoop.conf包121

9.1.2 org.apache.Hadoop.fs包122

9.2 MapReduce API123

9.2.1 Mapper类124

9.2.2 Reducer类125

9.2.3 Driver126

9.3 HDFS API126

9.3.1获取文件系统127

9.3.2创建文件或文件目录127

9.3.3删除文件或文件目录128

9.3.4写入和读取数据128

9.3.5上传和下载文件128

9.3.6显示HDFS中的文件129

9.3.7在Hadoop的环境之外配置文件系统129

9.4小结129

第10章 Hadoop系统微型化和界面可视化130

10.1微型化130

10.1.1平台信息131

10.1.2性能131

10.2可视化132

10.2.1 HDFS文件系统树区域133

10.2.2命令控制区域133

10.2.3命令行134

10.2.4任务状态可视化135

10.2.5菜单栏135

10.2.6云平台软件的使用136

10.3小结144

附录 缩略语英汉对照表145

参考文献148