大数据浪潮 大数据整体解决方案及关键技术探索PDF|Epub|txt|kindle电子书版本网盘下载

大数据浪潮 大数据整体解决方案及关键技术探索PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

基础篇3

1 大数据背景3

1.1 大数据时代的到来3

1.2 大数据定义及特征4

1.3 大数据价值6

1.4 大数据备受关注7

1.5 大数据带来的挑战8

2 大数据基础10

2.1 云计算10

2.1.1 云计算概述10

2.1.2 云计算与大数据的联系12

2.2 物联网13

2.2.1 物联网概述13

2.2.2 物联网与大数据14

2.3 数据中心14

2.3.1 数据中心概述14

2.3.2 数据中心与大数据15

进阶篇19

3 大数据的生成和采集19

3.1 大数据生成19

3.1.1 企业内部数据19

3.1.2 物联网数据20

3.1.3 互联网数据21

3.1.4 生物医疗数据21

3.1.5 其他科学数据22

3.2 大数据采集22

3.2.1 数据收集23

3.2.2 数据传输25

3.2.3 数据预处理26

4 大数据存储28

4.1 海量存储系统28

4.2 分布式存储系统29

4.3 大数据存储机制31

4.3.1 数据库技术32

4.3.2 数据库编程模型36

5 大数据分析39

5.1 传统数据分析方法39

5.2 大数据分析方法40

5.3 大数据分析架构42

5.4 大数据挖掘和分析软件43

实践篇47

6 大数据整体解决方案47

6.1 大数据解决方案方法论47

6.1.1 大数据解决方案参考模型48

6.1.2 大数据解决方案分类49

6.2 大数据硬件平台50

6.2.1 可扩展性设计51

6.2.2 可定制性设计52

6.3 大数据软件系统55

6.3.1 大数据处理系统核心模块55

6.3.2 发行版增强功能、企业应用优化和增值服务56

6.3.3 基于内存计算的大数据处理系统60

6.4 大数据典型处理流程63

6.5 大数据一体化解决方案比较67

7 分布式文件系统HDFS72

7.1 Hadoop I/O操作72

7.1.1 I/O操作中的数据检查73

7.1.2 数据的压缩76

7.1.3 数据的I/O中序列化操作78

7.2 Hadoop文件系统87

7.3 HDFS体系结构89

7.3.1 HDFS的特点和局限89

7.3.2 HDFS相关概念90

7.3.3 HDFS架构91

7.4 HDFS文件结构94

7.4.1 NameNode的文件结构94

7.4.2 编辑日志（edit log）及文件系统映像（filesystem image）95

7.4.3 Secondary NameNode的目录结构96

7.4.4 Data Node的目录结构97

7.5 HDFS读／写数据流98

7.5.1 文件的读取98

7.5.2 文件的写入99

7.5.3 一致性模型101

7.6 HDFS命令详解102

7.6.1 通过distcp进行并行复制102

7.6.2 HDFS平衡103

7.6.3 其他命令103

8 并行编程模型MapReduce108

8.1 MapReduce体系结构108

8.1.1 MapReduce基本模型108

8.1.2 MapReduce作业执行流程108

8.2 MapReduce关键流程详解110

8.2.1 partiton过程110

8.2.2 combine过程111

8.2.3 shuffle过程112

8.3 MapReduce高级应用114

8.3.1 二次排序114

8.3.2 全排序119

8.3.3 分布式缓存121

8.3.4 MapReduce小文件处理与文件压缩123

8.3.5 MapReduce负载均衡125

9 NoSQL数据库HBase128

9.1 HBase体系结构128

9.2 RowKey的设计与数据访问132

9.3 过滤器135

9.3.1 比较过滤器137

9.3.2 专用过滤器137

9.3.3 附加过滤器139

9.3.4 FilterList139

9.3.5 自定义过滤器140

9.4 HBase多维数据访问142

9.4.1 通过Filter实现142

9.4.2 通过设计RowKey实现143

9.5 协处理器Coprocessor143

9.5.1 Coprocessor类144

9.5.2 协处理器的加载144

9.5.3 观察者146

9.5.4 终端150

9.6 二级索引154

9.6.1 全局索引（global index）154

9.6.2 本地索引（local index）155

10 交互式查询语言Hive157

10.1 Hive体系结构157

10.1.1 Hive客户端159

10.1.2 Metastore159

10.2 Hive数据类型160

10.2.1 基本类型161

10.2.2 复杂类型161

10.3 Hive存储方式和压缩类型162

10.3.1 托管表和外部表162

10.3.2 存储方式163

10.4 Hive关键技术164

10.4.1 HiveQL简介164

10.4.2 Hive表的创建165

10.4.3 Hive表的数据加载166

10.4.4 Hive表的查询167

10.4.5 Hive表的更改170

10.4.6 Hive表的删除171

10.4.7 Hive表的分区171

10.4.8 Hive表的分桶173

10.4.9 用户定义函数174

10.5 Hive优化技术175

10.5.1 Join优化175

10.5.2 数据倾斜优化176

10.5.3 Map和Reduce个数控制177

11 资源管理和调度框架——YARN180

11.1 MRv1架构面临的问题180

11.2 YARN架构181

11.2.1 YARN整体架构181

11.2.2 RM组件的作用183

11.2.3 AM组件的作用184

11.2.4 NM组件的作用185

11.2.5 运行在YARN上的计算框架186

11.2.6 在YARN上定制计算框架187

11.3 YARN管理后台简介188

11.4 YARN资源调度192

12 内存计算引擎Spark197

12.1 Spark简介197

12.2 Spark整体架构198

12.3 Spark核心概念199

12.3.1 弹性分布式数据集199

12.3.2 RDD模型的优点200

12.3.3 Spark DAG201

12.4 Spark编程模型202

12.4.1 Spark初始化203

12.4.2 RDDs203

12.4.3 Shared Variables205

12.5 Spark相关组件207

12.6 Spark应用实例208

12.6.1 In-Memory Analytics208

12.6.2 Traffic Modeling209

12.6.3 Twitter Spam Classification209

应用篇213

13 大数据应用213

13.1 大数据应用演化213

13.2 大数据分析的关键领域214

13.2.1 结构化数据分析214

13.2.2 文本分析215

13.2.3 Web分析216

13.2.4 多媒体分析217

13.2.5 网络分析218

13.2.6 移动分析219

14 大数据案例分析221

14.1 物联网大数据221

14.1.1 物联网大数据的表示222

14.1.2 物联网大数据的预处理223

14.1.3 物联网大数据的快速处理224

14.1.4 物联网大数据的并行分析226

14.1.5 物联网大数据处理平台的搭建227

14.2 其他大数据的典型应用231

14.2.1 企业级应用231

14.2.2 社交网络大数据232

14.2.3 医疗健康234

14.2.4 群智感知235

14.2.5 智能电网235

15 总结237

15.1 大数据的研究热点及研究方向237

15.1.1 基础理论研究237

15.1.2 关键技术研究238

15.1.3 应用实践研究238

15.1.4 数据安全研究239

15.2 展望240

参考文献243