大数据技术入门PDF|Epub|txt|kindle电子书版本网盘下载

大数据技术入门PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据时代1

1.1 什么是大数据1

1.2 大数据的四大特征2

1.3 大数据的商用化3

1.4 大数据分析5

1.5 大数据与云计算的关系5

1.6 大数据的国家战略6

1.6.1 政府大数据的价值7

1.6.2 政府大数据的应用场景8

1.7 企业如何迎接大数据8

1.7.1 评估大数据方案的维度9

1.7.2 业务价值维度10

1.7.3 数据维度11

1.7.4 现有IT环境和成本维度12

1.7.5 数据治理维度13

1.8 大数据产业链分析14

1.8.1 技术分析14

1.8.2 角色分析15

1.8.3 大数据运营17

1.9 大数据交易18

1.10 大数据之我见19

第2章 大数据软件框架20

2.1 Hadoop框架20

2.1.1 HDFS（分布式文件系统）21

2.1.2 MapReduce（分布式计算框架）22

2.1.3 YARN（集群资源管理器）25

2.1.4 Zookeeper（分布式协作服务）28

2.1.5 Ambari（管理工具）29

2.2 Spark（内存计算框架）29

2.2.1 Scala31

2.2.2 Spark SQL32

2.2.3 Spark Streaming33

2.3 实时流处理框架34

2.4 框架的选择35

第3章 安装与配置大数据软件36

3.1 Hadoop发行版36

3.1.1 Cloudera36

3.1.2 HortonWorks37

3.1.3 MapR38

3.2 安装Hadoop前的准备工作39

3.2.1 Linux主机配置40

3.2.2 配置Java环境41

3.2.3 安装NTP和python42

3.2.4 安装和配置openssl43

3.2.5 启动和停止特定服务44

3.2.6 配置SSH无密码访问44

3.3 安装Ambari和HDP45

3.3.1 配置安装包文件45

3.3.2 安装Ambari46

3.3.3 安装和配置HDP47

3.4 初识Hadoop49

3.4.1 启动和停止服务50

3.4.2 使用HDFS51

3.5 Hadoop的特性52

第4章 大数据存储：文件系统53

4.1 HDFS shell命令53

4.2 HDFS配置文件55

4.3 HDFS API编程57

4.3.1 读取HDFS文件内容57

4.3.2 写HDFS文件内容60

4.4 HDFS API总结62

4.4.1 Configuration类62

4.4.2 FileSystem抽象类62

4.4.3 Path类63

4.4.4 FSDataInputStream类63

4.4.5 FSDataOutputStream类63

4.4.6 IOUtils类63

4.4.7 FileStatus类64

4.4.8 FsShell类64

4.4.9 ChecksumFileSystem抽象类64

4.4.10 其他HDFS API实例64

4.4.11 综合实例67

4.5 HDFS文件格式69

4.5.1 SequenceFile70

4.5.2 TextFile（文本格式）70

4.5.3 RCFile70

4.5.4 Avro72

第5章 大数据存储：数据库73

5.1 NoSQL73

5.2 HBase管理74

5.2.1 HBase表结构75

5.2.2 HBase系统架构78

5.2.3 启动并操作HBase数据库80

5.2.4 HBase Shell工具82

5.3 HBase编程86

5.3.1 增删改查API86

5.3.2 过滤器90

5.3.3 计数器93

5.3.4 原子操作94

5.3.5 管理API94

5.4 其他NoSQL数据库95

第6章 大数据访问：SQL引擎层97

6.1 Phoenix97

6.1.1 安装和配置Phoenix98

6.1.2 在eclipse上开发phoenix程序104

6.1.3 Phoenix SQL工具108

6.1.4 Phoenix SQL语法109

6.2 Hive111

6.2.1 Hive架构111

6.2.2 安装Hive112

6.2.3 Hive和MySQL的配置114

6.2.4 Hive CLI115

6.2.5 Hive数据类型115

6.2.6 HiveQL DDL119

6.2.7 HiveQL DML121

6.2.8 Hive编程123

6.2.9 HBase集成125

6.2.10 XML和JSON数据127

6.2.11 使用Tez128

6.3 Pig130

6.3.1 Pig语法131

6.3.2 Pig和Hive的使用场景比较134

6.4 ElasticSearch（全文搜索引擎）136

6.4.1 全文索引的基础知识136

6.4.2 安装和配置ES138

6.4.3 ES API140

第7章 大数据采集和导入143

7.1 Flume145

7.1.1 Flume架构145

7.1.2 Flume事件146

7.1.3 Flume源147

7.1.4 Flume拦截器（Interceptor）148

7.1.5 Flume通道选择器（Channel Selector）149

7.1.6 Flume通道150

7.1.7 Flume接收器151

7.1.8 负载均衡和单点失败153

7.1.9 Flume监控管理153

7.1.10 Flume实例154

7.2 Kafka155

7.2.1 Kafka架构156

7.2.2 Kafka与JMS的异同158

7.2.3 Kafka性能考虑158

7.2.4 消息传送机制159

7.2.5 Kafka和Flume的比较159

7.3 Sqoop160

7.3.1 从数据库导入HDFS160

7.3.2 增量导入163

7.3.3 将数据从Oracle导入Hive163

7.3.4 将数据从Oracle导入HBase164

7.3.5 导入所有表165

7.3.6 从HDFS导出数据165

7.3.7 数据验证165

7.3.8 其他Sqoop功能165

7.4 Storm167

7.4.1 Storm基本概念168

7.4.2 spout169

7.4.3 bolt171

7.4.4 拓扑173

7.4.5 Storm总结175

7.5 Splunk175

第8章 大数据管理平台177

8.1 大数据建设总体架构177

8.2 大数据管理平台的必要性178

8.3 大数据管理平台的功能179

8.3.1 推进数据资源全面整合共享179

8.3.2 增强数据管理水平180

8.3.3 支撑创新大数据分析180

8.4 数据管理平台（DMP）180

8.5 EasyDoop案例分析182

8.5.1 大数据建模平台183

8.5.2 大数据交换和共享平台184

8.5.3 大数据云平台185

8.5.4 大数据服务平台186

8.5.5 EasyDoop平台技术原理分析188

第9章 Spark技术192

9.1 Spark框架192

9.1.1 安装Spark193

9.1.2 配置Spark194

9.2 Spark Shell195

9.3 Spark编程198

9.3.1 编写Spark API程序198

9.3.2 使用sbt编译并打成jar包199

9.3.3 运行程序200

9.4 RDD200

9.4.1 RDD算子和RDD依赖关系201

9.4.2 RDD转换操作203

9.4.3 RDD行动（Action）操作204

9.4.4 RDD控制操作205

9.4.5 RDD实例205

9.5 Spark SQL208

9.5.1 DataFrame209

9.5.2 RDD转化为DataFrame213

9.5.3 JDBC数据源215

9.5.4 Hive数据源216

9.6 Spark Streaming217

9.6.1 DStream编程模型218

9.6.2 DStream操作221

9.6.3 性能考虑223

9.6.4 容错能力224

9.7 GraphX图计算框架224

9.7.1 属性图226

9.7.2 图操作符228

9.7.3 属性操作231

9.7.4 结构操作231

9.7.5 关联（join）操作233

9.7.6 聚合操作234

9.7.7 计算度信息235

9.7.8 缓存操作236

9.7.9 图算法236

第10章 大数据分析238

10.1 数据科学239

10.1.1 探索性数据分析240

10.1.2 描述统计241

10.1.3 数据可视化241

10.2 预测分析244

10.2.1 预测分析实例244

10.2.2 回归（Regression）分析预测法246

10.3 机器学习247

10.3.1 机器学习的市场动态248

10.3.2 机器学习分类249

10.3.3 机器学习算法251

10.4 Spark MLib252

10.4.1 MLib架构253

10.4.2 MLib算法库253

10.4.3 决策树257

10.5 深入了解算法261

10.5.1 分类算法262

10.5.2 预测算法263

10.5.3 聚类分析263

10.5.4 关联分析264

10.5.5 异常值分析算法266

10.5.6 协同过滤（推荐引擎）算法267

10.6 Mahout简介267

第11章 案例分析：环保大数据268

11.1 环保大数据管理平台268

11.2 环保大数据应用平台269

11.2.1 环境自动监测监控服务270

11.2.2 综合查询服务272

11.2.3 统计分析服务272

11.2.4 GIS服务274

11.2.5 视频服务274

11.2.6 预警服务275

11.2.7 应急服务276

11.2.8 电子政务服务277

11.2.9 智能化运营管理系统279

11.2.10 环保移动应用系统279

11.2.11 空气质量发布系统280

11.3 环保大数据分析系统280

第12章 案例分析：公安大数据281

12.1 总体架构设计281

12.2 建设内容282

12.3 建设步骤284

附录1 数据量的单位级别285

附录2 Linux Shell常见命令286

附录3 Ganglia（分布式监控系统）289

附录4 auth-ssh脚本290

附录5 作者简介292