大数据基础编程、实验和案例教程PDF|Epub|txt|kindle电子书版本网盘下载

大数据基础编程、实验和案例教程PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据技术概述1

1.1 大数据时代1

1.2 大数据关键技术2

1.3 大数据软件3

1.3.1 Hadoop4

1.3.2 Spark5

1.3.3 NoSQL数据库5

1.3.4 数据可视化6

1.4 内容安排7

1.5 在线资源8

1.5.1 在线资源一览表9

1.5.2 下载专区9

1.5.3 在线视频10

1.5.4 拓展阅读11

1.5.5 大数据课程公共服务平台11

1.6 本章小结12

第2章 Linux系统的安装和使用13

2.1 Linux系统简介13

2.2 Linux系统安装13

2.2.1 下载安装文件14

2.2.2 Linux系统的安装方式14

2.2.3 安装Linux虚拟机15

2.2.4 生成Linux虚拟机镜像文件36

2.3 Linux系统及相关软件的基本使用方法38

2.3.1 Shell38

2.3.2 root用户38

2.3.3 创建普通用户38

2.3.4 sudo命令39

2.3.5 常用的Linux系统命令40

2.3.6 文件解压缩40

2.3.7 常用的目录41

2.3.8 目录的权限41

2.3.9 更新APT41

2.3.10 切换中英文输入法43

2.3.11 vim编辑器的使用方法43

2.3.12 在Windows系统中使用SSH方式登录Linux系统44

2.3.13 在Linux中安装Eclipse48

2.3.14 其他使用技巧49

2.4 关于本书内容的一些约定49

2.5 本章小结50

第3章 Hadoop的安装和使用51

3.1 Hadoop简介51

3.2 安装Hadoop前的准备工作52

3.2.1 创建hadoop用户52

3.2.2 更新APT52

3.2.3 安装SSH52

3.2.4 安装Java环境53

3.3 安装Hadoop55

3.3.1 下载安装文件55

3.3.2 单机模式配置56

3.3.3 伪分布式模式配置57

3.3.4 分布式模式配置66

3.3.5 使用Docker搭建Hadoop分布式集群75

3.4 本章小结87

第4章 HDFS操作方法和基础编程88

4.1 HDFS操作常用Shell命令88

4.1.1 查看命令使用方法88

4.1.2 HDFS目录操作90

4.2 利用HDFS的Web管理界面92

4.3 HDFS编程实践92

4.3.1 在Eclipse中创建项目93

4.3.2 为项目添加需要用到的JAR包94

4.3.3 编写Java应用程序96

4.3.4 编译运行程序98

4.3.5 应用程序的部署100

4.4 本章小结102

第5章 HBase的安装和基础编程103

5.1 安装HBase103

5.1.1 下载安装文件103

5.1.2 配置环境变量104

5.1.3 添加用户权限104

5.1.4 查看HBase版本信息104

5.2 HBase的配置105

5.2.1 单机模式配置105

5.2.2 伪分布式配置107

5.3 HBase常用Shell命令109

5.3.1 在HBase中创建表109

5.3.2 添加数据110

5.3.3 查看数据110

5.3.4 删除数据111

5.3.5 删除表112

5.3.6 查询历史数据112

5.3.7 退出HBase数据库112

5.4 HBase编程实践113

5.4.1 在Eclipse中创建项目113

5.4.2 为项目添加需要用到的JAR包116

5.4.3 编写Java应用程序117

5.4.4 编译运行程序123

5.4.5 应用程序的部署124

5.5 本章小结124

第6章 典型NoSQL数据库的安装和使用125

6.1 Redis安装和使用125

6.1.1 Redis简介125

6.1.2 安装Redis125

6.1.3 Redis实例演示127

6.2 MongoDB的安装和使用128

6.2.1 MongDB简介129

6.2.2 安装MongoDB129

6.2.3 使用Shell命令操作MongoDB130

6.2.4 Java API编程实例136

6.3 本章小结139

第7章 MapReduce基础编程140

7.1 词频统计任务要求140

7.2 MapReduce程序编写方法141

7.2.1 编写Map处理逻辑141

7.2.2 编写Reduce处理逻辑141

7.2.3 编写main方法142

7.2.4 完整的词频统计程序143

7.3 编译打包程序144

7.3.1 使用命令行编译打包词频统计程序145

7.3.2 使用Eclipse编译运行词频统计程序145

7.4 运行程序154

7.5 本章小结156

第8章 数据仓库Hive的安装和使用157

8.1 Hive的安装157

8.1.1 下载安装文件157

8.1.2 配置环境变量158

8.1.3 修改配置文件158

8.1.4 安装并配置MySQL159

8.2 Hive的数据类型161

8.3 Hive基本操作162

8.3.1 创建数据库、表、视图162

8.3.2 删除数据库、表、视图163

8.3.3 修改数据库、表、视图164

8.3.4 查看数据库、表、视图165

8.3.5 描述数据库、表、视图165

8.3.6 向表中装载数据166

8.3.7 查询表中数据166

8.3.8 向表中插入数据或从表中导出数据166

8.4 Hive应用实例：WordCount167

8.5 Hive编程的优势167

8.6 本章小结168

第9章 Spark的安装和基础编程169

9.1 基础环境169

9.2 安装Spark169

9.2.1 下载安装文件169

9.2.2 配置相关文件170

9.3 使用Spark Shell编写代码171

9.3.1 启动Spark Shell171

9.3.2 读取文件172

9.3.3 编写词频统计程序174

9.4 编写Spark独立应用程序174

9.4.1 用Scala语言编写Spark独立应用程序175

9.4.2 用Java语言编写Spark独立应用程序178

9.5 本章小结182

第10章 典型的可视化工具的使用方法183

10.1 Easel.ly信息图制作方法183

10.1.1 信息图183

10.1.2 信息图制作基本步骤183

10.2 D3可视化库的使用方法186

10.2.1 D3可视化库的安装187

10.2.2 基本操作187

10.3 可视化工具Tableau使用方法194

10.3.1 安装Tableau195

10.3.2 界面功能介绍195

10.3.3 Tableau简单操作197

10.4 使用“魔镜”制作图表202

10.4.1 “魔镜”简介202

10.4.2 简单制作实例202

10.5 使用ECharts图表制作206

10.5.1 ECharts简介206

10.5.2 ECharts图表制作方法206

10.5.3 两个实例210

10.6 本章小结217

第11章 数据采集工具的安装和使用218

11.1 Flume218

11.1.1 安装Flume218

11.1.2 两个实例220

11.2 Kafka225

11.2.1 Kafka相关概念225

11.2.2 安装Kafka225

11.2.3 一个实例225

11.3 Sqoop227

11.3.1 下载安装文件227

11.3.2 修改配置文件228

11.3.3 配置环境变量228

11.3.4 添加MySQL驱动程序228

11.3.5 测试与MySQL的连接229

11.4 实例：编写Spark程序使用Kafka数据源230

11.4.1 Kafka准备工作230

11.4.2 Spark准备工作232

11.4.3 编写Spark程序使用Kafka数据源234

11.5 本章小结239

第12章 大数据课程综合实验案例241

12.1 案例简介241

12.1.1 案例目的241

12.1.2 适用对象241

12.1.3 时间安排241

12.1.4 预备知识241

12.1.5 硬件要求242

12.1.6 软件工具242

12.1.7 数据集242

12.1.8 案例任务242

12.2 实验环境搭建243

12.3 实验步骤概述244

12.4 本地数据集上传到数据仓库Hive245

12.4.1 实验数据集的下载245

12.4.2 数据集的预处理246

12.4.3 导入数据库249

12.5 Hive数据分析253

12.5.1 简单查询分析253

12.5.2 查询条数统计分析255

12.5.3 关键字条件查询分析256

12.5.4 根据用户行为分析258

12.5.5 用户实时查询分析259

12.6 Hive、MySQL、HBase数据互导260

12.6.1 Hive预操作260

12.6.2 使用Sqoop将数据从Hive导入MySQL261

12.6.3 使用Sqoop将数据从MySQL导入HBase265

12.6.4 使用HBase Java API把数据从本地导入到HBase中269

12.7 利用R进行数据可视化分析275

12.7.1 安装R275

12.7.2 安装依赖库277

12.7.3 可视化分析278

12.8 本章小结283

第13章 实验284

13.1 实验一：熟悉常用的Linux操作和Hadoop操作284

13.1.1 实验目的284

13.1.2 实验平台284

13.1.3 实验步骤284

13.1.4 实验报告286

13.2 实验二：熟悉常用的HDFS操作286

13.2.1 实验目的286

13.2.2 实验平台286

13.2.3 实验步骤287

13.2.4 实验报告287

13.3 实验三：熟悉常用的HBase操作288

13.3.1 实验目的288

13.3.2 实验平台288

13.3.3 实验步骤288

13.3.4 实验报告290

13.4 实验四：NoSQL和关系数据库的操作比较290

13.4.1 实验目的290

13.4.2 实验平台290

13.4.3 实验步骤290

13.4.4 实验报告293

13.5 实验五：MapReduce初级编程实践294

13.5.1 实验目的294

13.5.2 实验平台294

13.5.3 实验步骤294

13.5.4 实验报告297

附录A 大数据课程实验答案298

A.1 实验一：熟悉常用的Linux操作和Hadoop操作298

A.1.1 实验目的298

A.1.2 实验平台298

A.1.3 实验步骤298

A.2 实验二：熟悉常用的HDFS操作303

A.2.1 实验目的303

A.2.2 实验平台303

A.2.3 实验步骤303

A.3 实验三：熟悉常用的HBase操作323

A.3.1 实验目的323

A.3.2 实验平台323

A.3.3 实验步骤323

A.4 实验四：NoSQL和关系数据库的操作比较331

A.4.1 实验目的331

A.4.2 实验平台331

A.4.3 实验步骤332

A.5 实验五：MapReduce初级编程实践349

A.5.1 实验目的349

A.5.2 实验平台349

A.5.3 实验步骤350

附录B Linux系统中的MySQL安装及常用操作360

B.1 安装MySQL360

B.2 MySQL常用操作363

参考文献367