大数据技术及行业应用PDF|Epub|txt|kindle电子书版本网盘下载

大数据技术及行业应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据相关概念1

1.1 什么是大数据？1

1.2 大数据有多大？3

1.3 大数据是一种思维方式3

1.4 大数据思维的应用案例4

1.5 大数据是如何产生的？6

1.6 美国和中国的大数据产业生态系统6

1.7 如何学习大数据技术7

本章小结8

参考文献8

第2章 搭建私有大数据处理平台10

2.1 FreeBSD操作系统安装10

2.2 基础软件安装11

2.2.1 安装Java运行环境11

2.2.2 安装bash11

2.3 Hadoop安装配置11

2.3.1 系统规划11

2.3.2 配置conf/masters、conf/slaves文件12

2.3.3 Hadoop安装12

2.4 Hadoop开发环境配置16

2.4.1 编译Hadoop-eclipse-plugin-1.1.2.jar插件16

2.4.2 eclipse配置17

2.4.3 测试17

2.5 Hadoop升级18

2.6 Zookeeper安装19

2.6.1 在FreeBSD上安装Zookeeper19

2.6.2 启动并测试Zookeeper20

2.7 HBase安装配置21

2.8 FreeBSD上网配置26

2.8.1 VPN上网配置26

2.8.2 网页认证上网配置27

2.9 配置杀毒软件28

本章小结29

第3章 大数据平台虚拟化解决方案30

3.1 Ubuntu上安装Docker30

3.1.1 Docker简介30

3.1.2 Docker安装31

3.1.3 Docker镜像相关命令31

3.1.4 Docker容器相关命令32

3.1.5 Dockerfile创建镜像34

3.1.6 Docker实现Spark集群36

3.1.7 Docker集中化Web界面管理平台shipyard41

3.1.8 DockerUI43

3.2 OpenStack搭建45

3.2.1 下载工具和镜像45

3.2.2 配置网桥46

3.2.3 安装fuel47

3.2.4 安装OpenStack平台49

3.2.5 使用OpenStack平台54

本章小结61

参考文献61

第4章 大数据平台解决方案62

4.1 大数据平台比较62

4.2 CDH大数据平台搭建63

4.2.1 Cloudera Manager安装63

4.2.2 添加服务64

4.3 HDP大数据平台搭建74

4.3.1 部署Ambari75

4.3.2 用Ambari_web部署HDP平台78

本章小结86

第5章 Spark在大数据处理中的应用87

5.1 Spark集群搭建87

5.1.1 Scala在Ubuntu下的安装和配置87

5.1.2 Spark集群搭建88

5.1.3 Spark集群启动测试89

5.2 Spark-shell统计社交网络中节点的度90

5.2.1 启动HDFS和Spark90

5.2.2 运行Spark-shell91

5.2.3 统计社交网络中节点的度92

5.3 Spark GraphX94

5.3.1 属性图95

5.3.2 图操作98

5.3.3 构建图108

5.3.4 图计算相关算法109

5.3.5 GraphX图计算实例112

本章小结113

参考文献113

第6章 大数据技术在环境科学中的应用115

6.1 大气环境科学的数值模式的介绍115

6.1.1 气象模式115

6.1.2 区域空气质量模式119

6.2 高分辨率实时观测的大数据127

本章小结128

参考文献128

第7章 大数据在DrugBank药物数据库聚类方面的应用130

7.1 简介130

7.2 开发环境及编程语言133

7.3 算法设计134

7.3.1 算法设计流程134

7.3.2 相似度的计算135

7.4 算法实现138

7.4.1 文件的解析138

7.4.2 对靶标、作用酶的分析138

7.4.3 对分子中原子百分比的处理过程140

7.4.4 结果的整合145

7.4.5 最终结果展示146

本章小结147

参考文献148

第8章 大数据在电子商务数据分析中的应用150

8.1 研究现状150

8.2 相关技术及概念151

8.2.1 网络爬虫151

8.2.2 HtmlUnit工具包152

8.2.3 Mahout152

8.2.4 朴素贝叶斯算法152

8.2.5 文档向量153

8.2.6 TF-IDF改进加权153

8.2.7 中文分词154

8.3 需求分析154

8.3.1 系统功能154

8.3.2 系统界面156

8.4 概要设计157

8.4.1 系统模块设计157

8.4.2 数据库设计158

8.5 详细设计162

8.5.1 用户登录模块162

8.5.2 爬虫管理模块163

8.5.3 算法管理模块165

8.5.4 用户管理模块166

8.6 系统测试167

8.6.1 训练集准备167

8.6.2 新数据准备168

8.6.3 训练模型170

8.6.4 数据分类171

8.6.5 分类结果分析171

本章小结173

参考文献173

第9章 大数据技术在社交网络研究中的应用174

9.1 社区发现研究简介174

9.2 社区发现相关研究工作175

9.2.1 相关工作176

9.2.2 研究动机177

9.3 模型与问题的形式化177

9.3.1 社区森林模型177

9.3.2 问题形式化179

9.4 骨干度算法180

9.4.1 骨干度算法框架181

9.4.2 算法的时间复杂度183

9.4.3 算法比较183

9.5 实验分析183

9.5.1 数据集183

9.5.2 一个特定人际关系网络的测试186

9.5.3 Zachary的空手道俱乐部测试187

9.5.4 美国大学橄榄球队189

9.5.5 安然电子邮件公司数据集189

9.5.6 DBLP合作网络191

9.5.7 结论192

本章小结192

参考文献193

第10章 大数据技术在文本挖掘和情感分类中的应用195

10.1 研究综述195

10.1.1 基于产品特征的观点挖掘研究195

10.1.2 产品评论结构化信息抽取方法198

10.1.3 评论信息分类相关研究方法200

10.2 评论文本的结构化信息抽取202

10.2.1 产品特征抽取202

10.2.2 基于关联规则抽取评论的隐式特征203

10.2.3 基于监督学习抽取评论的隐式特征207

10.3 情感分类研究综述209

10.3.1 基于词典与语言规则进行情感分类209

10.3.2 观点挖掘结果归纳213

10.4 算法评估结果与分析215

10.4.1 隐式特征抽取实验结果及分析215

10.4.2 篇章粒度情感分类实验结果及分析221

10.4.3 语句粒度情感分类实验结果及分析222

本章小结224

参考文献224

第11章 大数据技术在电力系统中的应用228

11.1 一种云可视化机网协调控制响应特性数据挖掘方法228

11.1.1 技术领域229

11.1.2 背景技术229

11.1.3 方案内容229

11.2 基于电力数据分析的河北南网电力市场化风险对冲方法231

11.2.1 电网对发电侧市场化风险对冲分析232

11.2.2 电网对用电侧市场化风险对冲分析233

11.2.3 基于方差偏离规律的统计套利对冲方法236

本章小结237

附录 FreeBSD操作系统安装238