大数据架构详解 从数据获取到深度学习PDF|Epub|txt|kindle电子书版本网盘下载

大数据架构详解 从数据获取到深度学习PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 大数据的本质2

第1章 大数据是什么2

1.1 大数据导论2

1.1.1 大数据简史2

1.1.2 大数据现状3

1.1.3 大数据与BI3

1.2 企业数据资产4

1.3 大数据挑战5

1.3.1 成本挑战6

1.3.2 实时性挑战6

1.3.3 安全挑战6

1.4 小结6

第2章 运营商大数据架构7

2.1 架构驱动的因素7

2.2 大数据平台架构7

2.3 平台发展趋势8

2.4 小结8

第3章 运营商大数据业务9

3.1 运营商常见的大数据业务9

3.1.1 SQM（运维质量管理）9

3.1.2 CSE（客户体验提升）9

3.1.3 MSS（市场运维支撑）10

3.1.4 DMP（数据管理平台）10

3.2 小结11

第二部分 大数据技术14

第4章 数据获取14

4.1 数据分类14

4.2 数据获取组件14

4.3 探针15

4.3.1 探针原理15

4.3.2 探针的关键能力16

4.4 网页采集26

4.4.1 网络爬虫26

4.4.2 简单爬虫Python代码示例32

4.5 日志收集33

4.5.1 Flume33

4.5.2 其他日志收集组件47

4.6 数据分发中间件47

4.6.1 数据分发中间件的作用47

4.6.2 Kafka架构和原理47

4.7 小结82

第5章 流处理83

5.1 算子83

5.2 流的概念83

5.3 流的应用场景84

5.3.1 金融领域84

5.3.2 电信领域85

5.4 业界两种典型的流引擎85

5.4.1 Storm85

5.4.2 Spark Streaming89

5.4.3 融合框架102

5.5 CEP108

5.5.1 CEP是什么108

5.5.2 CEP的架构109

5.5.3 Esper110

5.6 实时结合机器学习110

5.6.1 Eagle的特点111

5.6.2 Eagle概览111

5.7 小结116

第6章 交互式分析117

6.1 交互式分析的概念117

6.2 MPP DB技术118

6.2.1 MPP的概念118

6.2.2 典型的MPP数据库121

6.2.3 MPP DB调优实战131

6.2.4 MPP DB适用场景162

6.3 SQL on Hadoop163

6.3.1 Hive163

6.3.2 Phoenix165

6.3.3 Impala166

6.4 大数据仓库167

6.4.1 数据仓库的概念167

6.4.2 OLTP/OLAP对比168

6.4.3 大数据场景下的同与不同168

6.4.4 查询引擎169

6.4.5 存储引擎170

6.5 小结171

第7章 批处理技术172

7.1 批处理技术的概念172

7.2 MPP DB技术172

7.3 MapReduce编程框架173

7.3.1 MapReduce起源173

7.3.2 MapReduce原理173

7.3.3 Shuffle174

7.3.4 性能差的主要原因177

7.4 Spark架构和原理177

7.4.1 Spark的起源和特点177

7.4.2 Spark的核心概念178

7.5 BSP框架217

7.5.1 什么是BSP模型217

7.5.2 并行模型介绍218

7.5.3 BSP模型基本原理220

7.5.4 BSP模型的特点222

7.5.5 BSP模型的评价222

7.5.6 BSP与MapReduce对比222

7.5.7 BSP模型的实现223

7.5.8 Apache Hama简介223

7.6 批处理关键技术227

7.6.1 CodeGen227

7.6.2 CPU亲和技术228

7.7 小结229

第8章 机器学习和数据挖掘230

8.1 机器学习和数据挖掘的联系与区别230

8.2 典型的数据挖掘和机器学习过程231

8.3 机器学习概览232

8.3.1 学习方式232

8.3.2 算法类似性233

8.4 机器学习＆数据挖掘应用案例235

8.4.1 尿布和啤酒的故事235

8.4.2 决策树用于电信领域故障快速定位236

8.4.3 图像识别领域236

8.4.4 自然语言识别238

8.5 交互式分析239

8.6 深度学习240

8.6.1 深度学习概述240

8.6.2 机器学习的背景241

8.6.3 人脑视觉机理242

8.6.4 关于特征244

8.6.5 需要有多少个特征245

8.6.6 深度学习的基本思想246

8.6.7 浅层学习和深度学习246

8.6.8 深度学习与神经网络247

8.6.9 深度学习的训练过程248

8.6.10 深度学习的框架248

8.6.11 深度学习与GPU255

8.6.12 深度学习小结与展望256

8.7 小结257

第9章 资源管理258

9.1 资源管理的基本概念258

9.1.1 资源调度的目标和价值258

9.1.2 资源调度的使用限制及难点258

9.2 Hadoop领域的资源调度框架259

9.2.1 YARN259

9.2.2 Borg260

9.2.3 Omega262

9.2.4 本节小结263

9.3 资源分配算法263

9.3.1 算法的作用263

9.3.2 几种调度算法分析263

9.4 数据中心统一资源调度271

9.4.1 Mesos＋Marathon架构和原理271

9.4.2 Mesos＋Marathon小结283

9.5 多租户技术284

9.5.1 多租户概念284

9.5.2 多租户方案284

9.6 基于应用描述的智能调度287

9.7 Apache Mesos架构和原理288

9.7.1 Apache Mesos背景288

9.7.2 Apache Mesos总体架构288

9.7.3 Apache Mesos工作原理290

9.7.4 Apache Mesos关键技术295

9.7.5 Mesos与YARN比较304

9.8 小结305

第10章 存储是基础306

10.1 分久必合，合久必分306

10.2 存储硬件的发展306

10.2.1 机械硬盘的工作原理306

10.2.2 SSD的原理307

10.2.3 3DXPoint309

10.2.4 硬件发展小结309

10.3 存储关键指标309

10.4 RAID技术309

10.5 存储接口310

10.5.1 文件接口311

10.5.2 裸设备311

10.5.3 对象接口312

10.5.4 块接口316

10.5.5 融合是趋势328

10.6 存储加速技术328

10.6.1 数据组织技术328

10.6.2 缓存技术335

10.7 小结336

第11章 大数据云化337

11.1 云计算定义337

11.2 应用上云337

11.2.1 Cloud Native概念338

11.2.2 微服务架构338

11.2.3 Docker配合微服务架构342

11.2.4 应用上云小结348

11.3 大数据上云348

11.3.1 大数据云服务的两种模式348

11.3.2 集群模式AW SEMR349

11.3.3 服务模式Azure Data Lake Analytics352

11.4 小结354

第三部分 大数据文化356

第12章 大数据技术开发文化356

12.1 开源文化356

12.2 DevOps理念356

12.2.1 Development和 Operations的组合357

12.2.2 对应用程序发布的影响357

12.2.3 遇到的问题358

12.2.4 协调人358

12.2.5 成功的关键359

12.3 速度远比你想的重要359

12.4 小结361