《大数据导论》

第1章大数据概述2

1.1数据2

1.1.1数据的概念2

1.1.2数据类型2

1.1.3数据组织形式3

1.1.4数据生命周期3

1.1.5数据的使用3

1.1.6数据的价值5

1.1.7数据爆炸5

1.2大数据时代6

1.2.1第三次信息化浪潮6

1.2.2信息科技为大数据时代提供技术支撑6

1.2.3数据产生方式的变革促成大数据时代的来临9

1.3大数据的发展历程11

1.4世界各国的大数据发展战略13

1.4.1美国13

1.4.2英国14

1.4.3法国14

1.4.4韩国14

1.4.5日本15

1.4.6中国15

1.5大数据的概念16

1.5.1数据量大16

1.5.2数据类型繁多17

1.5.3处理速度快18

1.5.4价值密度低18

1.6大数据的影响19

1.6.1大数据对科学研究的影响19

1.6.2大数据对社会发展的影响20

1.6.3大数据对就业市场的影响21

1.6.4大数据对人才培养的影响22

1.7大数据的应用23

1.8大数据产业25

1.9本章小结26

习题26

第2章大数据与云计算、物联网、人工智能30

2.1云计算30

2.1.1云计算的概念30

2.1.2云计算的服务模式和类型33

2.1.3云计算数据中心33

2.1.4云计算的应用34

2.1.5云计算产业35

2.2物联网36

2.2.1物联网的概念36

2.2.2物联网的关键技术37

2.2.3物联网的应用39

2.2.4物联网产业40

2.3大数据与云计算、物联网的关系40

2.4人工智能42

2.4.1人工智能的概念42

2.4.2人工智能的关键技术42

2.4.3人工智能的应用47

2.4.4人工智能产业51

2.5大数据与人工智能的关系54

2.6本章小结55

习题55

第3章大数据技术58

3.1概述58

3.2数据采集与预处理58

3.2.1数据采集的概念59

3.2.2数据采集的3大要点59

3.2.3数据采集的数据源60

3.2.4数据清洗61

3.3数据存储和管理63

3.3.1传统的数据存储和管理技术63

3.3.2大数据时代的数据存储和管理技术65

3.4数据处理与分析67

3.4.1数据挖掘和机器学习算法67

3.4.2大数据处理与分析技术68

3.5数据可视化70

3.5.1数据可视化的概念70

3.5.2数据可视化的重要作用71

3.5.3数据可视化案例73

3.6数据安全和隐私保护75

3.6.1数据安全技术75

3.6.2隐私保护技术76

3.7本章小结76

习题76

第4章大数据应用80

4.1大数据在互联网领域的应用80

4.1.1推荐系统的概念80

4.1.2长尾理论81

4.1.3推荐方法81

4.1.4推荐系统模型82

4.1.5推荐系统的应用83

4.2大数据在生物医学领域的应用84

4.2.1流行病预测84

4.2.2智慧医疗87

4.2.3生物信息学88

4.2.4案例：基于大数据的综合健康服务平台89

4.3大数据在物流领域的应用93

4.3.1智能物流的概念93

4.3.2智能物流的作用94

4.3.3智能物流的应用94

4.3.4大数据是智能物流的关键95

4.3.5中国智能物流骨干网——菜鸟95

4.4大数据在城市管理领域的应用98

4.4.1智能交通98

4.4.2环保监测99

4.4.3城市规划100

4.4.4安防领域101

4.5大数据在金融领域的应用102

4.5.1高频交易102

4.5.2市场情绪分析102

4.5.3信贷风险分析103

4.5.4大数据征信104

4.6大数据在汽车领域的应用106

4.7大数据在零售领域的应用107

4.7.1发现关联购买行为107

4.7.2客户群体细分108

4.7.3供应链管理109

4.8大数据在餐饮领域的应用109

4.8.1餐饮行业拥抱大数据109

4.8.2餐饮020109

4.9大数据在电信领域的应用111

4.10大数据在能源领域的应用112

4.11大数据在体育和娱乐领域的应用113

4.11.1训练球队113

4.11.2投拍影视作品114

4.11.3预测比赛结果115

4.12大数据在安全领域的应用116

4.12.1大数据与国家安全116

4.12.2应用大数据技术防御网络攻击117

4.12.3警察应用大数据工具预防犯罪117

4.13大数据在政府领域的应用118

4.14大数据在日常生活中的应用119

4.15本章小结120

习题121

第5章大数据安全124

5.1传统数据安全124

5.2大数据安全与传统数据安全的不同124

5.3大数据安全问题125

5.3.1隐私和个人信息安全问题125

5.3.2国家安全问题127

5.4典型案例128

5.4.1棱镜门事件128

5.4.2维基解密129

5.4.3Facebook数据滥用事件129

5.4.4手机应用软件过度采集个人信息130

5.4.5 12306数据泄露131

5.4.6免费WiFi窃取用户信息132

5.4.7收集个人隐私信息的“探针盒子”132

5.5大数据保护的基本原则132

5.5.1数据主权原则133

5.5.2数据保护原则133

5.5.3数据自由流通原则133

5.5.4数据安全原则133

5.6大数据时代数据安全与隐私保护的对策134

5.7世界各国保护数据安全的实践134

5.7.1欧盟135

5.7.2美国136

5.7.3英国137

5.7.4中国137

5.7.5其他国家138

5.8本章小结139

习题139

第6章大数据思维142

6.1传统的思维方式142

6.2大数据时代需要新的思维方式142

6.3大数据思维方式143

6.3.1全样而非抽样144

6.3.2效率而非精确144

6.3.3相关而非因果145

6.3.4以数据为中心145

6.3.5我为人人，人人为我146

6.4运用大数据思维的具体实例147

6.4.1商品比价网站147

6.4.2啤酒与尿布148

6.4.3零售商Target的基于大数据的商品营销148

6.4.4吸烟有害身体健康的法律诉讼148

6.4.5基于大数据的药品研发150

6.4.6基于大数据的谷歌广告151

6.4.7搜索引擎“点击模型”151

6.4.8迪士尼MagicBand手环152

6.4.9谷歌流感趋势预测153

6.4.10大数据的简单算法比小数据的复杂算法更有效153

6.4.11谷歌翻译153

6.5本章小结154

习题154

第7章大数据伦理158

7.1大数据伦理概念158

7.2大数据伦理的典型案例158

7.2.1徐玉玉事件159

7.2.2大麦网撞库事件159

7.2.3大数据“杀熟”159

7.2.4隐性偏差问题160

7.2.5魏则西事件160

7.2.6“信息茧房”问题161

7.3大数据的伦理问题162

7.3.1隐私泄露问题162

7.3.2数据安全问题164

7.3.3数字鸿沟问题164

7.3.4数据独裁问题165

7.3.5数据垄断问题165

7.3.6数据的真实可靠问题166

7.3.7人的主体地位问题166

7.4大数据伦理问题产生的原因167

7.4.1人类社会价值观的转变167

7.4.2数据伦理责任主体不明确167

7.4.3相关主体的利益牵涉167

7.4.4道德规范的缺失168

7.4.5法律体系不健全168

7.4.6管理机制不完善168

7.4.7技术乌托邦的消极影响169

7.4.8大数据技术本身的缺陷169

7.5大数据伦理问题的治理169

7.5.1提高保护个人隐私数据的意识170

7.5.2加强大数据伦理规约的构建170

7.5.3努力实现以技术治理大数据170

7.5.4完善大数据立法171

7.5.5完善大数据伦理管理机制171

7.5.6引导企业坚持责任与利益并重171

7.5.7努力弘扬共享精神化解数字鸿沟172

7.5.8倡导跨行业跨部门合作172

7.6本章小结173

习题173

第8章数据共享176

8.1数据孤岛问题176

8.1.1政府的数据孤岛问题176

8.1.2企业的数据孤岛问题176

8.2数据孤岛问题产生的原因177

8.2.1政府数据孤岛的产生原因177

8.2.2企业数据孤岛的产生原因177

8.3消除数据孤岛的重要意义178

8.3.1对于政府的意义178

8.3.2对于企业的意义178

8.4实现数据共享所面临的挑战179

8.4.1政府层面的挑战179

8.4.2企业层面的挑战179

8.5推进数据共享开放的举措180

8.5.1政府层面的举措180

8.5.2企业层面的举措181

8.6数据共享案例181

8.6.1案例1：菜鸟物流181

8.6.2案例2：政府一站式平台——i厦门182

8.6.3案例3：浙江打通政府数据，让群众最多跑一次184

8.7本章小结186

习题186

第9章数据开放188

9.1政府开放数据的理论基础188

9.1.1数据资产理论188

9.1.2数据权理论188

9.1.3开放政府理论189

9.2政府信息公开与政府数据开放的联系与区别190

9.3政府数据开放的重要意义191

9.3.1政府开放数据有利于促进开放透明政府的形成191

9.3.2政府开放数据有利于创新创业和经济增长192

9.3.3政府开放数据有利于社会治理创新192

9.4国外政府开放数据的经验193

9.4.1概述193

9.4.2G8数据开放原则194

9.4.3美国开放数据国家行动计划195

9.4.4英国开放数据国家行动计划195

9.4.5德国政府开放数据行动197

9.4.6日本政府开放数据行动197

9.5.国内政府开放数据198

9.5.1概述199

9.5.2我国政府数据开放制度体系199

9.5.3当前数据开放存在的主要问题200

9.5.4各地政府数据开放实践204

9.6政府数据开放的几点启示208

9.7本章小结209

习题210

第10章大数据交易212

10.1概述212

10.2大数据交易发展现状213

10.3大数据交易平台214

10.3.1交易平台的类型214

10.3.2交易平台的数据来源215

10.3.3交易平台的产品类型215

10.3.4交易平台涉及的主要领域216

10.3.5平台的交易规则216

10.3.6交易平台的运营模式216

10.3.7代表性的大数据交易平台217

10.4大数据交易在发展过程中出现的问题218

10.4.1互联网数据马太效应显现218

10.4.2大数据产权界定不清晰219

10.4.3大数据交易规则和标准缺乏219

10.4.4数据估值定价机制有待完善219

10.4.5大数据需求不明确，抑制交易市场发展220

10.4.6大数据交易组织机构定位不清220

10.4.7用户隐私保护隐患重重220

10.4.8大数据交易专业人才缺乏221

10.5推进大数据交易发展的对策221

10.5.1加快制定隐私保护相关法律法规221

10.5.2加快推进政府数据开放共享221

10.5.3加快完善市场交易机制222

10.5.4加快建立大数据交易监管职能部门222

10.5.5加快培育大数据交易人才222

10.6本章小结223

习题223

第11章大数据治理226

11.1概述226

11.1.1数据治理的必要性226

11.1.2数据治理的基本概念226

11.1.3数据治理与数据管理的关系227

11.1.4大数据治理的基本概念228

11.1.5大数据治理与数据治理的关系230

11.1.6大数据治理的重要意义和作用231

11.2大数据治理的要素232

11.3大数据治理模型233

11.3.1ISACA数据治理模型233

11.3.2 HESA数据治理模型234

11.3.3数据治理螺旋模型234

11.4大数据治理保障机制235

11.4.1大数据治理战略目标235

11.4.2大数据治理组织236

11.4.3制度章程237

11.4.4流程管理238

11.4.5技术应用238

11.5本章小结239

习题239

参考文献241