《并行数据挖掘及性能优化》求取 ⇩

第一篇基础理论篇3

第1章绪论3

1.1数据挖掘4

1.1.1数据挖掘的产生和定义4

1.1.2数据挖掘的任务与分类6

1.1.3研究前沿和发展趋势8

1.2关联规则9

1.2.1关联规则及其分类9

1.2.2关联规则挖掘算法12

1.3集群系统与并行计算模型17

1.3.1集群系统17

1.3.2并行计算模型18

1.3.3大数据处理架构Hadoop与Spark21

1.4大数据环境下的数据挖掘及应用27

1.4.1大数据27

1.4.2大数据挖掘及应用29

第2章MapReduce集群环境下的数据放置策略33

2.1引言34

2.2数据放置策略的关键问题与度量标准35

2.3数据放置策略的优化37

2.3.1MapReduce集群系统能耗与数据放置策略38

2.3.2负载均衡的数据放置策略41

2.3.3改善I/O性能与通信负载的数据放置策略46

2.3.4考虑其他因素的数据放置策略49

2.4数据放置策略的分析与归纳50

2.5本章小结53

第二篇关联规则并行挖掘及性能优化篇61

第3章压缩后缀链表与并行频繁项集挖掘算法61

3.1问题提出62

3.2基础理论63

3.3基于MapReduce的频繁项集挖掘算法65

3.3.1第一个MapReduce作业67

3.3.2第二个MapReduce作业67

3.4实验评价68

3.4.1最小支持度69

3.4.2可扩展性70

3.4.3加速比70

3.5本章小结71

第4章FIUT算法与频繁项集并行挖掘73

4.1引言74

4.2 FIUT算法描述76

4.3 FiDoop算法概述77

4.4基于MapReduce的FiDoop算法81

4.4.1第一个MapReduce作业83

4.4.2第二个MapReduce作业83

4.4.3第三个MapReduce作业84

4.5实现细节87

4.5.1负载均衡87

4.5.2高维优化88

4.6 FiDoop-HD算法90

4.7实验评价92

4.7.1最小支持度93

4.7.2负载均衡95

4.7.3加速比96

4.7.4可扩展性97

4.8本章小结98

第5章MapReduce编程模型下的约束频繁项集并行挖掘算法101

5.1问题提出102

5.2约束频繁项集挖掘算法的并行化103

5.3基于MapReduce的约束频繁项集并行挖掘105

5.4基于MapReduce的约束频繁项集并行挖掘算法（PACFP）108

5.4.1并行化计数过程108

5.4.2并行化CFP-Growth算法109

5.4.3结果聚合111

5.5负载均衡111

5.6实验结果及分析112

5.6.1最小支持度113

5.6.2可伸缩性115

5.6.3可扩展性116

5.6.4约束条件判断的代价分析117

5.6.5负载均衡118

5.7本章小结120

第6章支持并行频繁项集挖掘的数据划分策略121

6.1引言122

6.1.1FiDoop-DP算法的研发动机123

6.1.2 FiDoop-DP算法要解决的数据划分问题124

6.1.3 FiDoop-DP算法的基本思想125

6.2并行FP-Growth算法126

6.3相关工作128

6.3.1MapReduce下的数据划分128

6.3.2应用系统相关的数据划分129

6.4问题陈述和设计目标131

6.4.1基本方法与问题陈述131

6.4.2设计目标132

6.5数据划分策略133

6.5.1距离度量134

6.5.2K-Means算法种子点的选择135

6.5.3划分策略135

6.6实现细节138

6.7实验评价143

6.7.1种子点个数对算法的影响143

6.7.2最小支持度对算法的影响145

6.7.3数据特征对算法的影响147

6.7.4加速比149

6.7.5可扩展性150

6.8本章小结151

第7章频繁项集并行化过程中的重定向任务调度153

7.1问题提出154

7.2重定向任务调度算法156

7.2.1数据本地化的重要性156

7.2.2计算响应时间157

7.2.3重定向任务调度算法的设计158

7.3实验结果及分析160

7.3.1有效性160

7.3.2可扩展性161

7.3.3稳定性162

7.4本章小结163

第8章基于Spark内存计算的并行频繁项集挖掘及优化165

8.1引言166

8.2 FP-Growth算法的并行化分析167

8.3Spark环境下的均衡FP-Growth算法169

8.3.1负载均衡的分组策略169

8.3.2负载均衡的FP-Growth算法并行化172

8.4实验评价174

8.4.1算法执行效率175

8.4.2加速比176

8.4.3可扩展性177

8.5本章小结178

第三篇应用篇181

第9章冷轧辊加工质量管理过程相关性分析181

9.1引言182

9.2系统需求与总体设计184

9.2.1轧辊生产工艺流程184

9.2.2冷轧辊生产质量管理特点186

9.2.3系统的软件体系结构及功能188

9.3数据预处理及关键技术190

9.3.1数据转换190

9.3.2数据清理190

9.3.3数据离散化193

9.4提取关联规则195

9.5系统实现及运行结果196

9.6本章小结203

附录A冷轧辊加工数据205

附录B冷轧辊加工数据预处理格式207

参考文献209