《基于数据科学的恶意软件分析＝MALWARE DATA SCIENCE ATTACK DETECTION AND ATTRIBUTION》求取 ⇩

第1章恶意软件静态分析基础1

1.1微软Windows可移植可执行文件格式2

1.1.1 PE头3

1.1.2 可选头3

1.1.3 节头3

1.2 使用pefile解析PE文件格式5

1.3 检查恶意软件的图片7

1.4检查恶意软件的字符串8

1.4.1 使用字符串程序8

1.4.2 分析镜像字符串8

1.5 小结10

第2章基础静态分析进阶：x86反汇编11

2.1 反汇编方法11

2.2x86汇编语言基础12

2.2.1 CPU寄存器13

2.2.2 算术指令14

2.2.3 数据传送指令15

2.3 使用pefile和capstone反汇编ircbot.exe19

2.4限制静态分析的因素21

2.4.1 加壳21

2.4.2 资源混淆22

2.4.3 反汇编技术22

2.4.4 动态下载数据22

2.5 小结23

第3章动态分析简介24

3.1 为什么使用动态分析24

3.2 恶意软件数据科学的动态分析25

3.3动态分析的基本工具25

3.3.1 典型的恶意软件行为26

3.3.2 在malwr.com上加载文件26

3.3.3 在malwr.com上分析结果27

3.4 基本动态分析的局限32

3.5 小结32

第4章利用恶意软件网络识别攻击活动33

4.1 节点和边34

4.2 二分网络35

4.3恶意软件网络可视化37

4.3.1 失真问题37

4.3.2 力导向算法38

4.4 使用NetworkX构建网络38

4.5添加节点和边39

4.5.1 添加属性40

4.5.2 将网络保存到磁盘41

4.6使用GraphViz实现网络可视化41

4.6.1 使用参数调整网络42

4.6.2 GraphViz命令行工具43

4.6.3 向节点和边添加可视属性47

4.7 构建恶意软件网络50

4.8 构建共享图像关系网络53

4.9 小结57

第5章共享代码分析58

5.1通过特征提取对样本进行比较61

5.1.1 特征袋模型如何工作61

5.1.2 N-gram62

5.2 使用Jaccard系数量化相似性63

5.3使用相似性矩阵评价恶意软件共享代码估计方法65

5.3.1 基于指令序列的相似性66

5.3.2 基于字符串的相似性68

5.3.3 基于导入地址表的相似性69

5.3.4 基于API动态调用的相似性70

5.4 构建相似图71

5.5扩展相似性比较76

5.5.1 minhash概述77

5.5.2 minhash详述77

5.6 构建持续的恶意软件相似性搜索系统79

5.7 运行相似性搜索系统84

5.8 小结86

第6章理解基于机器学习的恶意软件检测方法87

6.1基于机器学习的检测引擎构建步骤88

6.1.1 收集训练样本88

6.1.2 提取特征89

6.1.3 设计好的特征90

6.1.4 训练机器学习系统90

6.1.5 测试机器学习系统91

6.2 理解特征空间和决策边界91

6.3 是什么决定了模型的好和坏：过拟合与欠拟合96

6.4机器学习算法的主要类型99

6.4.1 逻辑回归100

6.4.2 k近邻算法103

6.4.3 决策树106

6.4.4 随机森林112

6.5 小结114

第7章评价恶意软件检测系统115

7.1四种可能的检测结果115

7.1.1 检出率和误报率116

7.1.2 检出率和误报率之间的关系117

7.1.3 ROC曲线118

7.2在评价中考虑基准率119

7.2.1 基准率如何影响精确度120

7.2.2 在部署环境中评价精确度120

7.3 小结122

第8章构建基于机器学习的检测器123

8.1 术语和概念124

8.2构建一个基于决策树的检测器雏形125

8.2.1 训练你的决策树分类器126

8.2.2 可视化决策树127

8.2.3 完整的示例代码129

8.3使用sklearn构建实际的机器学习检测器130

8.3.1 实际的特征提取130

8.3.2 为什么不能使用所有可能的特征134

8.3.3 使用哈希技巧压缩特征134

8.4构建工业级的检测器138

8.4.1 特征提取138

8.4.2 训练检测器139

8.4.3 运行检测器检测新的二进制文件141

8.4.4 至此我们实现了什么142

8.5评价检测器的性能144

8.5.1 使用ROC曲线评价检测器的功效144

8.5.2 计算ROC曲线144

8.5.3 将数据拆分为训练集和测试集146

8.5.4 计算ROC曲线147

8.5.5 交叉验证148

8.6 下一步工作151

8.7 小结152

第9章可视化恶意软件趋势153

9.1 为什么可视化恶意软件数据很重要153

9.2理解我们的恶意软件数据集155

9.2.1 将数据加载到pandas中156

9.2.2 使用pandas DataFrame157

9.2.3 使用条件过滤数据159

9.3使用matplotlib可视化数据160

9.3.1 绘制恶意软件大小和反病毒引擎检测之间的关系161

9.3.2 绘制勒索软件检出率162

9.3.3 绘制勒索软件和蠕虫检测率163

9.4使用seaborn可视化数据166

9.4.1 绘制反病毒引擎检出的分布图167

9.4.2 创建小提琴图170

9.5 小结172

第10章深度学习基础173

10.1 深度学习的定义174

10.2神经网络是如何工作的175

10.2.1 神经元剖析175

10.2.2 神经元网络178

10.2.3 通用近似定理178

10.2.4 构建自己的神经网络179

10.2.5 向网络中添加一个新的神经元182

10.2.6 自动生成特征184

10.3训练神经网络185

10.3.1 利用后向传播优化神经网络186

10.3.2 路径爆炸188

10.3.3 梯度消失189

10.4神经网络的类型189

10.4.1 前馈神经网络189

10.4.2 卷积神经网络190

10.4.3 自编码神经网络191

10.4.4 生成式对抗网络192

10.4.5 循环神经网络192

10.4.6 残差网络193

10.5 小结193

第11章使用Keras构建神经网络恶意软件检测器194

11.1 定义模型的架构195

11.2 编译模型197

11.3训练模型198

11.3.1 提取特征198

11.3.2 创建数据生成器199

11.3.3 与验证数据协作203

11.3.4 保存和加载模型204

11.4 模型评价205

11.5使用回调强化模型训练过程206

11.5.1 使用内置回调207

11.5.2 使用自定义回调函数208

11.6 小结210

第12章成为数据科学家211

12.1 成为安全数据科学家之路211

12.2 安全数据科学家的一天212

12.3高效安全数据科学家的特征214

12.3.1 开放的心态214

12.3.2 无穷的好奇心214

12.3.3 对结果的痴迷215

12.3.4 对结果的怀疑215

12.4 未来的工作215

附录数据集和工具概述217