《APACHE DRILL学习手册》求取 ⇩

前言1

第1章Apache Drill入门7

什么是Apache Drill8

Drill用途广泛8

Drill非常易用10

有关Drill的性能11

大数据简史11

大数据生态中的Drill13

Drill与类似工具的比较13

第2章安装与运行15

准备系统环境16

Windows环境下的特殊配置16

在Windows上安装Drill18

在Windows上启动Drill18

在macOS或Linux上安装嵌入模式的Drill19

在macOS或Linux上以嵌入模式运行Drill20

在macOS或Linux上安装分布式模式的Drill21

为Drill准备集群环境22

启动分布式模式的Drill23

连接集群23

小结24

第3章Apache Drill概述25

Apache Hadoop生态25

Drill是一个低延迟的查询引擎26

使用HDFS进行分布式数据处理27

Drill系统结构27

Drill操作概览28

Drill是一个查询引擎，不是数据库29

Drill操作概述30

Drill组件30

SQL会话状态30

编译查询语句31

查询语句执行36

低延迟特性38

小结41

第4章查询包含分隔符的数据42

通过Drill查询数据的几种方式42

其他操作接口43

Drill SQL查询格式44

选择数据源44

定义工作区46

指定默认数据源47

在查询中访问列49

带表头并包含分隔符的数据51

Table函数53

查询目录中的数据53

理解Drill的数据类型55

使用字符串处理函数清洗和准备数据57

复杂数据转换函数59

操作Drill中的日期和时间60

把字符串转换为日期61

对日期进行重新格式化63

日期计算与操作63

Drill中的日期时间函数64

创建视图65

使用Drill进行数据分析66

通过聚合函数对数据进行统计68

查询包含分隔符数据的常见问题75

列名中的空格75

列名中的非法字符76

字段名中的保留字76

小结77

第5章分析复合与嵌套数据78

数组与Map78

Drill中的数组79

在Drill中访问Map（键-值对）81

查询嵌套数据83

使用Drill分析日志文件91

配置Drill读取httpd Web服务器的日志91

查询Web服务器日志92

用Drill对其他类型的日志进行分析97

小结100

第6章把Drill连接到数据源101

查询多种数据源102

配置新的存储插件102

用Drill连接关系型数据库103

通过Drill查询Hadoop数据108

用Drill连接并查询HBase108

用Drill查询Hive数据110

连接Kafka查询流数据113

提高Kafka查询的性能115

连接并查询Kudu115

用Drill连接并查询MongoDB数据116

把Drill连接到云存储116

用Drill从OpenTSDB查询时间序列数据121

小结122

第7章连接Dr123

理解Drill的接口123

JDBC与Drill124

ODBC与Drill125

Drill的REST接口127

使用Python连接Drill128

使用drillpy对Drill发起查询129

使用pydrill连接Drill130

其他通过Python连接Drill的方法131

用R语言连接Drill133

使用sergeant在R中查询Drill133

通过Java连接Drill135

在PHP中查询Drill136

使用连接器137

在PHP中执行Drill查询137

在PHP中操作Drill138

使用Node.js查询Drill139

在BI工具中使用Drill作为数据源139

使用Apache Zeppelin和Drill分析数据139

使用Apache Superset分析数据145

小结151

第8章用Drill完成数据工程工作152

读时Schema152

SQL关系模型153

数据生命周期：数据探索到生产154

Schema推导155

数据源推导155

存储插件156

存储配置156

工作区157

查询目录159

默认Schema159

文件类型推导160

格式插件与格式配置160

格式推导161

文件格式变种162

Schema推导概述163

分布式扫描165

带分隔符数据的Schema推导167

CSV文件处理小结173

JSON文件的Schema推导175

二义性数值Schema178

在文件间保证Schema一致184

JSON对象186

Drill中的JSON列表189

JSON小结193

在Drill中使用Parquet文件格式194

Parquet中的Schema进化195

分区数据目录195

定义表工作区198

处理生产环境中的查询199

捕捉Schema映射视图199

在脚本中运行复杂查询200

小结201

第9章在生产环境部署Drill202

安装Drill202

前置需求203

生产环境安装204

配置ZooKeeper205

内存配置206

配置日志208

测试安装是否成功209

分发Drill可执行文件和配置210

启动Drill集群211

配置存储212

使用ApacheHadoop HDFS213

使用Amazon S3214

准入控制217

其他配置219

用户自定义函数与自定义插件219

安全220

日志级别220

控制CPU使用222

监控223

监控Drill的进程224

监控JMX指标224

监控查询225

其他部署选项225

MapR安装程序226

Drill-on-YRAN226

Docker226

小结227

第10章搭建开发环境228

安装Maven228

创建Drill的编译环境229

设置Git并获取源代码229

从代码编译Drill230

安装IDE231

小结231

第11章编写用户自定义函数232

用例：找出合法的信用卡号码232

Drill中的用户自定义函数是怎么工作的234

Drill的简单UDF结构234

pom.xml文件235

函数文件236

简单函数API240

完整的代码241

构建与安装UDF243

静态安装UDF243

动态安装UDF243

复合函数：返回Map或数组的UDF244

例子：解析User Agent元数据245

ComplexWriter对象246

编写聚合UDF248

聚合函数API249

聚合UDF示例：肯德尔秩相关系数249

小结252

第12章编写格式插件253

正则表达式格式插件253

基于Easy框架创建格式插件255

创建Maven的pom.xml文件256

创建插件包258

Drill模块配置258

格式插件配置259

注意事项259

创建正则表达式格式插件配置类260

版权声明头与代码格式262

测试配置262

解决配置问题263

排查问题264

创建格式插件类264

创建测试文件267

配置RAT267

高效调试267

创建单元测试268

Drill是如何找到插件的270

记录读取器270

测试读取器的壳273

日志274

出错处理274

初始化275

解析正则表达式276

定义列名276

投影277

记录列投影映射278

空投影278

全投影279

部分投影279

打开文件281

记录批282

Drill的列存结构282

定义向量283

读取数据284

把数据放入向量285

释放资源286

测试读取器286

测试通配符场景286

测试显式投影288

测试空投影288

扩展288

其他细节290

文件块290

默认格式配置290

下一步292

生产版本292

给Drill贡献代码：使用Pull Request292

维护你的分支293

创建插件项目293

小结294

第13章特殊用法296

查找在特定区域拍摄的照片296

分析Excel文件297

pom.xml文件298

Excel自定义记录读取器299

使用Excel格式插件303

用Drill分析网络数据包（PCAP文件）304

查询PCAP数据文件的例子304

使用Drill分析Twitter数据308

在机器学习流程中使用Drill309

通过Drill进行预测310

建立与序列化模型310

编写UDF封装类311

通过UDF进行预测313

小结313

附录ADrill函数列表315

附录BDrill格式化字符串331