《表1 河道水情:基于Scrapy的水利数据爬虫设计与实现》
爬虫将解析的数据封装成条目之后交给项目管道,进行数据持久化。数据持久化的方式有多种,可直接本地化存储为文件,如TXT、CSV、JSON等,也可保存至Oracle、MySQL等关系型数据库或者MongoDB、Redis等非关系型数据库。本文采用MySQL,根据爬虫对象StRiverItem设计河道水情数据表结构,如表1所示。
图表编号 | XD00170656800 严禁用于非法目的 |
---|---|
绘制时间 | 2020.05.26 |
作者 | 游攀利、杨琳、喻淼 |
绘制单位 | 长江信达软件技术(武汉)有限责任公司、长江信达软件技术(武汉)有限责任公司、长江信达软件技术(武汉)有限责任公司 |
更多格式 | 高清、无水印(增值服务) |