懒人采集器正式版是一款简单易用、功能强大的网页采集工具,专为懒人准备的采集工具!它的采集配置非常简单,全程可通过内置浏览器可视化选取需要采集的内容,使您可以在短时间内就可以快速创建出一个采集任务,无需分析网页源代码,更不需要熟悉网络协议,只需要点点鼠标就可以完成创建好任务。懒人采集器,让数据采集从未如此简单,有需要的小伙伴快来下载使用吧。
1、零门槛:不懂网络爬虫技术,会上网,就会采集网站数据。
2、多引擎,高速稳定:内置高速浏览器引擎,还可以切换为HTTP引擎模式运行,采集数据更加高效。还内置了JSON引擎,无需分析JSON数据结构,可视化选取JSON内容。
3、适用各种网站 :能够采集互联网99%的网站,包括单页应用Ajax加载等等动态类型网站。
1、软件操作简单,可通过鼠标点击的方式轻松选取要抓取的内容。
2、支持三种高速引擎:浏览器引擎、HTTP引擎、JSON引擎,内置优化后的火狐浏览器,加上独创的内存优化使浏览器采集也可以高速运行,甚至可以快速转换为HTTP方式运行,享受更高的采集速度!而在抓取JSON数据时,同样可以使用浏览器可视化方式,通过鼠标点选需要抓取的内容,完全不需要去分析JSON数据结构,使非网页专业设计人士也可以轻松抓取需要的数据。
3、不用分析网页请求和源代码,却支持更多的网页采集。
4、先进的智能算法,可以一键生成目标元素XPATH、自动识别网页列表、自动识别分页中的下一页按钮……
5、支持丰富的数据导出方式,可以导出为txt文件、html文件、csv文件、excel文件,也可以导出到已有的数据库,如sqlite数据库、access数据库、sqlserver数据库、mysql数据库,通过向导的方式简单映射字段,即可轻松导出到目标网站数据库中。
可视化向导:所有采集元素,自动生成采集数据。
1、计划任务:灵活定义运行时间,全自动运行。
2、多引擎支持:支持多个采集引擎,内置高速浏览器内核、HTTP引擎和JSON引擎。
3、智能识别:可自动识别网页列表、采集字段和分页等。
4、拦截请求:自定义拦截域名,方便过滤站外广告,提高采集速度。
5、多种数据导出:可导出为Txt 、Excel、MySQL、SQLServer、 SQlite、Access、网站等。
下载并解压完成后,双击setup1.0.exe启动安装程序(1.0是版本后,后续新版会不同)
按照安装向导,一路点击“下一步”按钮即可完成安装。
1、采集时怎样避免重复到重复数据?
在运行某个采集任务时,如果该任务之前有采集过数据,那么采集前如果没有清空原有数据的话,会以追加的形式将新采集数据添加到本地采集库中,这样就可能出现某些已采集过的数据再次重复采集入库,还有,如果目标网页本身也重复的数据,也可能造成数据重复,那么怎么避免采集的数据出现重复呢?
方法很简单,我们希望哪一个字段内容不允许出现重复,只要点击该字段表头上这个三角符号,再勾选“过滤重复”复选框,点击确定就可以了
2、如何手动生成字段?
点击“增加字段”按钮
点击列表中任意一行中要提取的元素,比如要提取标题和链接地址,鼠标左键点击一下该标题即可
当点击的是网页链接时,会提示是否用时要抓取链接地址
如果要同时提取链接标题和链接地址,点“是”,如果只要提取标题文本,点否,这里我们点“是”
系统会自动生成标题和链接地址字段,并在字段列表中显示出提取到的字段内容,当点击底部表格字段标题时,会在网页上以黄色背景高亮显示出匹配的内容。
如何还有标记列表中的其他字段,点击新增字段,重复以上操作即可。
3、怎样手动生成列表?
点击“查找列表”按钮,选择“手动选择列表”
按提示,用鼠标左键点击网页列表中的第一行数据
点完第一行,再按提示点击第二行或其他相似的行
点击完列表里的任意两行后,整个列表就高亮显示出来了,同时该列表里的字段也会字段生成,如果生成的字段不对,点击清除字段,把下面的字段全部清除掉,下一章再介绍手动选取字段。
4、如何采集多级网页?
如果我们要采集二级页面,如内容页,或采集更深一级的页面,三级、四级等,在当前页字段列表中,必须包含有一个提取链接地址的字段,也就是提取属性为Href的字段,如图
点击该字段标题栏,选中该列后会出现“深入链接页采集”按钮
点击该按钮后会自动创建一个配置选项卡,并自动打开之前选中那个字段的一个网址。
而采集模式也自动显示为“单条模式”
列表模式:用于提取某个网页列表中的数据,预览中可看到多条数据
单条模式:适用于采集内容详情页里的各项信息,如文章标题、时间、正文等
因为我们深入采集的这个页面是内容页,所有使用默认的“单条模式”
然后,我们新建一个字段,提取网页中的文章发布时间,因为文章标题在第一层列表采集里已经提取了,这里就不需要重复了,采集运行时,多个页面的字段会自动合并为一个表格数据的。
继续新建字段提取正文
而为了保持原文的段落格式,这里的取值属性可以选择InnerHtml,即该字段提取的数据包含Html标签
同类推荐
2022-09-14
立即下载2022-09-14
立即下载2022-09-14
立即下载2022-09-14
立即下载2022-09-10
立即下载2022-09-10
立即下载相关文章
TeamViewer建立远程会议的技巧
2022-01-18VNC Viewer连接安装数据库弹不出图形界面怎么办?
2021-11-13按键精灵2014怎么调延迟
2020-08-18Visual Studio Code如何添加扩展插件?
2022-05-26ABBYY FineReader如何新建Excel电子表格?
2021-11-16Adobe Photoshop如何给抠出来的图片加白边?
2021-08-24雷电模拟器快捷键怎么设置?雷电模拟器设置快捷键的技巧
2021-10-14驱动人生无法删除dtlsoft的解决方法
2021-11-25TeamViewer设置会议权限的技巧
2022-01-18迅捷pdf转换器破解教程
2020-04-24