懒人采集器正式版是一款非常简单的网页数据采集工具,它具有可视化的工作界面,用户通过鼠标就可以完成对网页数据的采集,该程序的使用门槛非常低,任何用户都可以轻松使用它就行数据采集而不需要用户拥有爬虫程序的编写能力;通过这款软件,用户可以在大多数网站中采集数据,包括可以在一些单页应用Ajax加载的动态网站中获取用户需要的数据信息;软件中内置高速的浏览器引擎,用户可以自由切换多种浏览模式,让用户轻松以一个直观的方式去对网站网页进行采集;该程序安全无毒,使用简单,有需要的小伙伴快来下载吧。
1、零门槛:不懂网络爬虫技术,会上网,就会采集网站数据。
2、多引擎,高速稳定:内置高速浏览器引擎,还可以切换为HTTP引擎模式运行,采集数据更加高效。还内置了JSON引擎,无需分析JSON数据结构,可视化选取JSON内容。
3、适用各种网站 :能够采集互联网99%的网站,包括单页应用Ajax加载等等动态类型网站。
1、软件操作简单,可通过鼠标点击的方式轻松选取要抓取的内容。
2、支持三种高速引擎:浏览器引擎、HTTP引擎、JSON引擎,内置优化后的火狐浏览器,加上独创的内存优化使浏览器采集也可以高速运行,甚至可以快速转换为HTTP方式运行,享受更高的采集速度!而在抓取JSON数据时,同样可以使用浏览器可视化方式,通过鼠标点选需要抓取的内容,完全不需要去分析JSON数据结构,使非网页专业设计人士也可以轻松抓取需要的数据。
3、不用分析网页请求和源代码,却支持更多的网页采集。
4、先进的智能算法,可以一键生成目标元素XPATH、自动识别网页列表、自动识别分页中的下一页按钮……
5、支持丰富的数据导出方式,可以导出为txt文件、html文件、csv文件、excel文件,也可以导出到已有的数据库,如sqlite数据库、access数据库、sqlserver数据库、mysql数据库,通过向导的方式简单映射字段,即可轻松导出到目标网站数据库中。
1、采集时怎样避免重复到重复数据?
在运行某个采集任务时,如果该任务之前有采集过数据,那么采集前如果没有清空原有数据的话,会以追加的形式将新采集数据添加到本地采集库中,这样就可能出现某些已采集过的数据再次重复采集入库,还有,如果目标网页本身也重复的数据,也可能造成数据重复,那么怎么避免采集的数据出现重复呢?
方法很简单,我们希望哪一个字段内容不允许出现重复,只要点击该字段表头上这个三角符号,再勾选“过滤重复”复选框,点击确定就可以了
2、如何手动生成字段?
点击“增加字段”按钮
点击列表中任意一行中要提取的元素,比如要提取标题和链接地址,鼠标左键点击一下该标题即可
当点击的是网页链接时,会提示是否用时要抓取链接地址
如果要同时提取链接标题和链接地址,点“是”,如果只要提取标题文本,点否,这里我们点“是”
系统会自动生成标题和链接地址字段,并在字段列表中显示出提取到的字段内容,当点击底部表格字段标题时,会在网页上以黄色背景高亮显示出匹配的内容。
如何还有标记列表中的其他字段,点击新增字段,重复以上操作即可。
3、怎样手动生成列表?
点击“查找列表”按钮,选择“手动选择列表”
按提示,用鼠标左键点击网页列表中的第一行数据
点完第一行,再按提示点击第二行或其他相似的行
点击完列表里的任意两行后,整个列表就高亮显示出来了,同时该列表里的字段也会字段生成,如果生成的字段不对,点击清除字段,把下面的字段全部清除掉,下一章再介绍手动选取字段。
4、如何采集多级网页?
如果我们要采集二级页面,如内容页,或采集更深一级的页面,三级、四级等,在当前页字段列表中,必须包含有一个提取链接地址的字段,也就是提取属性为Href的字段,如图
点击该字段标题栏,选中该列后会出现“深入链接页采集”按钮
点击该按钮后会自动创建一个配置选项卡,并自动打开之前选中那个字段的一个网址。
而采集模式也自动显示为“单条模式”
列表模式:用于提取某个网页列表中的数据,预览中可看到多条数据
单条模式:适用于采集内容详情页里的各项信息,如文章标题、时间、正文等
因为我们深入采集的这个页面是内容页,所有使用默认的“单条模式”
然后,我们新建一个字段,提取网页中的文章发布时间,因为文章标题在第一层列表采集里已经提取了,这里就不需要重复了,采集运行时,多个页面的字段会自动合并为一个表格数据的。
继续新建字段提取正文
而为了保持原文的段落格式,这里的取值属性可以选择InnerHtml,即该字段提取的数据包含Html标签
同类推荐
2022-09-14
立即下载2022-09-14
立即下载2022-09-14
立即下载2022-09-14
立即下载2022-09-10
立即下载2022-09-10
立即下载相关文章
Cinema 4D如何用线性切割穿孔?
2021-12-21TortoiseGit如何恢复忽略文件?
2021-06-08VNC Viewer远程桌面如何配置?
2021-11-13炉石传说吕布加尔鲁什皮肤怎么样 炉石传说吕布加尔鲁什皮肤介绍
2022-08-16极速PDF阅读器如何打印指定页面?
2022-04-30迅雷无法下载敏感资源怎么解决?
2022-01-19万兴喵影如何编辑节拍?万兴喵影编辑节拍的方法
2021-12-02驱动人生更新后无法开机怎么回事?
2021-11-25After Effects CS6入门教程
2020-08-29WinRAR如何制作程序安装包?WinRAR制作程序安装包的技巧
2022-01-15