NEW
分享兴趣,传播快乐,增长见闻,留下美好!亲爱的您,这里是LearningYard新学苑。今天小编为大家带来文章:经验分享——使用八爪鱼采集器循环列表进入详情页采集。
功能介绍
八爪鱼采集器是一款全网通用的互联网数据采集器,模拟人浏览网页的行为,通过简单的页面点选,生成自动化的采集流程,从而将网页数据转化为结构化数据,存储于EXCEL或数据库等多种形式。并提供基于云计算的大数据云采集解决方案,实现数据采集。是数据一键采集平台。
操作界面
01搜索网址
这里以京东为例
我们来到京东界面,选择想要采集的类目,这里以口红为例。
02输入网址
03设置循环翻页
04单击详情页链接
05采集文本
06修改文本字段
07修改参数
08启动采集并保存
Functionisintroduced
Features
OctopuscollectorisauniversalInternetdatacollector,,automaticcollectionprocessisgenerated,soastoconvertwebpag
interface
OperationInterface
Wewentto,lipstickwastakenasanexample.
Enterurl
Copytheurl,clickcustomcollectioninoctopuscollector,pastetheproductURLandsave,webpageinformationwillappear.
Setthepageturningcycle
Todisableautorecognition,,clickloopandclickNext
Clickthedetailspagelink
Gobacktothetopofthepagetoselectanyproduct,clickthetitleoftheproduct,clickallinthepop-upwindow,andthenclickthelooptoclickeachelementtoentertheproductdetailspage.
Thetextcollected
Selectthenameoftheproduct,clickthetextoftheelementtocollect,andthenrepeattheabovestepstocollectthepriceoftheproduct,thenumberofcommentsandotherrelatedparameters.
Modifytextfield
Clickthetextfieldtochangethetextname.
Modifytheparameters
,twosecondsapart,andthenclickApply.
SelectSettingsinthelooppageturn,settheparameterto//a[@class="pn-next"]/EM[text()="Nextpage",andthenclickApply.
Startcollectionandsave
ClickCollect,thenclickStartlocalcollection,andwaitpatiently.
Aftercollectingthedesireddata,clickExportdata,selectExcelastheexportmode,thenclickOK,andfinallysavethedatatothedesiredlocation.
今天的分享就到这里啦!如果您对今天的文章有独特的想法,欢迎给我们留言,让我们相约明天,祝您今天过得开心快乐!