后羿采集器官方版是一款界面簡約、操作簡單、功能全面、專業(yè)實用的網頁數(shù)據采集軟件。后羿采集器官方版可視化點選,一鍵采集網頁數(shù)據,采集和導出全免費,無限制放心用,可后臺運行,速度實時顯示。
軟件特色
1、可視化自定義采集流程
全程問答式引導、可視化操作、自定義采集流程
自動記錄和模擬網頁操作順序
高級設置滿足更多采集需求
2、點選抽取網頁數(shù)據
鼠標點擊選擇要爬取的網頁內容、操作簡單
可選擇抽取文本、鏈接、屬性、html標簽等
3、運行批量采集數(shù)據
軟件按照采集流程和抽取規(guī)則自動批量采集
快速穩(wěn)定,實時顯示采集速度和過程
可切換軟件后臺運行,不打擾前臺工作
4、導出和發(fā)布采集的數(shù)據
采集的數(shù)據自動表格化,自由配置字段
支持數(shù)據導出到Excel等本地文件
和一鍵發(fā)布到CMS網站/數(shù)據庫/微信公眾號等媒體
使用方法
自定義采集百度搜索結果數(shù)據的方法
步驟1:創(chuàng)建采集任務
1)啟動后羿采集器,進入主界面,選擇自定義采集并點擊創(chuàng)建任務按鈕創(chuàng)建 "自定義采集任務"
2)輸入百度搜索的URL,包括三種方式
1、手動輸入:在輸入框中直接輸入URL,多個URL時須要換行分割
2、點擊從文件中讀取方式:用戶選擇一個存放URL的文件,文件中可以有多個URL地址,地址須要換行分割。
3、批量添加方式:通過添加并調整地址參數(shù)生成多個有規(guī)律的地址
步驟2:自定義采集流程
1)點擊創(chuàng)建后自動打開第一個URL進而進入自定義設置頁面,默認已經創(chuàng)建了開始、打開網頁、結束的流程塊。底部模板區(qū)用于拖拽到畫布中生成新的流程塊;點擊打開網頁中的屬性按鈕,可修改打開的網址
2)添加輸入文字流程塊:在底部模板區(qū)中拖拽輸入文字塊到打開網頁塊后面附近,當出現(xiàn)陰影區(qū)域的時候可以松開鼠標,此時會自動連接,添加完成
3)生成完整流程圖:仿照上面添加輸入文字流程塊的拖拽流程添加新塊:如下圖所示:
關鍵步驟塊設置介紹
步驟2:定時等待用于等待前面打開網頁完成
步驟3:點擊輸入框Xpath屬性按鈕,在屬性菜單中點擊圖標進行點選網頁中的輸入框,點擊輸入文本屬性按鈕,在菜單中輸入要搜索的文本。
步驟4:用于設置點擊開始搜索按鈕,點擊元素的xpath屬性按鈕,在菜單中點擊點選圖標,然后點擊網頁中的百度一下按鈕即可。
步驟5:用于設置循環(huán)加載下一列表頁。在循環(huán)塊內部的循環(huán)條件塊中設置詳細條件,此處點擊操作按鈕,選擇單個元素,然后在屬性菜單中點擊元素的xpath屬性按鈕,同上進行點選網頁中的下一頁按鈕。循環(huán)次數(shù)屬性按鈕可默認為0,即不限制點擊下一頁的次數(shù)。
步驟6:用于設置循環(huán)抽取列表頁中的數(shù)據。在循環(huán)塊內部的循環(huán)條件塊中設置詳細條件,此處點擊操作按鈕,選擇不固定元素列表,然后在屬性菜單中點擊元素的xpath屬性按鈕,然后在網頁中連續(xù)點選兩次抽取第一塊和第二塊元素。循環(huán)次數(shù)屬性按鈕可默認為0,即不限制列表中收取字段的數(shù)量。
步驟7:用于執(zhí)行點擊下一頁按鈕操作,點擊元素xpath屬性按鈕,選擇使用當前循環(huán)中元素的xpath選項。
步驟8:同理用于設置網頁加載等待時間。
步驟9:用于設置在列表頁抽取的字段規(guī)則,點擊屬性按鈕中使用循環(huán)中的元素按鈕,選擇使用循環(huán)中的元素選項。點擊元素模板屬性按鈕在字段表格中點擊加減進行添加刪除字段,添加字段使用點選操作,即點擊加號后鼠標移動到網頁元素上點擊選擇。
4)點擊開始采集,啟動采集
步驟3:數(shù)據采集及導出
1)采集任務運行中
2)采集完成后,選擇“導出數(shù)據”可以把數(shù)據都導出到本地文件
3)選擇“導出方式”,將采集好的數(shù)據導出,這里可以選擇excel作為導出為格式