1.2.1完善了多方面的功能,易用,穩(wěn)定。
注意:1.2 版本的數(shù)據(jù)收集器不能兼容以前版本的配置腳本。
具有很強(qiáng)的靈活性,勝任各種不同結(jié)構(gòu)的網(wǎng)站的處理。 有任何使用中的問題請(qǐng)聯(lián)系: 討論群: 601169305 QQ: 2146651351 微信: AIChangeLife
使用方法:
1.先分析網(wǎng)站的網(wǎng)頁結(jié)構(gòu),來配置抓取策略(有全面的流程說明,如不懂參考視頻教程)。
2.運(yùn)行腳本,執(zhí)行數(shù)據(jù)處理工作。
3. Scrapy開發(fā)輔助支持,包括生成Scrapy代碼段,將Scrapy Xpath路徑直接輸入Scrapy腳本。
4.HTTP請(qǐng)求日志 數(shù)據(jù)輸出的方式包括:
1. 通過CSV文件輸出 EXCEL等編輯軟件 大部分?jǐn)?shù)據(jù)庫軟件支持從CSV文件導(dǎo)入
2. 通過程序內(nèi)置數(shù)據(jù)庫(SQLITE)輸出 SQLITEBrowser支持SQLITE數(shù)據(jù)庫SQL語句查詢: http://sqlitebrowser.org/ https://github.com/sqlitebrowser/sqlitebrowser/releases/download/v3.10.0/DB.Browser.for.SQLite-3.10.0-win32.exe 支持廣泛,有很多選擇
3.通過MYSQL數(shù)據(jù)庫輸出(通過官方的MYSQL安裝包下載后,直接安裝就可以),數(shù)據(jù)使用 UTF-8的方式來保存。