一款非常牛逼的 Java 爬蟲(chóng)框架?。ㄕ?qǐng)低調(diào)使用）

昵稱(chēng)10087950 2022-06-16 發(fā)布于江蘇

展開(kāi)全文

來(lái)源丨JAVA葵花寶典

介紹

平臺(tái)以流程圖的方式定義爬蟲(chóng),是一個(gè)高度靈活可配置的爬蟲(chóng)平臺(tái)

特性

支持Xpath/JsonPath/css選擇器/正則提取/混搭提取
支持JSON/XML/二進(jìn)制格式
支持多數(shù)據(jù)源、SQL select/selectInt/selectOne/insert/update/delete
支持爬取JS動(dòng)態(tài)渲染(或ajax)的頁(yè)面
支持代理
支持自動(dòng)保存至數(shù)據(jù)庫(kù)/文件
常用字符串、日期、文件、加解密等函數(shù)
支持插件擴(kuò)展(自定義執(zhí)行器，自定義方法）
任務(wù)監(jiān)控,任務(wù)日志
支持HTTP接口
支持Cookie自動(dòng)管理
支持自定義函數(shù)

插件

Selenium插件
Redis插件
OSS插件
Mongodb插件
IP代理池插件
OCR識(shí)別插件
電子郵箱插件

項(xiàng)目部分截圖

爬蟲(chóng)列表

爬蟲(chóng)測(cè)試

Debug

日志

免責(zé)聲明

開(kāi)源地址：https:///ssssssss-team/spider-flow

-End-

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶(hù)發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買(mǎi)等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來(lái)自：昵稱(chēng)10087950 > 《JAVA》

舉報(bào)/認(rèn)領(lǐng)