爬蟲管理平臺 Crawlab v0.4.8 發布

本次更新包括幾個部分：

支持界面安裝（預裝）Python 以外的多種語言環境

更好的安裝界面，可以看到多個節點的安裝情況

優化 RPC，基于 Redis 延遲隊列作為 RPC

更多功能配置

功能 / 優化

支持更多編程語言安裝：現在用戶可以安裝或預裝更多的編程語言，包括 Java、.Net Core、PHP.

安裝 UI 優化：用戶能夠更好的查看和管理節點列表頁的安裝.

更多 Git 支持：允許用戶查看 Git Commits 記錄，并 Checkout 到相應 Commit.

支持用 Hostname 作為節點注冊類型：用戶可以將 hostname 作為節點的唯一識別號.

RPC 支持：加入 RPC 支持來更好的管理節點通信.

是否在主節點運行開關：用戶可以決定是否在主節點運行，如果為否，則所有任務將在工作節點上運行.

默認禁用教程

加入相關文檔側邊欄

加載頁面優化

重復節點?#391

重復上傳爬蟲?#603

節點第三方模塊安裝失敗導致節點安裝第三方部分無法使用?#609

離線節點也會創建任務?#622

結果展示

支持其他數據庫

可配置爬蟲

可配置爬蟲支持 Splash

可配置爬蟲支持 CrawlSpider

可配置爬蟲支持正則表達式字段

可配置爬蟲支持轉化為自定義爬蟲

任務

任務重試機制

定時任務

日歷展示

全局

支持版本更新日志展示

服務器

支持終端操作 Docker 鏡像

SDK

更多命令支持

插件系統

參考

Github:?https://github.com/crawlab-team/crawlab

Demo:?https://crawlab.cn/demo

RPC

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。