爬蟲管理平臺 Crawlab 專業版 v0.1.0 正式發布

前言

爬蟲管理平臺旨在解決大量不同類別爬蟲難以管理的問題，能夠在一體化平臺中部署調度、監控爬蟲程序，做到高效數據抓取，讓工程師們不再被繁瑣的爬蟲管理問題所困擾，能夠將主要精力放在爬蟲開發上。分布式爬蟲管理平臺 Crawlab 就是為了解決核心問題而誕生的。自去年 3 月份發布以來，Crawlab 受到很多開發者喜愛，如今在 Github 上已有 6.3k Stars，到目前為止使用過 Crawlab 的用戶數（不包括 Demo）已經超過 6k，而且這些數字還在不斷高速增長。Crawlab 是一個基于 Golang 的分布式爬蟲管理平臺，包括爬蟲自動部署、分布式調度、日志監控、定時任務、數據分析、可配置爬蟲、SDK、消息通知、Scrapy 支持、Git 同步等功能。Crawlab 具有強大的功能以及精美的前端頁面，在市面上屬于領先的爬蟲管理平臺，比基于 Scrapyd 的爬蟲管理平臺更靈活和實用。

但目前 Crawlab 也有部分不足，就是在一些企業級應用場景，例如大吞吐量數據抓取、大量日志寫入、監控報警、集成 MySQL/Kafka/ES 等其他數據源，性能、穩定性或功能上會有所欠缺。因此，為了解決這些問題，讓 Crawlab 更好的應用在企業級環境中，我們推出了 Crawlab 專業版（Crawlab Pro），讓工程師能夠在較高的數據吞吐量上穩定運行爬蟲程序。

專業版

Crawlab 專業版 (Crawlab Pro) 是針對專業用戶開發的。它穩定性更高，相較于社區版（開源版）功能更強大。專業版在底層特別是數據庫層面做了大量的優化，保證爬蟲任務能夠穩定而高效的運行并抓取數據。此外，專業版相較于社區版有很多強大的專屬功能，例如節點、數據庫監控功能，SQL 數據庫 (MySQL、Postgres) 集成等等。近期我們將上線 Kafka、ElasticSearch 集成的功能，以幫助 Crawlab 用戶更好的集成自己的數據系統 (例如數據倉庫)。在未來，我們將支持更加高級的可配置爬蟲。

性能監控

性能監控是 Crawlab 專業版的專屬功能，讓用戶能夠在不用額外監控軟件的情況下輕松監控節點和數據庫性能指標。你要知道，部署安裝一套 Zabbix、StatsD、Prometheus + Grafana 等專用監控解決方案的時間成本和維護成本可不小。有了專業版，您可以隨時掌握自己節點和數據庫的 CPU、內存、磁盤、網絡等性能情況，在必要時進行擴容或合理分配爬蟲資源。

專業版的主頁中增加了性能監控的儀表盤，可以實時查看到 MongoDB、Redis、節點的性能指標。

此外，您還可以在 “監控” 頁面查看性能指標的時間序列圖表，能夠一目了然查看歷史性能數據，快速識別性能瓶頸。

您不需要做任何其他操作就可以讓監控功能工作起來，您需要做的只是將 Crawlab 專業版節點運行起來，部署步驟與社區版一模一樣，對于已經掌握的開發者來說非常簡單，沒有任何學習成本。對于第一次接觸 Crawlab 的朋友來說，只需要學習一下 Docker 的安裝和操作。有了 Crawlab 專業版之后，您幾乎不需要花時間和精力安裝其他復雜的監控軟件了。

更多數據源支持

有不少用戶反饋說他們的儲存數據庫不是 MongoDB，而是 MySQL、Postgres、SQL Server 這樣的傳統關系型數據庫。因此，在專業版中，我們增加了對這些關系型數據庫的支持，讓用戶能夠直接利用 SDK 將數據保存在 MySQL、Postgres、SQL Server 中。

Kafka 支持（即將上線）

很多用戶是將數據通過 Kafka 上報數據倉庫儲存的。因此，對于這部分用戶來說，我們正在開發對 Kafka 的 SDK 支持。

其他功能建議

我們開發 Crawlab 專業版主要是為了讓企業級要求的用戶使用起來更方便，希望能夠獲得真實而重要的用戶反饋。

技術服務

在與 Crawlab 用戶溝通的過程中，我們發現不少用戶希望能夠快速上手 Crawlab，但是又苦于對 Docker 或 Crawlab 部署方式不了解，很多時候時間也比較緊張經不起折騰，但是用戶也很想使用 Crawlab。為了解決這個問題，我們推出了專業的技術支持服務，以幫助希望在生產環境使用 Crawlab、或希望快速體驗 Crawlab 的企業或個人用戶。

同時，對于專業版用戶，我們提供免費的技術咨詢服務，讓用戶們能夠無障礙使用爬蟲管理平臺 Crawlab，及時對使用過程中出現的問題進行答疑解惑。

什么是技術支持服務

技術支持服務是一種專業服務，是幫助不希望折騰 Crawlab 的用戶快速解決問題的一種有償服務。技術支持服務通常是由 Crawlab 專業人員，通常是開發組工程師，提供遠程協助，例如幫助部署 Crawlab、添加 Crawlab 節點、安裝爬蟲依賴等等。

什么是技術咨詢服務

技術咨詢服務是針對專業版用戶的免費咨詢服務，是開發組幫助專業版用戶答疑解惑的技術服務。咨詢服務主要是針對用戶在部署使用 Crawlab 過程中的一些答疑，配合技術文檔，讓用戶能更快的自行解決自己遇到的問題。

為什么需要技術支持服務和技術咨詢服務

根據調查，有不少爬蟲開發人員并不了解部署 Crawlab 或者在生產環境中使用 Crawlab 的相關技術，例如基礎的 Docker、Docker Compose、MongoDB、Redis，或者高級一點的 Kubernetes（K8S）、數據庫遷移等等。我們推出技術支持服務和技術咨詢服務，是為了讓大家更加輕松的使用 Crawlab 來管理爬蟲，將主要精力放在開發和維護爬蟲，而不是將大量的時間和精力消耗在平臺維護上面。對于技術支持服務，由于涉及到人工成本，我們將其作為有償的技術服務，后面會詳細介紹技術支持服務的價格。

技術支持服務內容

技術支持服務的內容包含但并不限于以下內容:

部署 Crawlab 服務

添加 Crawlab 節點

升級 Crawlab

安裝爬蟲依賴

部署遷移數據庫

備份數據

安裝維護K8S集群

優化服務架構

爬蟲開發技術指導

解決疑難雜癥

前言

爬蟲管理平臺旨在解決大量不同類別爬蟲難以管理的問題，能夠在一體化平臺中部署調度、監控爬蟲程序，做到高效數據抓取，讓工程師們不再被繁瑣的爬蟲管理問題所困擾，能夠將主要精力放在爬蟲開發上。分布式爬蟲管理平臺 Crawlab 就是為了解決核心問題而誕生的。自去年 3 月份發布以來，Crawlab 受到很多開發者喜愛，如今在 Github 上已有 6.3k Stars，到目前為止使用過 Crawlab 的用戶數（不包括 Demo）已經超過 6k，而且這些數字還在不斷高速增長。Crawlab 是一個基于 Golang 的分布式爬蟲管理平臺，包括爬蟲自動部署、分布式調度、日志監控、定時任務、數據分析、可配置爬蟲、SDK、消息通知、Scrapy 支持、Git 同步等功能。Crawlab 具有強大的功能以及精美的前端頁面，在市面上屬于領先的爬蟲管理平臺，比基于 Scrapyd 的爬蟲管理平臺更靈活和實用。

但目前 Crawlab 也有部分不足，就是在一些企業級應用場景，例如大吞吐量數據抓取、大量日志寫入、監控報警、集成 MySQL/Kafka/ES 等其他數據源，性能、穩定性或功能上會有所欠缺。因此，為了解決這些問題，讓 Crawlab 更好的應用在企業級環境中，我們推出了 Crawlab 專業版（Crawlab Pro），讓工程師能夠在較高的數據吞吐量上穩定運行爬蟲程序。

專業版

Crawlab 專業版 (Crawlab Pro) 是針對專業用戶開發的。它穩定性更高，相較于社區版（開源版）功能更強大。專業版在底層特別是數據庫層面做了大量的優化，保證爬蟲任務能夠穩定而高效的運行并抓取數據。此外，專業版相較于社區版有很多強大的專屬功能，例如節點、數據庫監控功能，SQL 數據庫 (MySQL、Postgres) 集成等等。近期我們將上線 Kafka、ElasticSearch 集成的功能，以幫助 Crawlab 用戶更好的集成自己的數據系統 (例如數據倉庫)。在未來，我們將支持更加高級的可配置爬蟲。

性能監控是 Crawlab 專業版的專屬功能，讓用戶能夠在不用額外監控軟件的情況下輕松監控節點和數據庫性能指標。你要知道，部署安裝一套 Zabbix、StatsD、Prometheus + Grafana 等專用監控解決方案的時間成本和維護成本可不小。有了專業版，您可以隨時掌握自己節點和數據庫的 CPU、內存、磁盤、網絡等性能情況，在必要時進行擴容或合理分配爬蟲資源。

專業版的主頁中增加了性能監控的儀表盤，可以實時查看到 MongoDB、Redis、節點的性能指標。

此外，您還可以在 “監控” 頁面查看性能指標的時間序列圖表，能夠一目了然查看歷史性能數據，快速識別性能瓶頸。

您不需要做任何其他操作就可以讓監控功能工作起來，您需要做的只是將 Crawlab 專業版節點運行起來，部署步驟與社區版一模一樣，對于已經掌握的開發者來說非常簡單，沒有任何學習成本。對于第一次接觸 Crawlab 的朋友來說，只需要學習一下 Docker 的安裝和操作。有了 Crawlab 專業版之后，您幾乎不需要花時間和精力安裝其他復雜的監控軟件了。

有不少用戶反饋說他們的儲存數據庫不是 MongoDB，而是 MySQL、Postgres、SQL Server 這樣的傳統關系型數據庫。因此，在專業版中，我們增加了對這些關系型數據庫的支持，讓用戶能夠直接利用 SDK 將數據保存在 MySQL、Postgres、SQL Server 中。

很多用戶是將數據通過 Kafka 上報數據倉庫儲存的。因此，對于這部分用戶來說，我們正在開發對 Kafka 的 SDK 支持。

我們開發 Crawlab 專業版主要是為了讓企業級要求的用戶使用起來更方便，希望能夠獲得真實而重要的用戶反饋。

技術服務

在與 Crawlab 用戶溝通的過程中，我們發現不少用戶希望能夠快速上手 Crawlab，但是又苦于對 Docker 或 Crawlab 部署方式不了解，很多時候時間也比較緊張經不起折騰，但是用戶也很想使用 Crawlab。為了解決這個問題，我們推出了專業的技術支持服務，以幫助希望在生產環境使用 Crawlab、或希望快速體驗 Crawlab 的企業或個人用戶。

同時，對于專業版用戶，我們提供免費的技術咨詢服務，讓用戶們能夠無障礙使用爬蟲管理平臺 Crawlab，及時對使用過程中出現的問題進行答疑解惑。

技術支持服務是一種專業服務，是幫助不希望折騰 Crawlab 的用戶快速解決問題的一種有償服務。技術支持服務通常是由 Crawlab 專業人員，通常是開發組工程師，提供遠程協助，例如幫助部署 Crawlab、添加 Crawlab 節點、安裝爬蟲依賴等等。

技術咨詢服務是針對專業版用戶的免費咨詢服務，是開發組幫助專業版用戶答疑解惑的技術服務。咨詢服務主要是針對用戶在部署使用 Crawlab 過程中的一些答疑，配合技術文檔，讓用戶能更快的自行解決自己遇到的問題。

根據調查，有不少爬蟲開發人員并不了解部署 Crawlab 或者在生產環境中使用 Crawlab 的相關技術，例如基礎的 Docker、Docker Compose、MongoDB、Redis，或者高級一點的 Kubernetes（K8S）、數據庫遷移等等。我們推出技術支持服務和技術咨詢服務，是為了讓大家更加輕松的使用 Crawlab 來管理爬蟲，將主要精力放在開發和維護爬蟲，而不是將大量的時間和精力消耗在平臺維護上面。對于技術支持服務，由于涉及到人工成本，我們將其作為有償的技術服務，后面會詳細介紹技術支持服務的價格。

技術支持服務的內容包含但并不限于以下內容:

部署 Crawlab 服務

添加 Crawlab 節點

升級 Crawlab

安裝爬蟲依賴

部署遷移數據庫

備份數據

安裝維護K8S集群

優化服務架構

爬蟲開發技術指導

解決疑難雜癥

Go

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。