pyspider 的安裝

Pyspider 是國人 binux 編寫的強大的網絡爬蟲框架，它帶有強大的 WebUI、腳本編輯器、任務監控器、項目管理器以及結果處理器，同時它支持多種數據庫后端、多種消息隊列，另外它還支持 JavaScript 渲染頁面的爬取，使用起來非常方便，本節介紹一下它的安裝過程。

相關鏈接

官方文檔：http://docs.Pyspider.org/

PyPi：https://pypi.python.org/pypi/pyspider

GitHub：https://github.com/binux/pyspider

官方教程：http://docs.pyspider.org/en/latest/tutorial

在線實例：http://demo.pyspider.org

準備工作

PySpider 是支持 JavaScript 渲染的，而這個過程是依賴于 PhantomJS 的，所以還需要安裝 PhantomJS，所以在安裝之前請安裝好 PhantomJS，參考 https://setup.scrape.center/phantomjs。

pip 安裝

推薦使用 pip 安裝，命令如下：

1

pip3 install pyspider

命令執行完畢即可完成安裝。

常見錯誤

Windows 下可能會出現這樣的錯誤提示：Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

這個是 PyCurl 安裝錯誤，一般會出現在 Windows 下，需要安裝 PyCurl 庫，下載鏈接為：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl，找到對應 Python 版本然后下載相應的 Wheel 文件。

如 Windows 64 位，Python3.6 則下載 pycurl?7.43.0?cp36?cp36m?win_amd64.whl，隨后用 Pip 安裝即可，命令如下：

1

pip3 install pycurl?7.43.0?cp36?cp36m?win_amd64.whl

Linux 下如果遇到 PyCurl 的錯誤可以參考本文：https://imlonghao.com/19.html

驗證安裝

安裝完成之后，可以直接在命令行下啟動 PySpider：

1

pyspider all

控制臺會有類似如下輸出，如圖所示：

這時 PySpider 的 Web 服務就會在本地 5000 端口運行，直接在瀏覽器打開：http://localhost:5000/ 即可進入 PySpider 的 WebUI 管理頁面，如圖所示：

如果出現類似頁面那證明 PySpider 已經安裝成功了。

渲染

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。