【Python3網絡爬蟲開發實戰】1.8.1-pyspider的安裝

pyspider是國人binux編寫的強大的網絡爬蟲框架，它帶有強大的WebUI、腳本編輯器、任務監控器、項目管理器以及結果處理器，同時支持多種數據庫后端、多種消息隊列，另外還支持javaScript渲染頁面的爬取，使用起來非常方便，本節介紹一下它的安裝過程。

1. 相關鏈接

官方文檔：http://docs.pyspider.org/

PyPI：https://pypi.python.org/pypi/pyspider

GitHub：https://github.com/binux/pyspider

官方教程：http://docs.pyspider.org/en/latest/tutorial

在線實例：http://demo.pyspider.org

2. 準備工作

pyspider是支持javaScript渲染的，而這個過程是依賴于PhantomJS的，所以還需要安裝PhantomJS（具體的安裝過程詳見1.2.5節）。

3. pip安裝

這里推薦使用pip安裝，命令如下：

pip3?install?pyspider

命令執行完畢即可完成安裝。

4. 常見錯誤

Windows下可能會出現這樣的錯誤提示：

Command?"python?setup.py?egg_info"?failed?with?error?code?1?in?/tmp/pip-build-vXo1W3/pycurl

這是PyCurl安裝錯誤，此時需要安裝PyCurl庫。從http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到對應的Python版本，然后下載相應的wheel文件即可。比如Windows 64位、Python 3.6，則需要下載pycurl?7.43.0?cp36?cp36m?win_amd64.whl，隨后用pip安裝即可，命令如下：

pip3?install?pycurl?7.43.0?cp36?cp36m?win_amd64.whl

如果在Linux下遇到PyCurl的錯誤，可以參考本文：https://imlonghao.com/19.html。

5. 驗證安裝

安裝完成之后，可以直接在命令行下啟動pyspider：

pyspider?all

此時控制臺會有類似如圖1-74所示的輸出。

圖1-74 控制臺

這時pyspider的Web服務就會在本地5000端口運行。直接在瀏覽器中打開http://localhost:5000/，即可進入pyspider的WebUI管理頁面，如圖1-75所示，這證明pyspider已經安裝成功了。

圖1-75 管理頁面

后面，我們會詳細介紹pyspider的用法。

網絡 Python

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。