三十、Pyspider爬蟲框架總結(jié)，爬取Scrapy文檔

這是我Python培訓(xùn)的內(nèi)容，使用Pyspider框架爬取Scrapy文檔

@Author：xinlan

pyspider框架

一、pyspider框架介紹

pyspider 是個(gè)強(qiáng)大的由python實(shí)現(xiàn)的爬蟲系統(tǒng)。

純python的

強(qiáng)大的webui，支持腳本編輯，任務(wù)監(jiān)控，項(xiàng)目管理和結(jié)果查看

數(shù)據(jù)后臺(tái)支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy

消息隊(duì)列支持，RabbitMQ，Beanstalk，Redis以及Kombu

支持任務(wù)優(yōu)先級(jí)，定時(shí)，失敗重試等調(diào)度方案

分布式架構(gòu)，抓取js頁面

支持Python2和3

pip install pyspider

如果使用ubuntu,請(qǐng)先運(yùn)行sudo apt update 再運(yùn)行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \ libssl-dev zlib1g-dev

1

2

3

刪除wsgidav

Python Scrapy

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。