[Python3 網(wǎng)絡爬蟲開發(fā)實戰(zhàn)] 1.9.5-Scrapyrt 的安裝

Scrapyrt 為 Scrapy 提供了一個調度的 HTTP 接口，有了它，我們就不需要再執(zhí)行 Scrapy 命令而是通過請求一個 HTTP 接口來調度 Scrapy 任務了。Scrapyrt 比 Scrapyd 更輕量，如果不需要分布式多任務的話，可以簡單使用 Scrapyrt 實現(xiàn)遠程 Scrapy 任務的調度。

1. 相關鏈接

GitHub：https://github.com/scrapinghub/scrapyrt

官方文檔：http://scrapyrt.readthedocs.io

2. pip 安裝

這里推薦使用 pip 安裝，命令如下：

1

pip3 install scrapyrt

接下來，在任意一個 Scrapy 項目中運行如下命令來啟動 HTTP 服務：

1

scrapyrt

運行之后，會默認在 9080 端口上啟動服務，類似的輸出結果如下：

1

2

3

4

scrapyrt

2017-07-12 22:31:03+0800 [-] Log opened.

2017-07-12 22:31:03+0800 [-] Site starting on 9080

2017-07-12 22:31:03+0800 [-] Starting factory

如果想更換運行端口，可以使用 \-p 參數(shù)，如：

1

scrapyrt -p 9081

這樣就會在 9081 端口上運行了。

3. Docker 安裝

另外，Scrapyrt 也支持 Docker。比如，要想在 9080 端口上運行，且本地 Scrapy 項目的路徑為 /home/quotesbot，可以使用如下命令運行：

1

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在 9080 端口上監(jiān)聽指定的 Scrapy 項目。

Python 網(wǎng)絡

版權聲明：本文內容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內刪除侵權內容。

版權聲明：本文內容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內刪除侵權內容。