【云享專家公開課】Lesson 3：以 Scrapyd為例詳解Python項目操作

爬蟲項目在編寫完成后往往需要部署到服務(wù)器上，以便定時執(zhí)行。你一定很好奇，項目從部署到執(zhí)行的過程會經(jīng)歷哪些階段?如何運行Python 的 EGG 包?項目版本控制是如何實現(xiàn)的?具體的執(zhí)行工作是如何規(guī)劃的?如何為任意的 Python 項目生成對應(yīng)的運行日志?任何 Python 項目都可以放到服務(wù)器上定時調(diào)度嗎?

本期，華為云·云享專家團隊邀請到云享專家、爬蟲工程師韋世東先生為大家講解《Python項目部署和調(diào)度》的相關(guān)內(nèi)容，本次課程以著名的爬蟲部署服務(wù) Scrapyd 為例，可以深入了解 Python 項目部署與調(diào)度原理，并設(shè)計一個通用的 Python 項目部署“架構(gòu)”。

【云享專家公開課】Lesson 3：

本次課程將通過 Scrapyd 來了解爬蟲項目或者說 PYTHON 項目部署和調(diào)度的基本操作與流程。

【案例】動手演示Scrapyd 的一些基本操作。

【==實際操作==】

第一步：安裝 Scrapyd 的客戶端和服務(wù)端。然后按照 Scrapyd 的文檔要求對 Scrapy 項目進行配置，也就是打包前的配置工作。

第二步：可以開始將項目打包并部署到 Scrapyd 服務(wù)上。

第三步：接著通過命令調(diào)度 Scrapyd 服務(wù)上的項目，并查看項目運行后產(chǎn)生的運行記錄和項目日志。

客戶端安裝命令為：

Pip install scrapyd-client

服務(wù)端安裝命令為：

Pip install scrapyd

因為要演示項目的打包，所以我們還需要安裝 Scrapy 框架。然后生成一個空白的 Scrapy 項目。

Scrapy安裝命令為：

Pip install scrapy

Scrapy、Scrapyd 和 Scrapyd 客戶端安裝好之后，就可以開始操作了。

Scrapy 項目部署流程為：生成 Scrapy 項目--更改spider 文件--更改 cfg 文件--啟動 Scrapyd 服務(wù)并講解界面--打包命令--回到網(wǎng)頁看項目名稱--按照網(wǎng)頁提示調(diào)度項目--查看運行記錄和日志。

華為云·云享專家簡介：

延伸閱讀：

Python 華為云APP

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。