Python抓取博客記錄，獲取標(biāo)題與url

需要提取的是標(biāo)題（title）和網(wǎng)址（url）。

shell工具

使用scrapy shell工具來分析一下目標(biāo)網(wǎng)頁

scrapy shell 'https://bbs.huaweicloud.com/community/usersnew/id_1606985929124732/page_1'

windows下的url需要用雙引號

可以看到如下的運(yùn)行結(jié)果

2021-10-13 09:46:47 [asyncio] DEBUG: Using selector: KqueueSelector [s] Available Scrapy objects: [s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc) [s] crawler [s] item {} [s] request [s] response <200 https://bbs.huaweicloud.com/community/usersnew/id_1606985929124732/page_1> [s] settings [s] spider [s] Useful shortcuts: [s] fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed) [s] fetch(req) Fetch a scrapy.Request and update local objects [s] shelp() Shell help (print this help) [s] view(response) View response in a browser 2021-10-13 09:46:48 [asyncio] DEBUG: Using selector: KqueueSelector

嘗試用scrapy的css()方法來提取元素，操作它的response變量

例如提取div.blog-menu

In [2]: response.css('div.blog-menu') Out[2]: [, ...

可以得到頁面上所有滿足要求的元素。拿到的元素是Selector，可以再進(jìn)行下一步的操作。

用for循環(huán)讀取提取到的元素，在此基礎(chǔ)上，去抓取中文標(biāo)題

In [6]: for item in response.css('div.blog-menu'): ...: print(item.css('a.common-blog-title::attr(title)').extract()[0]) ...: Kotlin協(xié)程取消與超時(shí) Android Kotlin協(xié)程入門 Kotlin協(xié)程基礎(chǔ) Kotlin協(xié)程入門 Android View post 方法 Android Activity 傳遞Parcelable對象 Android Handler，Looper與MessageQueue使用與分析 Android線程池使用介紹 Java線程介紹 使用ECharts繪制網(wǎng)址徑向樹狀圖

a.common-blog-title::attr(title)表示的是我們要查找里面的內(nèi)容，指定class為common-blog-title，并且查找title屬性。

css().extract()將結(jié)果列表提取出來。最后得到我們關(guān)心的信息。

獲取url同理，把提取部分修改為::attr(href)

代碼

前面用shell工具進(jìn)行分析，我們了解提取目標(biāo)信息的方法。接下來寫Python代碼。

在合適的地方新建一個(gè)scrapy工程

scrapy startproject blog

可以得到一系列文件

blog spiders .gitignore __init__.py __init__.py items.py middlewares.py pipelines.py settings.py

在spiders目錄里新建一個(gè)文件Hw.py，它就是我們的“蜘蛛”。完整代碼如下。

import json import scrapy def cmp(item): return item['page'] class HwBlog(scrapy.Spider): """ 在最外層的blog目錄進(jìn)行操作 scrapy crawl hw """ name = "hw" # scrapy crawl hw res_list = [] req_count = 0 total_url = 5 def start_requests(self): self.res_list = [] urls = [] base_url = 'https://bbs.huaweicloud.com/community/usersnew/id_1606985929124732/page_' for i in range(1, self.total_url + 1): urls.append(base_url + str(i)) for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): self.req_count = self.req_count + 1 page = response.url.split("_")[-1] for item in response.css('div.blog-menu'): title_se = item.css("a.common-blog-title") blog_url = 'https://bbs.huaweicloud.com' + (title_se.css("::attr(href)").extract()[0]) blog_title = title_se.css("::attr(title)").extract()[0] self.res_list.append({"title": blog_title, "url": blog_url, "page": page}) json_res = json.dumps(self.res_list, ensure_ascii=False) print(json_res) res_file_path = 'raw/hw.json' with open(res_file_path, 'w+') as f: f.write(json_res) if self.req_count < self.total_url: return res_md = 'raw/hw.md' self.res_list.sort(key=cmp) # 用頁碼來排序 with open(res_md, 'w+') as f: f.writelines('## 華為云社區(qū)') f.write('\n博客數(shù)量:' + str(len(self.res_list)) + '\n') for d in self.res_list: f.write('\n') f.write('- [' + d['title'] + '](' + d['url'] + ')')

要啟動(dòng)的話，輸入以下命令

scrapy crawl hw

接下來簡單看一下代碼

變量

name是蜘蛛的名字。我們啟動(dòng)的時(shí)候會(huì)用到它。這個(gè)名字由我們自己定義。

res_list是暫存結(jié)果的列表。把獲取到的結(jié)果暫時(shí)存放在里面。

total_url表示一共要爬幾個(gè)頁面

req_count表示請求次數(shù)

start_requests(self)

在這個(gè)方法里進(jìn)行一些配置工作。比如配置目標(biāo)url。

我們是預(yù)先知道有5個(gè)頁面，所以配置了5個(gè)url。

用scrapy.Request(url=url, callback=self.parse)構(gòu)建請求

parse是回調(diào)函數(shù)，請求成功后走這個(gè)方法。

parse(self, response)

請求成功后，結(jié)果保存在response中。前面用shell進(jìn)行的操作，可以直接寫成python代碼。

當(dāng)請求次數(shù)達(dá)到目標(biāo)后，開始寫文件。

小結(jié)

這是Python scrapy的一次簡單應(yīng)用。

安裝scrapy，分析目標(biāo)網(wǎng)頁。把獲取到的數(shù)據(jù)整理后寫成markdown文件。

Python Scrapy

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。