進一步了解XPath（利用XPath爬取飛哥的博客）【python爬蟲入門進階】（04）

#省略第一步的代碼 href = li_temp_list[0].xpath('./h4/a/@href')[0] print(href)

得到的結果是：https://feige.blog.csdn.net/article/details/121003473 。需要注意的是.xpath方法返回的是一個列表，所以需要提取其第一個元素

第三步：獲取標題內容

按照獲取鏈接的思想，我們同樣可以獲取標題內容。標題的內容就直接在a標簽里。這里只需要多一步就是通過text()方法提取a標簽的內容。表達式就是//div[@class="article-item-box csdn-tracking-statistics"]/h4/a/text()。

參考代碼是：

title_list = li_temp_list[0].xpath('./h4/a/text()') print(title_list) print(title_list[1])

運行結果是：

['\n ', '\n 淺識XPath（熟練掌握XPath的語法）【python爬蟲入門進階】（03）\n '] 淺識XPath（熟練掌握XPath的語法）【python爬蟲入門進階】（03）

因為列表中的第一個元素是\n，所以需要獲取第二個元素。

完整的參考代碼

import requests from lxml import etree import json import os class FeiGe: # 初始化 def __init__(self, url, pages): self.url = url self.pages = pages self.headers = { "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36"} def get_total_url_list(self): """ 獲取所有的urllist :return: """ url_list = [] for i in range(self.pages): url_list.append(self.url + "/article/list/" + str(i + 1) + "?t=1") return url_list def parse_url(self, url): """ 一個發送請求，獲取響應，同時etree處理html :param url: :return: """ print('parsing url:', url) response = requests.get(url, headers=self.headers, timeout=10) # 發送請求 html = response.content.decode() html = etree.HTML(html) return html def get_title_href(self, url): """ 獲取一個頁面的title和href :param url: :return: """ html = self.parse_url(url) # 獲取文章分組 li_temp_list = html.xpath('//div[@class="article-item-box csdn-tracking-statistics"]') total_items = [] # 遍歷分組 for i in li_temp_list: href = i.xpath('./h4/a/@href')[0] if len(i.xpath('./h4/a/@href')) > 0 else None title = i.xpath('./h4/a/text()')[1] if len(i.xpath('./h4/a/text()')) > 0 else None summary = i.xpath('./p')[0] if len(i.xpath('./p')) > 0 else None # 放入字典 item = dict(href=href, text=title.replace('\n', ''), summary=summary.text.replace('\n', '')) total_items.append(item) return total_items def save_item(self, item): """ 保存一個item :param item: :return: """ with open('feige_blog.txt', 'a') as f: f.write(json.dumps(item, ensure_ascii=False, indent=2)) f.write("\n") def run(self): # 找到url規律，url_list url_list = self.get_total_url_list() os.remove('feige_blog.txt') for url in url_list: # 遍歷url_list發送請求，獲得響應 total_item = self.get_title_href(url) for item in total_item: print(item) self.save_item(item) if __name__ == '__main__': fei_ge = FeiGe("https://feige.blog.csdn.net/", 8) fei_ge.run()

運行結果是：

該類主要分為幾大塊。

初始化方法__init__(self, url, pages) 主要設置需要爬取的博客的域名，以及博客的頁數，以及初始化請求頭。

獲取所有頁數的鏈接的方法get_total_url_list(self) ，這里需要注意的鏈接的規律。

parse_url(self, url) 方法主要就是根據傳入的url獲得該url的html頁面。

get_title_href(self, url) 方法主要分為兩塊，第一塊就是調用parse_url(self, url) 方法得到鏈接對應的html頁面。第二塊就是解析HTML頁面以定位到我們需要的數據的元素，并將元素放在列表total_items中返回。

save_item(self, item) 方法就是將第四步返回的total_items中的數據保存到feige_blog.txt文件中。

run(self) 方法是主入口，統籌調用各個方法。

總結

本文通過碼農飛哥演示了如何在實戰中使用XPath來爬取我們想要的數據。

HTML Python

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。