《Python爬蟲100例》復盤⑦，解決手機APP爬蟲環(huán)境問題

文章目錄

案例 41：Fiddler+夜神模擬器

案例 42：爬取兒歌多多APP數(shù)據(jù)

案例 43：百思不得姐APP數(shù)據(jù)

案例 44：Charles安裝與使用

案例 45：Charles抓取兔兒故事

案例 46：Charles抓取手機收音機

案例 47：mitmproxy安裝與模擬器

案例 48：使用mitmdump抓取手機惠農APP

案例 49：Appium安裝+操作51JOB_APP

今日復盤結論

時間

案例 41：Fiddler+夜神模擬器

這篇案例主要學習的其實是 Fiddler + 夜神模擬器的環(huán)境配置，因為多數(shù)情況下捕捉到手機APP的接口，就已經解決了爬蟲的最大問題。

案例中使用的 fiddler 是 4.0 版本，整體的安裝流程復盤了一下，無大問題。

學習過程中重點注意的是[證書的安裝]，包括電腦證書，手機端證書。

這里也發(fā)現(xiàn)了一個評論，詢問手機端證書問題，如果發(fā)現(xiàn)證書直接點擊無法安裝，請在手機端設置->安全 里面找到從 SD卡安裝證書，導入即可。

夜神模擬器就是一款普通軟件，按照正常流程安裝即可。

建議下載歷史版本：https://support.yeshen.com/zh-CN/win-release/6612，最新版本使用的是安卓7.0，可能會碰到一些比較難的點。

案例 42：爬取兒歌多多APP數(shù)據(jù)

這篇案例重點學習 Fiddler 與模擬器的配合，過程中捕獲的接口，測試之后，發(fā)現(xiàn)可以使用。

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1

1

案例 43：百思不得姐APP數(shù)據(jù)

好家伙，這個APP沒有了，建議大家切換一個段子類的APP，就可以繼續(xù)學習啦，流程是一致的。

建議：段子大全，糗事段子手，內涵段子，每日經典段子……

案例 44：Charles安裝與使用

本篇博客與案例41一致，使用的是另一款抓包軟件 Charles，學習難度不大，安裝之后，可以配合夜神模擬器獲取到數(shù)據(jù)即可。

案例 45：Charles抓取兔兒故事

依舊是APP不存在了，好多APP竟然還沒有我們的課程【存在】的時間長，這里將 《兔兒故事》這款APP，切換為任意“兒童故事類APP”，即可實現(xiàn)一樣的邏輯。

例如：幼兒園歌謠大全，寶寶催眠曲，寶寶學唱兒歌……

案例 46：Charles抓取手機收音機

本案例無問題，在博客中曾提及了 “荔枝APP”，可以去操作一把。

接口依舊可用：https://rapi.qingting.fm/categories/442/channels?&page=1&pagesize=30。

案例 47：mitmproxy安裝與模擬器

本案例主要介紹的是爬蟲輔助工具 mitmproxy，你將其理解為網頁版的 Fiddler 就行，使用方式也十分類似。

原博客寫作的時間始2019年1月，現(xiàn)在已經是2021年11月了，重點注意博客中的最后一張圖片。

如果信仰有顏色，那一定是中國紅！

案例 48：使用mitmdump抓取手機惠農APP

接口可用，案例無問題，《手機惠農》APP，好樣的。

案例 49：Appium安裝+操作51JOB_APP

這篇博客的重點是 Appium 的安裝，在原版博客中使用的是 Appium-DeskTop 1.10 版本，如今你在打開其最新版本，已經變?yōu)榱?v1.22.0，而且 Appium Inspector 也被分離了出去，關于 Appium 的安裝教程，我將在新版《Python爬蟲120例》中進行專門展示，如果你已經訂閱 《Python爬蟲100例》，可以聯(lián)系我獲得單獨的PDF文件。

今日復盤結論

今天復盤了 9 個案例，本部分博客，內容主要圍繞手機APP抓包，所以在學習的時候，重點在抓包工具的采集與與安裝上，各種APP，你可以去任意安卓商店下載、測試。

時間

本期博客過 400，立刻更新下一篇

今天是持續(xù)寫作的第

260

/ 200 天。

可以

關注

我，

我、

評論

我、

我啦。

更多精彩

Python 爬蟲 100 例教程導航帖（抓緊訂閱啦）

Python 移動APP

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。