課程大綱： Python零基礎上手Scrapy分布爬蟲
目錄
章節1:環境安裝
1文本【必看】交流群和答疑服務
2】Python的兩種安裝方式介紹
3】官方Python的下載和安裝
4】Anaconda下載和安裝
5】環境變量的配置教程
6】PIP的在線安裝
7】PIP的離線安裝方式
8】國內PIP的加速鏡像
9】國內Anaconda的加速鏡像
10】值得學習的Python庫
11】Win&Python&Scrapy
12】Win&Anaconda自動化安裝Scrapy
13 瀏覽器選擇和xpath學習
14 Jupyter介紹10:19
章節2:【工具介紹】Pycharm簡單使用教程
15創建和打開項目
16切換本地環境
17Pycharm中的環境種類介紹
18啟動、調試、單步調試
19Pycharm的布局介紹
20關于Pycharm的后一點嘮嗑
章節3:Python3必備基礎
21數字
22字符串
23列表
24元組
25字典
26切片
27【糾正】切片
28條件控制 if
29循環語句 for
30條件循環 while
31函數學習 def
32類學習 class
33輸入和輸出
34文件操作
35異常處理
36列表生成式
37字典生成式
38三目運算符
39隨機數
章節4:【腳本爬蟲】requests庫的基本操作
40requests的介紹和安裝
41【基礎】簡單的請求
42【HTTP】響應狀態碼的介紹
43【基礎】text和content的不同
44【HTTP】請求包結構和get、post
45【HTTP】請求方法的說明
46【基礎】請求頭中的字段信息
47【基礎】請求時傳參數
48【基礎】查看跳轉記錄
49【基礎】響應頭中的字段信息
50【基礎】代理IP的使用
51【基礎】Cookie的理解和使用
52【基礎】關于timeout和json的兩個小知識點
章節5:【Xpath】超詳細基礎入門講解
53【Xpath】介紹
54【Xpath】使用方式
55【Xpath】節點的概念
56【Xpath】簡單標簽檢索
57【Xpath】通過屬性值id和class檢索
58【Xpath】contains函數的妙用
59【Xpath】與 或 非的學習和使用
60【Xpath】復雜關系節點的選取一
61【Xpath】復雜關系節點的選取二
62【Xpath】復雜關系節點的選取三
63文本【Xpath】知識點歸納文檔可
64【Xpath】測試題
65【Xpath】測試題講解
章節6:【數據提取】BeautifulSoup4詳細入門講解
66Beautifulsoup的介紹和提醒
67【環境】bs4的安裝和測試
68【基礎】操作本地和網絡html文件
69【基礎】不同解析器的不同結果
70【語法】單個標簽的使用
71【語法】查找標簽的簡單方式
72【語法】查找的范圍概念
73【補充】find相關函數的補充說明
74【語法】contents和children
75【語法】descendants語法
76【語法】text和string05:49
77【語法】strings和stripped_strings
78【語法】prettify的友好展示
79【修改】標簽屬性的修改
80【修改】增加和刪除屬性
81【修改】拷貝和移動標簽
82【修改】增加標簽節點
83【修改】刪除標簽節點
84【基礎】什么是select選擇器
85【語法】標簽的id和class
86【語法】通過屬性查找標簽
87【語法】層級關系的使用
88【語法】指定第幾個標簽
89【語法】多屬性的或操作
章節7:【爬蟲】requests-html框架介紹
90【基礎】介紹和安裝教程
91【環境】渲染js的環境配置
92【基礎】簡單的請求
93【基礎】響應中的HTML信息
94【基礎】css選擇器的解析方式
95【基礎】xpath的解析方式
96【基礎】修改請求頭信息
97【基礎】請求中接入代理IP
98【基礎】主動渲染js并分析網頁
章節8:selenium超詳細基礎入門教程
99上手selenium【含本章全部課件】
100常用的五種定位方式
101如何進行數據填充
102selenium的點擊操作
103selenium提取網頁數據
104selenium的無窗口模式
105selenium讓瀏覽器窗口大化
106selenium的瀏覽器懶加載操作
107在瀏覽器中執行js代碼
108新建瀏覽器的標簽頁
109標簽頁的切換和關閉
110selenium給瀏覽器設置全局代理
111selenium控制跳轉iframe
章節9:【Python爬蟲】爬蟲思路分析網站
112【基礎】為什么會有這一章
113【基礎】一個網頁有多少請求
114【基礎】一個請求和響應
115【基礎】響應的多種形式
116【基礎】爬蟲和瀏覽器的不同
117【基礎】什么是異步數據
118【進階】常見的反爬技術
119【進階】常見的爬蟲技術
120【進階】驗證碼的多種類型
121【進階】如何優化爬蟲程序
122【進階】分布式爬蟲的優勢
123【進階】Cookie重要性和設置方式
章節10:【爬蟲】腳本爬蟲處理簡單網頁
124【基礎】簡單的網頁請求和響應
125【拓展】爬蟲響應可視化展示
126【基礎】User-Agent的重要性和切換
127【基礎】從網頁中提取翻頁鏈接思路一
128【基礎】從網頁中提取翻頁鏈接思路二
129【基礎】從網頁中提取所需數據
130【進階】將圖片下載到本地硬盤上
131【進階】下載圖集的代碼優化
章節11:【爬蟲】異步數據的抓取
132【概念】什么是異步數據
133【拓展】網頁的形成順序
134【操作】源碼分析異步數據的來源
135【操作】瀏覽器調試工具的查找方式
136【進階】獲取異步渲染的數據
137【進階】獲取異步請求數據
138【實戰】抓取掘金首頁的異步請求文章信息
139【優化】抓取掘金首頁的異步請求文章信息
140【進階】異步的多種數據格式和解析方式說明
章節12:【爬蟲】爬蟲反爬和數據分析
141【基礎】常見的反爬和突破行為
142【基礎】反爬要做到什么程度
143【進階】代理IP的使用
144【進階】登錄狀態的維持
145【鋪墊】從網站獲取數據
146【基礎】了解csv的基礎結構
147【入庫】數據存儲成csv文件格式
148【基礎】pygal圖表介紹
149【圖表】圖表分析數據一
150【圖表】圖表分析數據二
151【圖表】圖表分析數據三
章節13:Scrapy知識點搶先了解
152【基礎】爬蟲框架的組件和流程介紹
153【部署】爬蟲開發后需要部署嗎？
154【分布式】分布式爬蟲是什么？有什么優勢？
章節14:初探Scrapy租房爬蟲——存儲xls文件
155新建租房項目和租房爬蟲
156了解爬蟲的參數
157請求測試和日志說明
158調試問題和修改User-Agent
159robotstxt文件說明
160提取非廣告的全部數據
161提取標簽中的標題文本
162提取更多的租房信息
163爬蟲和管道的數據聯系
164爬蟲數據進入管道測試
165管道中新建xls文件
166item全部寫入xls文件并查看
章節15:Scrapy項目——數據庫存儲
167Scrapy命令交互模式
168Scrapy爬蟲數據抓取
169文本補充：知識點歸納文檔一可
170Scrapy爬蟲數據入庫(一)
171Scrapy爬蟲數據入庫(二)
172文本補充：知識點歸納文檔二可
173文本訓練：修復爬蟲項目中的Bug
章節16:Scrapy框架介紹——爬蟲模板
174Scrapy抓取二級鏈接
175文本練習：對租房詳情頁進行更多抓取
176CrawlSpider和Spider的差異
177使用正則，分析鏈接
178文本正則表達式文檔
179復雜Xpath，更多的數據提取
180深入理解CrawlSpider的跟蹤機制
181文本CrawlSpider知識點
182文本練習：加強對CrawlSpider的練習
章節17:Scrapy框架內置管道學習
183【Scrapy管道】目標站的分析
184【Scrapy管道】新建項目和提取鏈接
185【Scrapy管道】三個內置管道的說明
186【Scrapy管道】FilePipeline的使用
187【Scrapy管道】下載圖集的所有圖片
188文本【Scrapy管道】繼承FilesPipeline
189【Scrapy管道】自定義圖片的存儲路徑和名稱
190【Scrapy管道】使用圖片管道下載圖片
191【Scrapy管道】縮略圖的配置和生成
192【Scrapy管道】更改原圖和縮略圖的存儲路徑
193文本【Scrapy管道】Scrapy管道文件總結
章節18:Scrapy爬蟲項目——招聘信息爬取
194項目開始和前程招聘信息爬取
195數據入庫第一部分：非關系型數據庫和Mongodb
196文本數據入庫第一部分文檔：非關系型數據庫和Mongodb
197數據入庫第二部分：pymongo練習和Mongodb數據可視化插件使用
198文本數據入庫第二部分文檔：pymongo練習和Mongodb數據可視化插件使用
199數據入庫第三部分：pymongo接入管道文件和url的取舍
200文本數據入庫第三部分文檔：pymongo接入管道文件和url的取舍
章節19:Scrapy下載器中間件的概念和使用
201Scrapy下載器中間件概念
202下載器中間件切換UserAgent
203下載器中間件切換UserAgent(下)
204文本中間件和用戶代理信息
205代理IP的概念和解決方案介紹
206代理IP實戰之動態轉發
207代理IP實戰之代理IP池
208文本中間件和代理IP
209下載器中間件默認順序配置
210下載器中間件之重復請求中間件使用
211下載器中間件之重定向中間件使用
212文本Scrapy下載器中間件的默認配置
章節20:
213文本福利項目一可
214【福利】代理云介紹
215【使用】代理云IP質量測試
章節21:【贈送】自建代理IP池管理系統
216自建代理IP池管理系統和功能介紹
217環境搭建【django】
218新建項目和構建模型
219如何選擇代理IP服務商
220提取代理IP
221定時任務
222定時檢測代理IP的可用性
223返回爬蟲可用代理IP
224文本代理IP服務推薦可
章節22:Scrapy爬蟲中間件的概念和使用
225Scrapy爬蟲中間件的概念和介紹
226文本Scrapy爬蟲中間件的概念和介紹【文檔】
227Scrapy爬蟲中間件內置的Referer和Offsite
228Scrappy爬蟲中間件內置的UrlLengthMiddleware
229Scrapy爬蟲中間件內置的HttpErrorMiddleware
230Scrapy爬蟲中間件內置的DepthMiddleware
章節23:實戰訓練：抓取批量高贊問答【知乎】
231文本抓取知乎上批量高贊問答【文檔】可
232實戰計劃開始，目標網站的結構分析
233新建爬蟲，分析話題廣場的所有話題
234分析鏈接并提取全部子話題，附帶統計父話題下的子話題數目
235分析數據并提取精華問答鏈接
236解析并獲取問題鏈接和全部回答
237問答數據的結構更改和入庫操作
238文本實戰訓練：總結文檔【文檔】
章節24:模擬登錄過程和cookie登錄狀態
239登錄原理介紹和常見模擬登錄方式
240模擬登錄過程之post請求
241腳本模擬登錄過程之token
242Scrapy模擬登錄過程之token
243模擬登錄過程之圖形驗證碼
244文本模擬登錄過程之圖形驗證碼【練習】
章節25:分布式爬蟲：Scrapy-Redis
245分布式爬蟲：概念介紹
246文本分布式爬蟲：分布式的優勢
247分布式爬蟲：環境安裝
248文本分布式爬蟲：環境安裝【文檔教程】
249分布式爬蟲：上手scrapy_redis
250文本分布式爬蟲：上手scrapy-redis【文檔教程】
251分布式爬蟲：自動填充任務
252分布式爬蟲：Spider VS CrawlSpider
253分布式爬蟲：分布式架構介紹
254分布式爬蟲：item持久化存儲
255文本分布式爬蟲：item持久化存儲【文檔教程】
章節26:【Django+Scrapy】可視化監聽網站數據變化
256新建Django項目和APP
257分析和新建Model15:36
258渲染函數和接口函數【上】
259渲染函數和接口函數【下】
260數據解析和圖表渲染【一】
261數據解析和圖表渲染【二】
262數據的選擇渲染
263時間和語言細節調整
264爬蟲和網站對接說明
265新建爬蟲項目
266數據抓取測試
267定制API管道
268定時啟動【windows】
269定時啟動【linux】
270將爬蟲置于網站項目內部
271項目總結
章節27:Scrapy爬蟲部署
272部署工具和概念介紹
273scrapy工程打包和發布
274api接口的學習使用
275scrapyd配置的更改
276gerapy環境搭建
277gerapy主機管理
278gerapy項目管理
279gerapy打包部署操作
章節28:字體加密介紹和突破字體反爬
280【字體反爬】必備知識點鋪鋪墊
281【字體反爬】加密符號和字體文件
282【字體反爬】解析字體的效果演示
283【字體反爬】提取加密的字體字符串
284【字體反爬】base64解碼和轉換成對應文件
285【字體反爬】xml文件學習和數字翻譯
286【字體反爬】讀取符號和對應的數字
287【字體反爬】完成讀取和數字解密
章節29:【移動端爬蟲】移動端環境配置
288安卓開發環境搭建
289配置uiautomator2庫
290選擇一個安卓模擬器
291安卓模擬器設備聯調
292USB調試真實物理設備
章節30:【移動端爬蟲】什么是weditor
293界面功能項說明
294啟用界面的實時刷新功能
295移動端的布局渲染
296代碼自動化導出
297界面的屬性和內容介紹
章節31:【移動端爬蟲】Uiautomator2，簡稱u2
298控件的定位方法
299使用u2定位文本內容
300使用class屬性查找控件
301通過屬性定位
302多屬性的混合定位方法
303通過父子級標簽來定位
304根據橫縱軸坐標定位
305好用的XPATH語法定位
306控件的操作方法
307控件的狀態屬性
章節32:【移動端爬蟲】抓包工具
308常見抓包工具介紹
309安裝fiddler工具
310fiddler界面顯示優化
311界面的各功能區介紹
312配置安全證書
313Session區的學習
314發射器composer構建請求body
315清理數據還得靠過濾
316python可介入的mitmproxy
317mitm的三個老伙計
318抓包工具的證書格式說明
319安卓虛擬機的證書安裝
320mitmweb的操作說明
章節33:【移動端爬蟲】抓取手機端app的文字和圖片
321環境搭建說明
322啟動軟件并測試抓包數據
323請求參數的猜測和模擬分析
324代碼模擬請求和分析數據
325分析接口并提取多種數據
326數據的分類和讀取
327數據的分類存儲
328知識點總結
加入高級會員獲得助教答疑
