課程目標

隨著互聯網的發展，網絡信息呈現指數式增長，要在短時間內獲取大量信息，網絡爬蟲無疑是一種最適合的方法。通過爬蟲獲取的海量信息，可以進一步的分析與應用，如股票預測、畫像構建、話題跟蹤等。
Python作為一門腳本語言，它靈活、易用、易學、適用場景多，實現程序快捷便利，早已經成為程序員們的一門編程利器。Python這門編程語言包羅萬象，可以說掌握了python，除了一些特殊環境和高度的性能要求，你可以用它做任何事。為提升相關科技工作者的技術水平，“網絡爬蟲技術及實戰”課程從爬蟲的基本知識入手，使用Python作為實現工具，一步步地講述網絡爬蟲的實現。

 師資團隊

華清創客企業內訓講師，均是來自各個領域的資深專家，均擁有6年以上大型項目經驗。

 培養對象

學員學習本課程應具備下列基礎知識：
①具備Python語言編程的基本知識和初步技能；
②了解基本的網絡通信知識；

 培訓方式

• 第一種：華清創客講師面授
  課時：共3天，每天6學時，總計18學時
  ◆費用：2500元
  ◆外地學員：代理安排食宿（需提前預定）
  
  第二種：線上直播授課
  直播課時：共6天，每天3學時，總計18學時；
  輔導：授課期間，輔導老師每天有1小時的輔導直播
  ◆費用：2500元
  
  第三種：企業訂制培訓
  課時：根據定制的大綱確定課時
  費用：根據課程難度，每課時1500~3000元
  

   質量保證

• 1、培訓過程中，如有部分內容理解不透或消化不好，可免費在下期培訓班中重聽；

  2、培訓結束后免費提供一個月的技術支持，充分保證培訓后出效果；

  3、培訓合格學員可享受免費推薦就業機會。

•  課程大綱

  第一部分 網絡爬蟲理論基礎

  1. 網絡通信基礎

  2. HTTP協議簡介

  3. Web開發知識介紹

  4. 網站分析知識介紹

   

  第二部分 Python基礎

  1. Python初識: 開發環境安裝與使用

  2. Python基礎數據結構（元組/列表/字符串/字典）

  3. Python語法基礎（條件/循環/函數/類/模塊）

  4. Python文件操作實戰

  5. Python異常處理實戰

   

  第三部分 網絡爬蟲基本工具庫

  1. 認識正則表達式

  2. 正則表達式實戰

  3. 基礎Python爬蟲庫（urllib/Requests）

  4. “漂亮”的爬蟲庫-Beautiful Soup

  5. 靜態網頁爬取案例分享

  6. Selenium與模擬瀏覽器-PhantomJS

  7. 動態網頁爬取案例分享

  8. 利用API進行數據采集

  9. OCR技術實現驗證碼自動識別，模擬登陸實戰

   

  第四部分 Scrapy爬蟲框架

  1. 認識Scrapy框架

  2. Scrapy框架安裝難點解決技巧

  3. Scrapy常見指令實戰

  4. Scrapy實現爬蟲實戰

  5. Scrapy模擬登錄實戰

  6. Scrapy新聞爬蟲項目實戰

  7. Scrapy網站登陸爬蟲與驗證碼自動識別項目實戰

  8. Scrapy與Urllib的整合使用

   

  第五部分 PySpider爬蟲框架

  1. 認識PySpider框架

  2. PySpider框架安裝與部署

  3. PySpider常見指令

  4. PySpider實現爬蟲案例分析

   

  第六部分 異步網站數據采集

  1. 認識Ajax

  2. Ajax分析方法

  3. Ajax結果提取

  4. Ajax實現爬蟲案例分析

   

  第七部分 分布式爬蟲介紹

  1. 爬蟲隊列設計

  2. 多線程爬蟲

  3. 多進程爬蟲

  4. 集群化爬取

   

  第八部分 爬蟲的存儲

  1. 文本文件存儲

  2. Excel存儲

  3. 關系型數據庫存儲

  4. 非關系型數據庫存儲

   

  第九部分 爬蟲綜合案例實戰

  1. 百度百科語料爬取

  2. 京東評論數據爬取與分析

  3. 豆瓣讀書數據爬取

  4. 微博數據抓取

  5. QQ空間數據爬取

  6. 中國知網文獻爬取