Python學習筆記之簡單爬蟲

　　現階段我們利用urllib模塊，去做最簡單的爬蟲，因為比較簡單，所以直接看代碼就行。主要知識就是通過urllib模塊的各個函數加上正則表達式去完成。
 

1. #encoding:utf-8 
2.  
3. import re 
4. import urllib 
5.  
6. #利用urllib的urlopen（）函數打開一個url地址 
7. #并讀取所有的html代碼， 
8. def gethtml(url): 
9.     content=urllib.urlopen(url) 
10.     html=content.read() 
11.     return html 
12.  
13.  
14. #根據正則表達式去匹配符合規則的內容 
15. def geturls(html): 
16.     r=r'data-src="(http://.*?)"' 
17.     alllist=re.findall(r,html) 
18.     return alllist 
19.  
20. #利用urlretrieve（）下載文件 
21. def download(list): 
22.     x=0 
23.     for li in list: 
24.         x=x+1 
25.         urllib.urlretrieve(li,"%s.jpg"%x) 
26.  
27. if  __name__ == '__main__': 
28.     #內涵段子 
29.     url = "http://neihanshequ.com/pic/" 
30.     #獲取網頁源碼 
31.     html = gethtml(url) 
32.     #根據一定規則過濾出想要的內容 
33.     list = geturls(html) 
34.     #下載圖片 
35.     download(list) 
36.  
37.     print list