看视频教程写爬虫,贴一下我写的代码

#!/usr/bin/python
#coding utf-8

import re
import urllib

def gethtml(url):
	page = urllib.urlopen(url)
	html = page.read()
	return html

def getjpg(html):
	rule = r'src="(http://imgsr.bai.com/forum/.*?\.jpg)" pic_ext='
	jpgurl = re.findall(rule,html)
	return jpgurl

url = 'http://tieba.baidu.com/p/2738151262?see_lz=1'
html = gethtml(url)

print getjpg(html)

可是打印出来的是一个空的列表

$ python getjpg.py
[]

这个绝对是正则表达式的问题,于是我把换我的正则表达式

rule = r'src="(.*?\.jpg)" pic_ext='

可是,这样的得到的是好多,好乱,肯定还不对. 如图:

刚开始猜测是因为正则表达式会匹配最长的字符,可是用 *?或+? 时表示尽可少的重复.

看网页源代码,我觉得我里最后的答案又接近了一步.

那我接下来继续改进正则表达式.

rule = r'src="(http://imgsrc.+?\.jpg)" pic_ext='

这样就好了.接下来添加下载及重命名部分.

	x =0
	for download in jpgurl:
		urllib.urlretrieve(download,'%s.jpg' %x)
		x+=1

结果如下: