我正在Python2.7上制作我自己的网络爬虫程序,它将网站下载到我计算机中的某个路径上,然后我以类似的方式保存文件,它们保存在服务器上站点的文件夹中,例如:

我将在它里面的stackoverflow目录一个问题的目录,在它里面这个页面的html文件。。。在

如果我的电脑上已经有这些网页,我如何才能将这些网页的链接更改为链接到我下载的网页?在

例如,如果有:

所以我将通过python将这个html代码更改为

或类似的。。在

我不知道它是否有用,但我用这个功能下载到一个文件上:

def下载文件(路径,url):try :

print "Downloading : " + url

path=path + urlparse(url).path

path , fileName = pathNameSplit(path)

make_sure_path_exists(path)

print "trying to downoad " + fileName

if (fileName.count(".") == 0 ):fileName = fileName + ".html"

#pickle.dump( url2Html(url) , open( path + fileName, "w" ))

urllib.urlretrieve(url, path + fileName)

print "Download of " + url + " Completed"

except Exception:

print "Sometihng occured in the download of " + url

更多推荐