python抓取网页的代码

最新推荐文章于 2022-10-26 20:07:06 发布

李大数

最新推荐文章于 2022-10-26 20:07:06 发布

阅读量589

点赞数

CC 4.0 BY-SA版权

分类专栏：小众工具文章标签： python spidder

本文链接：https://blog.csdn.net/bsxylj/article/details/51364871

小众工具专栏收录该内容

31 篇文章

订阅专栏

本文展示了如何使用Python的urllib和urllib2库进行基本的HTTP请求操作，包括设置请求头、发送POST请求并获取响应内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib 
import urllib2 
url = 'http://www.uuorange.com' 
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 

values = {'name' : 'Michael Foord', 
          'location' : 'pythontab', 
          'language' : 'Python' } 
headers = { 'User-Agent' : user_agent } 
data = urllib.urlencode(values) 
req = urllib2.Request(url, data, headers) 
response = urllib2.urlopen(req) 
the_page = response.read()
print the_page