python 爬虫ip代理

有勇气的牛排

已于 2023-01-02 18:18:58 修改

阅读量376

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python

于 2021-04-19 11:12:41 首次发布

本文链接：https://blog.csdn.net/zx77588023/article/details/115860426

python 专栏收录该内容

63 篇文章

订阅专栏

本文介绍如何利用Python编程语言结合代理IP池来实现网页数据的抓取。通过创建一个包含代理IP地址的文本文件，并使用requests库进行网络请求，本文演示了基本的网络爬虫技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

新建proxy_list.txt文本，一行一个ip代理ip地址，必要情况下可以加上端口号

import requests

url = 'www.920vip.net'

headers = {
    'User-Agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
}

# 读取ip代理池
with open('proxy_list.txt', 'r') as f:
    while True:
        for line in f.readlines():
            proxy = line.strip('\n')  # 删除每一行最后面的换行符
            print(proxy)

            proxy_support = {
                'http': 'http://' + proxy
            }

            

            response = requests.get(url, proxies=proxy_support)
            print(response.text)