安居客爬虫实战

最新推荐文章于 2025-07-05 14:58:35 发布

聆听我的召唤，菜鸟进化

最新推荐文章于 2025-07-05 14:58:35 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫

本文链接：https://blog.csdn.net/qq_45889931/article/details/122570406

本文介绍了如何在安居客爬虫过程中应对IP被封的问题。通过在浏览器中开启手机模式并刷新页面，获取有效URL，从而继续进行房源数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安居客封ip,解决方案
1、
在这里插入图片描述
点击找到需要的房源，f12

2、点击手机模式，刷新，获取url,搞定

from lxml import etree
from fake_useragent import UserAgent
import time
import json
import requests
import csv
import random

headers={
   
   
            'User-Agent':UserAgent().random
        }

# w=["小区名称","城市名字","城市名字","单价","物业类型","物业费","总建面积","总户数","竣工时间","容积率","绿化率","开发商"]
# with open('未央区.csv', 'a', newline='', encoding='utf-8-sig') as fp:
#     writer = csv.writer(fp)
#     writer.writerow(w)

for i in range(1,5):

    url='https://m.anjuke.com/esf-ajax/community/list?city_id=31&page_size=25&page={}&area_id=3726&is_tw=1'.format(i)
    print("正在爬{}页".format(i))
    response=requests.get(url=url,headers=headers)
    datas=response.json()
    datas=datas["data"]["communities"]
    for data in datas:
        li=[]
        app_url=data["jumpAction"]#app链接
        li.append(app_url)
        
        price=data["priceInfo"]["price"]#价格 元/m2
        li.append(price)
        
        name=data["base"]["name"]#名字
        li.append(name)
        
        cityName=data["base"]["cityName"]#城市名字
        areaName=data["base"]["areaName"]#地区名字
        li.app