python爬虫-电影数据抓取

最新推荐文章于 2025-06-23 10:16:45 发布

原创最新推荐文章于 2025-06-23 10:16:45 发布 · 1.3w 阅读

136 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

爬虫实战专栏收录该内容

10 篇文章

订阅专栏

本文介绍了如何使用Python进行电影数据的爬取。通过进入目标页面，利用开发者工具分析网络请求，找到电影数据的URL及参数如start和limit。解析数据后，对获取的内容进行可视化处理，并保存为CSV文件。最后提供了完整的爬虫代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、进入此次爬取的页面点这里。

2、按F12—> network

3、ctrl+r 刷新如图搜索一个电影名，找到数据位置，然后查看

4、找到请求的url ‘？’后边的是参数，不要带上

5、参数单独拿出来

start：0 代表的是排行榜的第一部电影

limit：20 代表的是一次返回20条数据（20部电影）

start和limit都可以更改

param={
    'type': '24',
    'interval_id': '100:90',
    'action':'' ,
    'start': start,
    'limit': limit}

6、大致先看一看拿到的数据类型，然后解析，从其中拿到自己想要的数据

7、开始编写代码：

import csv
import pprint
import requests

url='https://movie.douban.com/j/chart/top_list'
start=input('从库中第几部电影取：')
limit=input('取几部：')
param={
    'type': '24',
    'interval_id': '100:90',
    'action':'' ,
    'start': start,
    'limit': limit}
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62'}
response=requests.get(url=url,params=param,headers=headers)
list_data=response.json()
pprint.pprint(list_data)

运行代码，查看结果：

拿到的的确是两条数据，然后从其中选择自己想要的数据出来，进行可视化处理，保存为csv格式

f=open('./豆瓣.csv','w',encoding='utf-8-sig',newline='')#a 是追加保存
csv_write=csv.DictWriter(f, fieldnames=[
    '电影名',
    '主演人数',
    '主演',
    '评分',
    '上映时间',
    '类型',
    '评论数',
    '拍摄国家',
])
csv_write.writeheader()

for i in list_data:
    dic={
        '电影名':i['title'],
        '主演人数':i['actor_count'],
        '主演':i['actors'],
        '评分':i['score'],
        '上映时间':i['release_date'],
        '类型': i['types'],
        '评论数': i['vote_count'],
        '拍摄国家':i['regions']
    }
    print(dic)
    csv_write.writerow(dic)

运行：

8.完整代码：

import csv
import requests

url='https://movie.douban.com/j/chart/top_list'
start=input('从库中第几部电影取：')
limit=input('取几部：')
param={
    'type': '24',
    'interval_id': '100:90',
    'action':'' ,
    'start': start,
    'limit': limit}
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62'}
response=requests.get(url=url,params=param,headers=headers)
list_data=response.json()

f=open('./豆瓣.csv','w',encoding='utf-8-sig',newline='')#a 是追加保存
csv_write=csv.DictWriter(f, fieldnames=[
    '电影名',
    '主演人数',
    '主演',
    '评分',
    '上映时间',
    '类型',
    '评论数',
    '拍摄国家',
])
csv_write.writeheader()

for i in list_data:
    dic={
        '电影名':i['title'],
        '主演人数':i['actor_count'],
        '主演':i['actors'],
        '评分':i['score'],
        '上映时间':i['release_date'],
        '类型': i['types'],
        '评论数': i['vote_count'],
        '拍摄国家':i['regions']
    }
    print(dic)
    csv_write.writerow(dic)