python 爬虫抓豆瓣电影，并存入数据库

最新推荐文章于 2025-06-05 17:29:45 发布

原创

最新推荐文章于 2025-06-05 17:29:45 发布 · 2.7k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#python3.6 #爬虫 #豆瓣电影抓取 #存入sql

本文展示了如何使用Python3.6进行爬虫操作，抓取豆瓣电影数据，并将数据有效地存入SQL数据库。目前示例已实现对20部电影的抓取，后续将继续完善以支持抓取更多数据，包括综艺节目和电视剧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request
import json    
import codecs  
class info(object):  
	#@classmethod
	def moviedown(url):
		#网址  
		url = "https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E7%94%B5%E5%BD%B1&start=9960"  
  
		#请求  
		request = urllib.request.Request(url)  
  
		#爬取结果  
		response = urllib.request.urlopen(request)  
		data = response.read()   
		#设置解码方式  
		data = data.decode('utf-8')  

		data1 = []  
		data1=json.loads(data)#这一步pyrhon  转成字典
		#data1['data']------>这是list      
		#data1['data'][0]-------->这是dict
		print(data1['data'][0]['rate']);
		str = "\r\n"  
		for item in data1['data']:  
   			 #print json.dumps(item)  
   			str = str + "insert into tencent(title,rate) values "  
   			str = str + "('%s','%s');\r\n" % (item['title'],item['rate'])  
  
		file_object = codecs.open('tencent.sql', 'a' ,"utf-8")  
		file_object.write(str)  
		file_object.close()  
		print ("success") ; 
test = info()
test.m