Python爬虫---爬取豆瓣电影

好的，您可以使用Python中的requests和BeautifulSoup库来爬取豆瓣电影的数据。 首先，需要使用requests库发送HTTP请求，并将其响应的HTML页面保存为一个变量： ```python import requests url = 'https://movie.douban.com/tag/#/?sort=S&range=9,10&tags=' + '电影类型' response = requests.get(url) html = response.text ``` 其中，'电影类型'需要替换成你要爬取的电影类型，比如'喜剧'、'动作'等。 接下来，使用BeautifulSoup库来解析HTML页面，找到所有电影的信息： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') movies = soup.find_all('a', {'class': 'title'}) for movie in movies: print(movie.text) ``` 这里使用了find_all方法来找到所有class为'title'的a标签，即电影信息所在的标签。然后，使用movie.text来获取电影的名称。 最后，你可以将代码封装成一个函数，根据不同的电影类型进行爬取： ```python import requests from bs4 import BeautifulSoup def scrape_movies_by_type(movie_type): url = 'https://movie.douban.com/tag/#/?sort=S&range=9,10&tags=' + movie_type response = requests.get(url) html = response.text soup = BeautifulSoup(html, 'html.parser') movies = soup.find_all('a', {'class': 'title'}) for movie in movies: print(movie.text) scrape_movies_by_type('喜剧') ``` 这样，你就可以根据不同的电影类型来爬取豆瓣电影的数据了。