Python爬虫包BeautifulSoup异常处理（二）

在Python爬虫开发中，BeautifulSoup是一个非常流行的库，用于解析HTML和XML文档。它使得从网页抓取数据变得更加简单。然而，由于网络环境的不稳定、页面结构的变化或者服务器错误等原因，爬虫在运行过程中可能会遇到各种异常。因此，对这些异常进行妥善处理是确保爬虫稳定运行的关键。 我们来看一下如何处理HTTP错误。在Python中，`urlopen`函数用于打开URL，但当请求的页面不存在（如404错误）或服务器内部出现问题（如500错误）时，会抛出`HTTPError`异常。例如： ```python try: html = urlopen('http://www.pmcaff.com/2221') except HTTPError as e: print(e) ``` 这段代码会尝试打开指定的URL，如果发生HTTP错误，它将捕获异常并打印错误信息。 对于页面内容本身的问题，比如目标标签在网页中缺失，我们可以使用`AttributeError`来捕获这种异常。假设我们试图访问一个不存在的标签，如下所示： ```python try: content = bsObj.nonExistingTag.anotherTag except AttributeError as e: print('没有找到你想要的标签') ``` 这段代码会在尝试访问不存在的标签时捕获`AttributeError`，然后打印出相应的错误信息。 在实际应用中，我们需要编写一个完整的爬虫函数，如下所示： ```python if sys.version_info[0] == 2: from urllib2 import urlopen, HTTPError else: from urllib.request import urlopen, HTTPError from bs4 import BeautifulSoup import sys def getTitle(url): try: html = urlopen(url) except HTTPError as e: print(e) return None try: bsObj = BeautifulSoup(html.read()) title = bsObj.body.h1 except AttributeError as e: return None return title title = getTitle("http://www.pythonscraping.com/exercises/exercise1.html") if title == None: print("Title could not be found") else: print(title) ``` 这个`getTitle`函数尝试打开URL，解析HTML，并提取页面的标题。如果在任何一步中发生异常，函数会捕获异常并返回`None`。根据函数返回值判断是否成功获取了标题。 处理Python爬虫中的异常是一项重要任务，它能帮助我们识别和解决在爬取过程中遇到的各种问题。通过使用`try-except`语句，我们可以优雅地处理这些异常，保证爬虫的健壮性，避免因单个错误导致整个程序崩溃。同时，适当的错误提示也有助于我们快速定位问题所在，提高调试效率。因此，养成良好的异常处理习惯对于编写高质量的Python爬虫至关重要。