中国大学mooc-Python爬虫与信息获取第一周测试题及答案

【知识点详解】 1. Python Requests 库：Requests 是 Python 中用于发送 HTTP 请求的库，它提供了简单易用的 API 来处理 HTTP 功能。在测试题中提到了几个关键方法和属性，如 get()、post()、head()，这些都是 Requests 库中用于发起不同类型的 HTTP 请求的方法。get() 用于获取资源，post() 用于提交数据，head() 用于获取响应头。 2. Response 对象：在 Requests 库中，当发起请求后，会返回一个 Response 对象，其中包含了服务器的响应信息。status_code 属性用于查看 HTTP 响应的状态码，可以判断请求是否成功；raise_for_status() 方法用于检查状态码，若非 200，则会抛出异常；headers 属性用于访问服务器返回的 HTTP 头信息。 3. HTTP 编码：Response 对象的 encoding 属性表示服务器推荐的编码方式，而 apparent_encoding 属性则是根据响应内容猜测的编码方式。 4. URLs 和 HTTP：合法的 HTTP URL 需要符合一定的格式，如 http 或 https 开头，包含主机名和路径等。题目中提到了不合法的 URL 示例，如缺少协议头、端口号不正确等。 5. Requests 库错误处理：requests.Timeout 表示请求超时，requests.HTTPError 表示 HTTP 错误，requests.URLRequired 表示缺少 URL，requests.ConnectionError 表示连接错误。 6. 自定义请求头：在 Requests 库中，通过 get() 方法的 headers 参数可以定制 HTTP 请求头，例如设置 User-Agent。 7. 超时设置：get() 方法的 timeout 参数用于设定请求的超时时间，单位是秒。 8. 网络爬虫伦理与法律：网络爬虫可能带来法律风险、隐私泄露以及性能骚扰等问题，而 Robots 协议是爬虫抓取网页时的一种行业共识，它规定了哪些页面可以抓取，哪些不能。即使网站没有 robots.txt 文件，爬虫仍需遵守相关法律法规，避免非法爬取和使用数据。 9. 爬虫功能：网络爬虫可以用于获取公开信息，但不能访问或操作私有数据，如个人电脑中的文件。它可以用于分析公开接口，如抢课系统，但不能用于自动点赞或出售个人信息。 10. HTTP 方法：在 HTTP 协议中，GET 方法是最常用的方法，因为它主要用于获取资源。其他方法如 POST、PUT、PATCH 通常用于提交或修改数据。 11. HTTP 的局部更新：PATCH 方法用于对已有资源进行部分更新。 12. 爬虫通用代码框架：在给定的代码框架中，`raise_for_status()` 方法用于检查响应状态码并抛出异常，确保请求成功。 13. 获取二进制资源：Response 对象的 `.content` 属性用于获取图片或视频等二进制资源。 14. requests.request() 函数：这是 Requests 库的一个通用函数，可以发出任意类型的 HTTP 请求，例如 GET、POST 等。 本节内容涵盖了 Python Requests 库的基本使用、HTTP 请求方法、Response 对象的属性、网络爬虫的伦理和法律问题、以及 HTTP 协议的相关知识。通过学习这些知识点，我们可以更好地理解和编写 Python 爬虫程序。