scrapy post发送请求400状态码

利用Scrapy框架爬伯乐在线的时候，涉及到图片下载，因为scrapy框架中有内置的图片下载文件，所以我没有另外写，而是直接使用。在settings.py中做了如下修改...

headers = { 'Content-Type': 'application/json; charset=UTF-8', # host没有https:// 'Host': 'www.sasclouds.com' } 注意Host是没有http://等请求头的

scrapy框架 POST请求报400错误 最近使用scrapy post 经常出现400错误，经过排查，大部分原因是因为headers 里面有 content-length;去掉即可。

解决方案如图，将请求头中的Host部分和Content-Length部分去掉问题解决，继续搬砖先不深究，length应该是会自己计算的。

当用户登录网站时，服务器会在用户的浏览器上设置一个 cookie，该 cookie 在用户的浏览器上存储一个唯一的会话标识符。在后续的请求中，浏览器会自动发送这个cookie，服务器可以使用它来识别用户的会话。追踪用户行为：cookies 可用于追踪用户的浏览行为，这有助于网站分析用户行为，优化用户体验，或用于广告定位。工作方式：通常在表单中包含一个隐藏的输入字段，或者在 AJAX 请求中作为请求头发送。注意：scrapy…2.找到请求体的规律：分析post请求的请求体，其中包含的参数均在前一次的响应中。

创建爬虫 scrapy startproject renren cd renren scrapy gensipder -c crawl renren_login "renren.com" 修改settings.py代码 爬虫部分代码 # -*- coding: utf-8 -*- import scrapy ''' 登录人人网，访问大鹏页面 post、get请求 ''' class RenrenLoginSpider(scrapy.Spider): name = 'renren_

`httpx` 是一个用于发送 HTTP 请求的 Python 库，它提供了简单易用的 API，支持同步和异步请求，并且具有出色的性能和灵活性。`httpx` 是 `requests` 的一个现代替代品，它使用 `httpcore` 作为底层传输层，支持 HTTP/1.1 和 HTTP/2 协议。

先说解决方法： 去掉你请求头中的 Content-Length 在scrapy的过程中发送请求的时候，你会发现特别是post请求很多时候会报400的错误，明明同样的请求在requests中能请求成功，你尝试了scrapy.Request, scrapy.http.Request, scrapy.FormRequest都还是报这个错误，于是开始怀疑scrapy是不是有问题。 是的，scrapy是有问题的，因为它在背后默默做了一些操作，不像requests那么简洁，很多时候post请求都是因为你的请...

异常信息记录_2019-11-16 HTTP Status 400 – 错误的请求 > ==Type== Status Report > ==描述== 由于被认为是客户端对错误（例如：畸形的请求语法、无效的请求信息帧或者虚拟的请求路由），服务器无法或不会处理当前请求。 > Apache Tomcat/8.5.46 > 出现400，首先需要想到的是前端页面传来的数据类型与后...

爬虫 返回400

400 、401、403、404状态码 1.400状态码：请求无效 产生原因 前端提交的数据与后台需要的数据没有保持一致 前端提交到后台的数据应该是json字符串类型，但是前端没有将对象转化成字符串 解决方法 对照字段的名称， 保持一致性 将obj对象通过JSON.stringify实现序列化 2.401状态码：当前请求需要用户验证 产生原因 token过期或没有token 解决方法 重新登录 3.403状态码：服务器已经得到请求，但是拒绝执行 4.404状态码：页面不存在，服务器找不到请求

服务器拒绝用户请求，有可能因为用户的权限不足，没有相应的访问权限，紧接着刚才的401，401是用户没有验证身份，如果用户验证了身份，但是没有访问权限，就会爆出403。示意请求者应当继续发送请求，客户端返回此码表示请求有效，但是请求不完整，服务器只接收到了一部分，用户应当继续发送剩余部分；服务器目前从不同的网页位置响应请求，表示资源被临时分配到了新的URL，但请求者无需任何操作，可继续使用原来的位置进行请求。请求的网页已经被永久的移动到了其他位置，资源分配到了新的URL，服务器也会随之重定向至新的网页位置。

https://blog.csdn.net/weixin_38819889/article/details/109106942 https://www.cnblogs.com/ceason/p/13935292.html 方法一 import scrapy class FySpider(scrapy.Spider): name = 'fy' # allowed_domains = ['www.baidu.com'] start_urls = ['https://fanyi.baid

nginx是如何解析http。nginx常见400报错。

HTTP常见的三种状态码（400 / 404 / 500） 1.400-服务器不理解请求的语法 400 是 HTTP 的状态码，主要有两种形式： 1）bad request 意思是 “错误的请求”。 2）invalid hostname 意思是 “不存在的域名”。 原因：前端提交的字段名称或者字段类型和后台的实体类不一样，或者前端提交的参数跟后台需要的参数个数不一致，导致无法封装。 2.404-服务器无法根据客户端的请求找到资源（网页） 原因：前端调用的URL不存在 3.500-服务器内部错误，无法完成请求