爬虫scrapy报错400 Bad Request,个人解决方法

刚入职新公司开始写爬虫项目,刚好一个爬虫代码出问题,一直报错400,解决如下:

  • 400的报错含义就是服务的不接受客户端的请求,可能是客户端的请求格式有问题,或者请求的header有问题.
  • 如果是第一种有问题,请检查请求的url格式是否有问题.
  • 如果是第二种问题,可重新测试当前网站的header,加入爬虫代码.特别要注意header里面的host与content-lengh的字段,还有user-agent.

参考:http://stackoverflow.com/questions/42248903/scrapy-post-request-not-working-400-bad-request

参考:https://segmentfault.com/q/1010000008902485