Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的异常

Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误

Scrapy版本0.14.4

出现问题现象：

ERROR: Error downloading <GET http://xxxxx  CRC check failed

 

解决方法

 

1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0'

 

明确表示不支持任何形式的压缩格式，避免程序的解压缩操作

这个方法不一定有效，具体根据服务器的返回情况。如果服务器忽略此属性则此方法无效。

 

 

2.重新安装scrpay,下载当前版本的一个分支。

 

参考https://github.com/scrapy/scrapy/pull/109

分支地址：https://github.com/redapple/scrapy/tree/http11/scrapy

其实就是扩展了http1.1的DOWNLOAD_HANDLERS

 

注：此扩展需要Twisted-12.1.0的版本 Twisted-12.0.0的版本会提示找不到HTTPConnectionPool