求教同样的 url 参数头部 cookies， scrapy 请求返回验证码， requests 直接请求就正常，代码如下

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› httpbin - 协议调试工具

› httpstatuses - 协议状态码查询

› httpie - cURL-like tool for humans

Fiddler

这是一个创建于 355 天前的主题，其中的信息可能已经有所发展或是发生改变。

url='xxxxxxxxxxxxxxx'

yield scrapy.Request(
    url=url,
    cookies=self.cookies,
    headers=self.headers,
    meta={
    'download_timeout': 60  
    },
    callback=self.save,
)

rs = requests.get(url, headers=self.headers, cookies=self.cookies, timeout=60)

这可能是什么原因造成的呢？找了一圈也没发现原因。COOKIES_ENABLED 设置成 True 的

url

Headers

Scrapy

2 条回复 • 2024-01-09 18:09:16 +08:00

laihan4396a

355 天前

抓个包，或者设置个代理，看下请求的区别？

hahahalololo

351 天前

@laihan4396a 3q ，抓包后发现是 cookes 的问题，scrapy 框架对 cookies 自动处理了，少了许多