- 有一台包含我需要的json数据集的服务器
- 我可以手动使用chrome登录 网址,并使用 chrome开发人员工具读取所述json数据的请求标头
- 我确定应发送到json终结点的最小必需标头是 ['cookie','x-xsrf-token','user-agent']
- 我不知道如何获取这些值,以便可以自动获取这些数据。我想使用请求模块获取数据
- 我尝试使用selenium,导航到显示这些标头值的网页,但无法获取所述标头值(不确定selenium是否支持此标头)
- 有没有办法让我使用请求模块来获取这些标头值...可以这么说,就是遵循请求标头“面包屑”?
- 在这方面是否有替代模块?
- 请注意,我已经使用硒成功获取了所需的数据点,但是硒资源丰富并且容易崩溃。
- 通过将请求模块与标头值一起使用,极大地简化了工作流程并使我的脚本可靠
从需要标头= {'user-agent','cookie',x-xsrf-token'}
•
问答
wuya0725000 回答:从需要标头= {'user-agent','cookie',x-xsrf-token'}
基于pguardiario的评论
当对原URL发出请求时,主机会提供会话cookie和csrf令牌。这些值是使用JSON有效负载针对端点进行后续请求所必需的。通过对原始URL使用request.session(),然后在使用request.get(url, header )时更新 header 。我能够访问json数据