我正在尝试从网站上抓取数据，并且正在使用Scrapy框架构建蜘蛛以遍历各个页面并从相关Xpath收集数据，但是意识到我想要的所有数据实际上都已交付以JSON形式的响应（有关JSON的信息，请参见下图），这些用于呈现页面。我的理解是JSON是XHR请求的一部分。我想知道是否有一种方法可以拦截或复制这些JSON / XHR请求，而不是构建必须导航完整页面的蜘蛛程序？
我不希望发布完整的解决方案，但是对正确框架或其他相关学习资源的指针感到非常满意，因此我可以进一步学习。到目前为止，我只编程了4个月。
weiqchen 回答：我如何拦截JSON / XHR请求，而不是使用Xpaths抓取数据
暂时没有好的解决方案，如果你有好的解决方案，请发邮件至：iooj@foxmail.com