我正在尝试从Yahoo财务中抓取新闻报道，为此，我想使用其站点地图页面https://finance.yahoo.com/sitemap/
我遇到的问题是，例如在链接https://finance.yahoo.com/sitemap/2015_04_02之后，scrapy不会处理整个页面-仅处理标题。因此，我无法访问不同文章的链接。 我必须发送一些内部请求到页面吗？
在浏览器中禁用javascript仍然可以得到整个页面，并且我使用scrapy 1.6
谢谢。
我正在尝试从Yahoo财务中抓取新闻报道，为此，我想使用其站点地图页面https://finance.yahoo.com/sitemap/
我遇到的问题是，例如在链接https://finance.yahoo.com/sitemap/2015_04_02之后，scrapy不会处理整个页面-仅处理标题。因此，我无法访问不同文章的链接。 我必须发送一些内部请求到页面吗？
在浏览器中禁用javascript仍然可以得到整个页面，并且我使用scrapy 1.6
谢谢。