我正在尝试通过抓取方式抓取此网站上的列表：https://www.hipflat.com/search/rent/condo_y/TH.BM_r1/any_r2/any_p/any_b/any_a/any_w/any_i/100.560155,13.737171_c/16_z/list_v
但是，我对导航不满意。在页面底部，显示“下一页”的链接。但据我所知，他们通过JavaScrip-Query调用了外部站点（算法）。
使导航通过scrapy爬行的最简单方法是什么？
shimin_2222 回答：如何抓取基于algolia-AJAX的网站？
页面中存在下一页链接。您可以使用response.css("[rel='next']" ::attr("href"))获取它。这将为您提供下一个分页链接。现在，您可以使用GET继续进行response.follow(url=,callback=)请求。