使用NEXT_PAGE_SELECTOR很难调试发生的情况。还有另一种更简单的方法可以遍历所需的所有页面。您可以使用CrawlSpider的“解析”方法。在“ parse”方法内部，您可以从页面获取数据，然后获取下一页URL，以使回调等于self.parse的收益。它将打开下一个URL，并再次对下一个URL响应运行“ parse”方法。

from scrapy.spiders import CrawlSpider


class SomeSpider(CrawlSpider):
    name = 'SAME NAME'
    allowed_domains = ['ALLOWED DOMAINS HERE']
    start_urls = ['START_URL'

    def parse(self,response):
        # First you get all data from current page.
        urls = response.css('div.title a::attr(href)').extract()

        for url in urls:
            yield response.follow(url,callback=self.parse_data_page)

        # Second you get next page URL and yield it with callback.
        next_page = response.css('span.page-link a::attr(href)').extract_first()
        yield response.follow(next_page,callback=self.parse})

    def parse_data_page(self,response):
        # Pars