Scrapy输出CSV文件,第一列为ID

我是Scrapy库的初学者。我正在尝试使用以下方式从Scrapy输出简单的CSV文件:

scrapy crawl scraper -o file.csv

第一列基本上是行的索引数,方法与我们使用Pandas库的方式相同:

pandas.to_csv(path_or_buf=name,index_label='ID')

感谢您的帮助。

hyk123456789 回答:Scrapy输出CSV文件,第一列为ID

无法使用Scrapy Exporters执行此操作。您必须使用pandas或csv软件包。

,

您可以创建一个类变量,并为每个ID递增它:

class MySpider(scrapy.Spider):
    ......
    index = 1

    def parse(self,response):
        ....
        item["ID"] = self.index
        self.index += 1
,
  1. 创建自己的CsvItemExporter子类,该子类可以满足您的需求
  2. 定义FEED_EXPORTERS设置,以便您的子类用于CSV文件。例如:
    FEED_EXPORTERS = {'csv': 'my_project.exporters.MyCsvItemExporter'}
本文链接:https://www.f2er.com/3109849.html

大家都在问