我是Scrapy库的初学者。我正在尝试使用以下方式从Scrapy输出简单的CSV文件:
scrapy crawl scraper -o file.csv
第一列基本上是行的索引数,方法与我们使用Pandas库的方式相同:
pandas.to_csv(path_or_buf=name,index_label='ID')
感谢您的帮助。
我是Scrapy库的初学者。我正在尝试使用以下方式从Scrapy输出简单的CSV文件:
scrapy crawl scraper -o file.csv
第一列基本上是行的索引数,方法与我们使用Pandas库的方式相同:
pandas.to_csv(path_or_buf=name,index_label='ID')
感谢您的帮助。
无法使用Scrapy Exporters执行此操作。您必须使用pandas或csv软件包。
,您可以创建一个类变量,并为每个ID递增它:
class MySpider(scrapy.Spider):
......
index = 1
def parse(self,response):
....
item["ID"] = self.index
self.index += 1
,
CsvItemExporter
子类,该子类可以满足您的需求FEED_EXPORTERS
设置,以便您的子类用于CSV文件。例如: FEED_EXPORTERS = {'csv': 'my_project.exporters.MyCsvItemExporter'}