我有一个csv
文件,看起来像
a,b,c,d
1,2,3,4
5,6,7,8
,我想将其作为Kedro CSVLocalDataSet
加载,但是我不想读取整个文件。我只需要几列(例如a
和b
)。
我可以指定要读取/加载的列列表吗?
我有一个csv
文件,看起来像
a,b,c,d
1,2,3,4
5,6,7,8
,我想将其作为Kedro CSVLocalDataSet
加载,但是我不想读取整个文件。我只需要几列(例如a
和b
)。
我可以指定要读取/加载的列列表吗?
CSVLocalDataSet使用pandas.read_csv,该参数带有“ usecols”参数。可以使用load_args
数据集参数轻松代理(所有数据集都支持通过load_args
和save_args
传递的其他参数):
my_cool_data:
type: CSVLocalDataSet
filepath: data/path.csv
load_args:
usecols: ['a','b']
还请注意,相同的参数适用于任何基于熊猫的数据集。