如何在R中使用并行编程(尤其是foreach包)导入大型csv文件

我想使用并行编程在R中导入大型数据集 软件包,例如doparallel,foreach和parallel。

suse119 回答:如何在R中使用并行编程(尤其是foreach包)导入大型csv文件

您可以使用R将其读入bigmemory

readFile <- read.big.matrix("",type="integer",header=T,backfile =".bin",extraCols=NULL)
,

这听起来像是操作系统的限制。这里有一些可供考虑的选择。

system.time(read.csv('../data/2008.csv',header = T))


library(data.table)
system.time(fread('../data/2008.csv',header = T,sep = ',')) 


library(bigmemory)
system.time(read.big.matrix('../data/2008.csv',header = T))


library(ff)
system.time(read.csv.ffdf(file = '../data/2008.csv',header = T))


library(sqldf)
system.time(read.csv.sql('../data/2008.csv'))
本文链接:https://www.f2er.com/3113201.html

大家都在问