在读取Python中的大文件时优化RAM

我有一个神经网络,它接受1024个双精度数组并返回一个值。我已经对其进行了培训,现在我想在一组测试数据上使用它。 我要对其进行测试的文件很大(8.2G),每当我尝试将其导入Google colab时,它都会使RAM崩溃。 我正在使用read_csv读取它,如下所示: testsignals = pd.read_csv("/content/drive/My Drive/MyFile.txt",delimiter="\n",header=None)。 我想知道的是,是否有一种更有效的文件读取方式,或者我是否只需要处理较小的数据集。

编辑:根据Prune的评论,我查看了发表评论的人的建议,然后尝试了此操作:

import csv
testsignals=[]
with open('/content/drive/MyDrive/MyFile') as csvfile:
  reader=csv.reader(csvfile)
  for line in reader:
    testsignals.append(line)

但是它仍然超过RAM。

如果有人可以给我一些帮助,我将非常感激!

iCMS 回答:在读取Python中的大文件时优化RAM

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/1790579.html

大家都在问