我正在使用TfidfVectorizer,为此,我需要连接我的训练和测试数据,这会给我带来内存错误。
train_text = data['comment_text'].values.astype(str)
test_text = test_data['comment_text'].values.astype(str)
all_text = np.concatenate([train_text,test_text])
上面是代码段,下面是错误。
Traceback (most recent call last):
File "Model.py",line 68,in <module>
EasyEnsembleclassfier(data,test_data)
File "Model.py",line 30,in EasyEnsembleclassfier
all_text = np.concatenate([train_text,test_text])
MemoryError
关于如何解决此问题的任何建议?