如上所述,我通过pyspark加载了经过训练的word2vec模型。
word2vec_model = Word2VecModel.load("saving path")
使用完之后,我想删除它,因为它将在单个节点上占用大量内存空间(我使用了findSynonyms函数,并且文档说应该只在本地使用) 我尝试使用
del word2vec_model
gc.collect()
但是似乎没什么意思。它不是rdd文件,我不能使用.unpersist()。我在文档中没有找到类似unload()的功能。
任何人都可以帮助我或给我一些建议吗?