我正在从事Sparklyr。试图将我的数据写入PostgreSQL,但它永远

我的配置:

config = spark_config()
config$`sparklyr.cores.local` <- 3
config$`sparklyr.shell.driver-memory` <- "10G"
config$`spark.yarn.executor.memory.overhead` <- "512mb"
sc = spark_connect(master = "local",config = config)

用于写入文件的代码:

spark_write_jdbc(final,name = "test",options = list(url = "jdbc:postgresql://172.XXX.X.XXX/test",user = "xxxx",password = "xxxx",memory = FALSE ))

我可能有大约4000万行。

servicesp417 回答:我正在从事Sparklyr。试图将我的数据写入PostgreSQL,但它永远

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3031249.html

大家都在问