我正在尝试使用以下代码将pyspark数据帧写入Postgres数据库:
mode = "overwrite"
url = "jdbc:postgresql://host/database"
properties = {"user": "user","password": "password","driver": "org.postgresql.Driver"}
dfTestWrite.write.jdbc(url=url,table="test_result",mode=mode,properties=properties)
但是我遇到以下错误:
An error occurred while calling o236.jdbc.
: java.lang.ClassnotFoundException: org.postgresql.Driver
我发现了一些SO类似的问题,但没有找到任何有帮助的问题。我遵循了AWS文档here来添加配置,并且从EMR控制台看来好像已经成功了:
我在做什么错了?