我的总体目标是在Jupyter实验室的Azure云服务上的R Jupyter笔记本中使用sparklyr
。我用R,sparklyr和Java 8创建了一个新的conda环境(因为这是sparklyr支持的版本),如下所示:
conda create -n r_spark r=3.6 r-essentials r-irkernel openjdk=8 r-sparklyr
source activate r_spark
R
> IRkernel::installspec(user=TRUE,name="rspark",displayname="R (Spark)")
当我在此环境中的终端会话中运行R 时,一切正常:
R
> system("java -version")
openjdk version "1.8.0_152-release"
OpenJDK Runtime Environment (build 1.8.0_152-release-1056-b12)
OpenJDK 64-Bit Server VM (build 25.152-b12,mixed mode)
> library(sparklyr)
> sc <- spark_connect(master="local")
* Using Spark: 2.3.3
Registered S3 method overwritten by 'openssl':
method from
print.bytes Rcpp
> spark_disconnect(sc)
NULL
>
但是,当我在笔记本中用相同的“ R(Spark)”内核执行相同的操作时,它将使用Java openjdk版本11:
library(sparklyr)
sc <- spark_connect(master="local")
Error in validate_java_version_line(master,version): Java version detected
but couldnt parse version from: openjdk version "11.0.4" 2019-07-16
Traceback: [...]
此外,system("java -version",intern=TRUE)
从笔记本中返回空结果。
如何告诉笔记本在其环境中使用Java版本?