找不到错误值spark import spark.implicits._ import spark.sql

我正在上使用 hadoop 2.7.2,hbase 1.4.9,spark 2.2.0,scala 2.11.8和Java 1.8 一位主人,两位奴隶。

在启动集群后运行 spark-shel l时,它运行良好。 我正在按照以下教程尝试使用scala连接到hbase :[https://www.youtube.com/watch?v=gGwB0kCcdu0][1]

但是,当我尝试像他那样通过添加参数之类的jar来运行spark-shell时,出现此错误:

  

spark-shell --jars   “ hbase-annotations-1.4.9.jar,hbase-common-1.4.9.jar,hbase-protocol-1.4.9.jar,htrace-core-3.1.0-incubating.jar,zookeeper-3.4.6.jar ,hbase-client-1.4.9.jar,hbase-hadoop2-compat-1.4.9.jar,metrics-json-3.1.2.jar,hbase-server-1.4.9.jar”

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^

之后,即使我再次注销并再次运行spark-shell,我也遇到相同的问题。 谁能告诉我原因是什么以及如何解决。

shandian200567 回答:找不到错误值spark import spark.implicits._ import spark.sql

在您的导入语句中,Mydll.MyClass.Test()应该是spark类型的对象。该对象应该已经为您创建过。或者您需要自己创建它(请阅读spark文档)。我没有看您的教学视频。

关键是它不必称为SparkSession。例如,它可能名为spark,然后您可以执行sparkSession

本文链接:https://www.f2er.com/3158535.html

大家都在问