从AWS / s3上的databricks笔记本中的scala读取avro文件的错误

我想读取保存在AWS / s3中的avro文件。 我从databricks笔记本访问s3。

我的scala代码:

  import org.apache.spark.sql.SparkSession

  val ss = SparkSession
             .builder()
             .appName("avro2csv")
             .enableHiveSupport()
             .getOrCreate()

 val avro_file = "s3://my_bucket/my_file.avro"
 val avro_input = ss.read
                 .format("avro")
                 .load(avro_file)

但是,当我检查数据框avro_input时:

    avro_input.isEmpty

我得到了:

   true

针对:

    avro_input.count

我得到了:

     0

我已经检查了s3中的avro文件,其大小为2 MB。

我做错了吗?

谢谢

gillettcool 回答:从AWS / s3上的databricks笔记本中的scala读取avro文件的错误

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3134197.html

大家都在问