我想读取保存在AWS / s3中的avro文件。 我从databricks笔记本访问s3。
我的scala代码:
import org.apache.spark.sql.SparkSession
val ss = SparkSession
.builder()
.appName("avro2csv")
.enableHiveSupport()
.getOrCreate()
val avro_file = "s3://my_bucket/my_file.avro"
val avro_input = ss.read
.format("avro")
.load(avro_file)
但是,当我检查数据框avro_input时:
avro_input.isEmpty
我得到了:
true
针对:
avro_input.count
我得到了:
0
我已经检查了s3中的avro文件,其大小为2 MB。
我做错了吗?
谢谢