我需要从EMR群集中打开一个位于S3存储桶中的常规文本文件(而不是镶木地板或CSV文件)。我可以直接使用spark.read.parquet("s3://mybucket/some_parq_file")
但是我需要使用 java.io.File或scala.io.Source 从EMR集群中读取常规文本文件。尝试时获取java.io.FileNotFoundException
import scala.io.Source
val hdr = "s3://mybucket/txtfile.txt"
for (line <- Source.fromFile(hdr).getLines) {
println(line)
}