在测试某些Spark功能时,尝试从具有给定架构的镶木地板文件中构建数据时,才发现此错误。
Caused by: java.lang.RuntimeException: com.sample.MyClass is not a valid external type for schema of struct<...>
Spark如何将其转换为StructType
字段?我也尝试过将所需的字段包装在元组中,但到目前为止,仍然没有运气。
val field =
StructField(Sample,StructType(
List(
StructField(InnerField,MapType(StringType,StringType))
)
))
使用属性与给定StructType
匹配的POJO类是否足够?如果没有,那在Java中相当于StructType,我该如何进行强制转换?