在Spark中将POJO转换为StructType时出错

在测试某些Spark功能时,尝试从具有给定架构的镶木地板文件中构建数据时,才发现此错误。

Caused by: java.lang.RuntimeException: com.sample.MyClass is not a valid external type for schema of struct<...>

Spark如何将其转换为StructType字段?我也尝试过将所需的字段包装在元组中,但到目前为止,仍然没有运气。

val field =
         StructField(Sample,StructType(
                    List(
                      StructField(InnerField,MapType(StringType,StringType))
                    )
                  ))

使用属性与给定StructType匹配的POJO类是否足够?如果没有,那在Java中相当于StructType,我该如何进行强制转换?

kaseno 回答:在Spark中将POJO转换为StructType时出错

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3137851.html

大家都在问