我正在尝试在cassandra表上实现简单的聚合。但无法在Spark中映射cassandra日期类型。尝试映射String
,java.sql.Date
,java.util.Date
,java.time.LocalDate
,org.joda.time.LocalDate
。这些都不起作用。您能告诉我什么类型的Cassandra日期类型正确吗?
// table definition
CREATE TABLE data (
day date,value bigint,// ommited
);
// result model
@Data
class Item {
String day;
Long count;
}
// spark query
sparkSession
.read()
.format("org.apache.spark.sql.cassandra")
.option("keyspace","keyspace")
.option("table","data")
.load()
.groupBy("day")
.agg(functions.sum("value").as("sum"))
.as(Encoders.bean(Item.class))
.collectAsList();