使用AWS Glue将firehose json拼花地板

我正在尝试在写入s3目标之前将firehose json转换为实木复合地板。儿子中的一个字段(update_timestamp)是格式为字符串的时间戳记(例如“ 2019-10-24 00:00:00.000000”)

AWS文档指出要使用AWS Glue数据目录表来定义架构。我们有一个EMR作业,它将从S3存储桶中读取此属性update_timestamp并存储在数据库中。我们希望将update_timestamp作为时间戳存储在数据库表中。

  1. 定义了Glue数据目录表后,属性表示的数据类型是什么?从json读取属性时它代表数据类型还是代表目标数据类型(在这种情况下为时间戳)?

  2. 由于镶木地板为二进制格式,因此读取时属性的数据类型对EMR作业有影响吗?我认为EMR作业可以将属性直接作为时间戳存储在数据库中吗?

g109007 回答:使用AWS Glue将firehose json拼花地板

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3039979.html

大家都在问