是否有Spark Arrow Streaming =箭头流+ Spark结构化流?

当前,我们有火花结构化流式传输

在箭头文档中,我发现了箭头流,我们可以在Python中创建一个流,生成数据,并使用StreamReader在Java / Scala中使用该流

我想知道这两者是否集成在一起,在这里我们可以做一些事情,比如用Python生成箭头流,并使用Spark结构化的流(以分布式方式)获取流?


想象一个场景,一个人想要构建一个易于使用的Python api,但是计算引擎在Java / Scala上,而使用Kafka / Redis并不能解决所有语言的数据类型。但是,使用arrow时,目前没有群集支持来访问数据

s363021867 回答:是否有Spark Arrow Streaming =箭头流+ Spark结构化流?

我从未听说过这样的项目。您所描述的几乎是PySpark结构化流,其中一侧有一个正在运行的python应用程序,与JVM上运行的Spark基础结构进行通讯。

本文链接:https://www.f2er.com/3046708.html

大家都在问