scala – 与spark共享变量

前端之家收集整理的这篇文章主要介绍了scala – 与spark共享变量前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
从Spark的官方文档中:
“Spark确实为两种常见的使用模式提供了两种有限类型的共享变量:广播变量和累加器.”

(http://spark.apache.org/docs/1.2.0/programming-guide.html#shared-variables)

但是,“广播变量允许程序员在每台机器上保留一个只读变量,而不是随副本一起发送它的副本.”

我想要的是一个“广播读写变量”,(我的意思是:所有工人和司机都可以访问和修改的共享变量!)有什么办法吗?谢谢

解决方法

您不能完全这样做,因为同步成本太高,不允许每个工作者拥有变量的一致视图.您可以选择使用广播变量,可以根据spark中的操作结果进行修改,也可以在累加器中调用getLocal值,但这只显示对变量进行的本地修改.

使用大量额外资源实现此目的的一种方法是使用外部数据存储,如voldemort,cassandra或Hbase

猜你在找的Scala相关文章