-
如何从顶点输入文件创建VertexRDD?
我有一个这样的顶点输入文件: <pre><code>(1L,(0.5,0.5)) (2L,(0.25,0.0625)) (3L,(0.125,0.125)) (4L,(0.0625,0.0625)) (5L, -
如何使用pyspark graphframe pregel API实现周期检测
我正在尝试使用Pyspark和图框的预凝胶包装器来实现Rocha&Thatte(<a href="http://cdsid.org.br/sbpo2015/wp-content/uplo -
在graphX中,如何使用利用其拓扑的自定义PartitionStrategy对图进行分区?
我想利用图拓扑信息添加一个新的PartitionStrategy。不过,我发现PartitionStrategy仅具有以下功能。我找不到 -
如何在SQL / Spark / GraphFrames中进行此转换
我有一个包含以下两列的表: <pre><code>Device-Id Account-Id d1 a1 d2 a1 d1 a2 d2 -
Spark的GraphX:为什么即使持久涉及RDD,我为什么也会得到“加入/区分具有不同索引的两个VertexPartition的速度很慢”
我正在使用GraphX运行以下代码段: <pre class="lang-scala prettyprint-override"><code>val g = Graph( v.persist(Stor -
GraphX的基于内存的随机播放和Spark Core的随机播放有什么区别
从论文<em>“ GraphX:分布式数据流框架中的图形处理” </em>(Gonzalez等,2014)中,我了解到GraphX修改了Spa -
如何在Scala中将图作为参数传递给方法
我是Scala的新手,我想创建一个用于管理图形任务的类。 所以我想将Graph对象传递给我的类作为参数。 -
Graphframe:火花graphframe中两个顶点列表之间的BFS
我的目的是确定两个顶点之间的最大路径长度是否为<= 4。 我有一个图形数据框和以下格式的测试 -
如何使用csv文件中的spark GraphX构建加权二分图
假设我的数据像(顶点,顶点,权重) <pre><code> ram h1 10 anil h2 16 ravi h3 22 syam h1 25 </code></pre> 我 -
使用图框+结构化流即使在数据量很小的情况下也可以实现OOM
我有一个简单的PySpark结构化流应用程序,可以将传入消息转换为图形(使用GraphFrames)。下面是该代码 -
GraphX(Apache Spark)中的超图功能?
GraphX框架是否支持创建和可视化超图?如果是这样,有人可以为我提供一个有关如何开始创建和可视化 -
如何知道graphx分区中的顶点分区
假设我有一个图表, <pre><code>val initGraph = GraphLoader.edgeListFile(sc,edgeListFile).cache() </code></pre> 我想从 -
graphx:在图形中创建特定边
我在graphx中处理这个小项目。 我在图形中具有2个属性<code>( id, attr1, attr2)</code>的顶点。 我想找到<code>att -
为什么我无法在Spark GraphX中正确运行Pregel程序?
我已经查看了来自互联网的标签传播算法源代码,并且在自定义算法的一部分中使用了它。我使用的代 -
在Spark应用程序中使用log4j时如何忽略导入的库日志
我正在用spark graphx做一个项目。 我想登录我的跟踪代码,... 我使用以下代码创建记录器对象。 <pre>< -
为什么我在Spark中出现类型不匹配?
我已经从互联网上下载了标签传播算法的源代码。来源如下: <pre><code>def run[VD, ED: ClassTag](graph: Graph[VD, -
如何通过两步连接计算GraphX中的度数
我有一个有向图,比如fromNode-> toNode。我想计算“ toNode”上的总传入连接,包括1跳或2跳连接。 例 -
pyspark graphx connectedComponents()永远消失然后被杀死
这是我一生中第一次使用graphX,我不确定这是怎么回事... 我已经使用成功创建了一个GraphFrame <pre><cod -
Scala中的一跳和两跳引用
我有一个“从节点”和“到节点”的列表,如下所示: <pre><code>1234 4567 1234 6789 1234 34 -
如何将重复的边视为Graphx中的唯一边?
我在边缘列表上使用Graphx。问题是边缘重复两次。我的意思是如果(1,2)存在,那么就有(2,1)。但这 -
GraphFrames最短路径给出距离而不是实际路径
我是Graphframe的新手,正在尝试实现边缘之间的关系。 我尝试使用内置的最短路径功能。它返回从 -
更改输入参数与在Spark graphx的Vprog中创建新对象有什么区别
有我的程序: <pre><code>static class Vprog extends AbstractFunction3< Object, OddRange, OddRange, OddRange> implements S -
火花图上的Gremlin遍历查询
我已经使用Apache Spark Graphx框架从s3构建了一个属性图(6000万个节点,4000万个边)。 我想在该图上触发 -
将图形存储到磁盘,由Spark GraphFrames创建
我大约有1Tb的数据,我已将此数据存储在顶点和边文件中,然后将这些数据加载到Spark GraphFrame中以创建 -
Spark GraphFrames High Shuffle读/写
嗨,我已经使用顶点和边文件创建了Graph。图的大小是600GB。我正在使用Spark GraphFrames的主题功能查询此 -
如何在Spark中找到动作的工作ID?
我想立即取消工作,因为有时会花费更多时间并且没有完成。当我们调用动作时会创建一个作业。 例如 -
如何从RDD / DF创建图形? Scala Spark
我的RDD实际上包含一些生物学数据,这些生物学数据是<strong>蛋白质名称</strong>,以及它们之间的<strong> -
在graphX中叠加图形
我正在尝试为具有与引用相关的出版物的某些数据实现graphx。 几个出版物可以成为一本期刊的一部 -
在Spark独立调度程序上一次仅运行一个驱动程序
我正在运行一个由一个主节点和9个工作线程组成的Spark集群(每个节点由16核x 32Gb内存组成)。 对 -
如何在Spark GraphX中使用Pregel执行迭代操作?
我正在使用GraphX处理图形。我想以每个节点将其属性发送给其邻居,并且每个邻居接收消息的方式来实