-
我在对Seq [Seq [Int]]
<div class =“ snippet” data-lang =“ js” data-hide =“ false” data-console =“ true” data-babel =“ false”> <div cl -
Scala-根据另一个DF中的事务过滤DF中每个ID的数据
问题概述: <ol> <li>数据集1:用户将具有与某个交易ID相关联的多行</li> <li>数据集2:每个用户都将有 -
澄清火花聚集功能
我是Scala和Spark的新手。我不知道聚合函数。我收到了以下代码,但不了解输出值。 <pre><code> val z = -
聚合函数以查找分区之间的平均值
我是Spark和Scala的新手。我有一个正在解决的问题。花园中有四个象限:南,北,东和西-每个象限在一个 -
如何将Spark Dataframe的时间戳列转换为字符串列
我想将所有TIMESTAMP列的Spark数据帧转换为String列。有人可以说如何针对每个数据框自动执行此操作吗?</p -
在加特林情景之外进行Http调用
我的用例是进行一次http调用,从响应中的Location标头获取重定向URL,然后使用该URL进行负载测试。该URL -
为什么在写入Hive表期间更改了Spark数据帧中的时间戳列?
我试图使用JDBC读取Oracle表并将数据插入到Hive表中,但是所有timestamp列的值均已更改(-6小时)。为什么 -
Scala ExecutionContext作为类或方法参数是否更惯用?
每种方法都可以通过<code>ExecutionContext</code>来传递<em> Scala </em> <pre class="lang-scala prettyprint-override"><cod -
GRPC:在Java / Scala中成为高吞吐量客户端
我有一项服务,可以以很高的速率传输邮件。 当前,它由akka-tcp服务,每分钟发送350万条消息。我 -
JDK 11上的RabbitMQ客户端SSL握手问题
我们有一个RabbitMQ客户端正在运行,一旦切换到JDK 11,就开始在SSL握手中收到以下错误: <pre><code>Caus -
正则表达式忽略逗号,赞不绝口
我需要加载一个csv文件。此文件中的标题具有逗号“,”定界符: <pre><code>"number","val" & -
斯卡拉(Scala),猫-如何使用IO(或其他monad)和两者之一创建无标签最终实现?
我创建了一个简单的<code>trait</code>及其实现: <pre><code>trait UserRepositoryAlg[F[_]] { def find(nick: String): F -
在Spark中将POJO转换为StructType时出错
在测试某些Spark功能时,尝试从具有给定架构的镶木地板文件中构建数据时,才发现此错误。 <code -
检索spark数据框数组列值,并将其作为UDF中的列名重用
我正在尝试从一列获取列名,并将其作为参数传递给udf。例如 我有一个DataFrame: <pre><code> | name | ar -
如何获得PureConfig将JSON反序列化为JValue字段?
我的配置的一部分包含任意JSON。我想将该JSON反序列化为JValue以便以后处理。 但是,<code>ConfigSourc -
匹配2个案例类别的值
假设我有2个案例类: <pre><code>case class A (r: String) // with value "rr" case class B (rr:String) // with value & -
Akka流2.6。如何创建AactorMaterializer?
从2.6开始,我在此行收到弃用警告: <pre><code>import akka.stream.ActorMaterializer implicit val actorMaterializer = Ac -
获得基于时间的uuid高达100纳秒
我正在使用这个<code>libraryDependencies += "com.datastax.oss" % "java-driver-core" % "4.3.0"</code>库来 -
根据文件包含来计算md5哈希值(无文件名)
我正在尝试根据文件内容而不是文件名来计算MD5哈希值。在下面的代码中,当对两个文件名不同但内容 -
Spark流,从套接字读取:java.lang.ClassCastException:java.lang.String无法强制转换为org.apache.spark.unsafe.types.UTF8String
我在Windows 10上尝试使用Spark Streaming(Spark 2.4.4)从TCPsocket源(到目前为止测试目的)中以<code>'\n'</ -
如何计算不使用任何变量的递归函数调用自身的次数
我有一个名为collatz的函数,我需要查找它调用自身的次数,但不允许使用任何变量。 该功能 -
如何使用Akka创建TCP服务器?
我试图在akka的帮助下创建简单的tcp服务器。 我的主要人 <pre><code>import java.net.InetSocketAddress imp -
是否可以在控制台中测试凿子Reg()?
要测试Chisel代码,我先启动一个控制台sbt,然后在我的项目的目录build.sbt中启动scala。我可以导入chisel3 -
不带汇总的Spark Dataframe数据透视
我有一堆json文档,它对应于数据库更改,类似于以下格式: <pre><code>{ "key": "abc", & -
在下一个请求中使用响应,其中响应是嵌入在JSON中的XML
我需要根据先前的响应发送HTTP POST请求。 响应包含一个JSON正文,我对content字段感兴趣。内容字段包含XM -
具有多个选项的案例类副本
在scala中,case类是不可变的。<br/> 制作带有多个选项的案例类的修改副本的最佳方法是什么? 例 -
如何处理JSON文档(来自MongoDB)并在结构化流中写入HBase?
我正在获取mongoDB文档,然后经过处理后,我想使用Bson.Document库将其存储到Hbase中 将流媒体方法从S -
使用保存的模型来转换另一个数据而无需再次拟合Spark
我正在Scala中使用Spark(核心和Mllib)版本2.2.0。 我成功地用Logistic回归保存了CrossValidator模型。下 -
为什么在Holden Karau的书《 Learning Spark》中将持久性当作动作来使用?
我正在阅读“学习火花”,并注意到这种代码: <pre><code>val result = input.map(x => x * x) result.persist(Stor -
根据另一列在数据框中创建新列
从数组中提取字段并创建新的数据框列 尝试了.withColumn及其工作正常,但我有20个这样的列,并且