-
使用Sparklyr返回逻辑计划
我们正在尝试获取Spark为给定查询生成的<strong>逻辑</strong>计划(不要与<em> physical </em>计划混淆)。根据 -
将日期时间dttm转换为SparklyR中的日期
我正在尝试从Hive数据库获取正确的日期。当我提取日期时,我得到的是原始日期的前一个日期。 -
使用Sparklyr的xgboost函数时,ft_one_hot_endcoder或ft_one_hot_encoder_estimator?
我的sparklyr数据帧中有很多列(大约70列),在我使用sparklyr的xgboost_classifier函数构建xgboost模型之前,其 -
EMA函数在R数据帧上有效,但在Spark数据帧上失败-Sparklyr
我对R和Spark还是陌生的。 我正在编写一个函数来计算一组数据的指数移动平均值。我正在使用sparklyr软 -
如何在R中的大型数据集(15GB)上运行监督的ML模型?
我有一个数据集(15 GB):7200万条记录和26个功能。我想比较7个监督的ML模型(分类问题):SVM,随机森 -
spark_apply适用于一个数据集,但不适用于另一个数据集(两个数据集具有相同的类型和结构)
我正在与Sparklyr合作处理数据块。 我面临的问题是,当我在一个数据集上运行时,spark_apply( -
用R sparklyr改组数据帧的行
我有一个数据集,我使用以下命令对行进行了混洗: <pre><code>data <- data[sample(nrow(data)),] </code></pre> -
R从Sparklyr中的ALS实施中提取潜在因素
使用sparklyr文档中的ALS示例: <pre><code>library(sparklyr) sc <- spark_connect(master = "local") movies <- d -
使用sparklyR将具有list <Values>的spark数据帧转换为行
我有一个火花数据框架,每行都有一个列表(值)。我想通过使用<strong> sparklyr </strong>将值列表转换为 -
在R中使用分隔符读取Spark中的文本文件
我正在尝试使用spark_read_text将一个巨大的文本文件读取到Spark中,并且将定界符和标头作为true传递,但 -
使用SparklyR连接到Spark时出错
我有一个docker容器,试图在其中使用sparklyR连接到Spark集群。这是我的代码 <pre><code>library(sparklyr) sc &l -
如何使用SparklyR连接到不同版本的Spark
我正在尝试使用SparklyR连接到Spark集群。 spark集群有2个版本的spark,spark 1.6和spark 2.2.0。如何指定我要从Sp -
我正在从事Sparklyr。试图将我的数据写入PostgreSQL,但它永远
我的配置: <pre><code>config = spark_config() config$`sparklyr.cores.local` <- 3 config$`sparklyr.shell.driver-memory` <- -
通过Sparklyr计算Spark中的自相关会产生不一致的结果
我正在尝试使用以下代码片段使用sparklyr和<code>spark_apply()</code>计算spark数据帧的一列内的自相关。 <p -
如何从sparklyr创建非托管全局表?
如何在Sparklyr中创建非托管全局表?这是我想做的等效的Spark SQL: <pre><code>CREATE TABLE people (id INT, name -
使用Sparklyr时未显示配置单元表
我正在尝试复制<a href="https://spark.rstudio.com/examples/yarn-cluster-emr/" rel="nofollow noreferrer">this tutorial from RStudio -
hadoop:yarn,hdfs,sparklyr问题?
关于纱线,hdfs,sparklyr以及它们如何相互作用,我有一些基本问题。 我对这些工作原理的了解非 -
EC2上的Sparklyr:无法访问Spark Web界面(4040)
我使用<code>sparklyr</code>(<code>sc <- sparklyr::spark_connect(master = "local", version = "2.3"</code>)设置 -
sparklyR无法看到任何配置单元数据库
我正在使用SparklyR连接到客户端中的外部Spark集群。我可以成功连接到群集,但是除了默认数据库(为空 -
无法通过dbFetch传递.name_repair参数
在从远程数据库中获取列名重复性之后,我很难通过<code>.name_repair</code>中的省略号传递<code>dbFetch(res,n,.. -
sparklyr软件包中的sdf_bind函数如何工作?
最近,我对如何使用<code>sparklyr::spark_read*</code>有效地将本地文件读入spark感到困惑。因此,我创建了一 -
使用Sparklyr的FPGrowth /关联规则
我正在尝试使用Sparklyr构建关联规则算法,并且一直遵循这个<a href="https://longhowlam.wordpress.com/2017/11/23/asso -
使用Sparklyr从Hive表准备事务以准备进行FP增长
我的交易数据位于HDFS群集上的Hive表中。我已将表导入内存并选择了适当的交易ID列和项目。 <pre><code -
在Sparklyr中使用ml_fpgrowth选择支持和置信度值
我正在尝试从这一<a href="https://www.kaggle.com/xvivancos/market-basket-analysis" rel="nofollow noreferrer">Kaggle script</a>中 -
如何在R中使用Sparklyr创建表
我正在尝试使用<code>R</code> <code>sparklyr</code>包创建一个Spark Table,但到目前为止还没有成功。我采用了以 -
列出Spark数据库中的表名称-sparklyR
是否可以列出数据库中的所有表? 类似<code>src_databases(sc)</code>的东西,但是用于特定数据库中的 -
删除Sparklyr中的重复行 1) 2)
我需要使用<code>sparklyr</code>根据另一列中的重复项删除在一列中重复的行。 <strong> iris </strong>数 -
sparklyr:如何在各组之间进行均衡采样
我想从<code>sparklyr</code>中的Spark DataFrame的每个类中抽取n行。 我知道<code>dplyr::sample_n</code>函数不能 -
在Sparklyr中使用ft_one_hot_encoder()时出错
我有一个带有分类变量的数据集,我想使用<code>sparklyr</code>中的一键编码进行编码。下面是表头以及我 -
在R Sparklyr中读取TimeStamp值时出现问题
我无法读取以下格式的时间戳数据<code>2020-01-20T19:37:58Z</code>,该数据作为字符存储在csv文件中。使用<code