-
Azure Databricks:如何在Databricks群集中添加Spark配置
我正在使用Spark Databricks集群,并希望添加自定义的Spark配置。<br/> 关于此有一个Databricks文档,但是我不 -
如何将Git项目变成可运行的数据砖笔记本?
在Azure上的RStudio Server中开发了一个R项目,并使用Git对其进行了跟踪之后,我需要在一个数据块笔记 -
将AWS S3连接到Databricks PySpark
我正在尝试使用databricks pyspark连接并读取s3存储桶中的所有csv文件。当我使用我具有管理员访问权限的存 -
Azure Databricks高并发性+表访问控制+外部配置单元metastore + ADLS通过
不再支持具有外部配置单元元存储+ ADLS直通+表访问控制的Databricks高并发集群?♂️ 关于如何实 -
无法使用Looker API将Looker图表(视图)拉入Databricks
我的目标是访问存储在Looker文件夹中的视图或图表,并将其自动添加到Powerpoint幻灯片中。我正在关注的 -
psutil库在databricks上的安装问题
我在我的databricks群集上使用了psutil库,该库在过去几周内运行良好。今天当我启动集群时,该特定的库 -
在dataFrame列值中添加单引号
<code>DataFrame</code>持有一列<code>QUALIFY</code>,其值如下所示。 <pre><code>QUALIFY ================= ColA|ColB|ColC -
经过几次运行后,Databricks群集上计划的Spark作业间歇性故障
当前设置-Azure数据工厂管道计划每15分钟运行一次,在始终处于交互式数据块群集上运行一些Databricks笔 -
在群集范围的初始化脚本中从dbfs复制文件
我想在Azure Databricks群集上试用群集范围的初始化脚本。我正在努力查看哪些命令可用。 基本上, -
如何在Databricks集群上安装Gdal?
我正在尝试在Azure Databricks群集上安装软件包GDAL。我绝对无法使其正常工作。 我尝试过但无法使用 -
如何在内置数据砖的地图中可视化地理数据(点)?
我只是想在地图上显示“ lat”和“ lon”坐标的数据框。 <a href="https://i.stack.imgur.com/Qk93P.png" rel="n -
Pyspark中的动态window.partitionBy列
我创建了两个数据框。 <code>df_stg_raw</code>数据框正在保存重复记录。 <code>df_qualify</code>数据帧保持<code>me -
如何使用Spark结构化流配置Confluent的Schema Registry and Avro序列化程序?
我还没有找到任何文档或示例来说明如何将Schema Registry and Avro序列化程序的设置从Confluent传递到Spark结构 -
Databricks-> Snowflake:SQL编译错误:阶段:“ XYZ”不能是管道定义中的临时阶段
我尝试将Databricks的流具体化为Snowflake表: parsedStream .writeStream .outputMode(“ append”) -
将值从一个笔记本传递到另一个笔记本-Databricks
我正在从databricks连接到Azure SQL Server,为此我正在使用jdbc连接器 <pre><code>val jdbcUsername = "user1" v -
列出坐在数据湖中的文件夹中的所有文件
我试图获取一个文件夹中所有文件的清单,该文件夹包含几个子文件夹,所有这些子文件夹都位于一个 -
Databricks:如何将行的值转换为数组类型
假设我有以下数据框 col1 一种 b c 我想将值转换为arrayType变量 ['a','b','c'] 有什么主意吗? -
在SQL中解析和转换JSON字符串数组
我有一个表,该表的列包含字符串数组,例如 <code>["Emily", "Anna"]</code>,我需要将此数组解析 -
如何使用Plotly在Databricks中渲染图表?
我正在尝试使用Databricks中的Plotly库渲染图表。但是,不会渲染任何图像。例如,我使用以下语句: < -
EMA函数在R数据帧上有效,但在Spark数据帧上失败-Sparklyr
我对R和Spark还是陌生的。 我正在编写一个函数来计算一组数据的指数移动平均值。我正在使用sparklyr软 -
无法正确按日期排序
不是按天排序,而是按月排序。 我尝试过<code>str_to_date</code>,但在spark sql中没有,并且尝试在<code -
Azure即用即付的典型定价
我需要学习Azure Databricks以及其他需要不仅仅是免费试用版内容的Azure服务。我确实没有任何问题。 <p -
无法从Databrick的Connect Apache Spark中读取Azure Blob存储挂载中的文件
我在Azure上配置了数据块连接以在Azure云上运行我的Spark程序。对于空运行,我测试了一个单词计数程序 -
如何修复“错误:找不到:键入CosmosDBSourceProvider”在databricks scala中从cosmos db读取流
我正在尝试通过以下方式从数据源使用scala来从cosmos db读取流:<a href="https://docs.microsoft.com/bs-latn-ba/azure/c -
带有三个条件的pyspark df.withColumn
例如,我有两列代表<code>'TeamName'</code>和<code>'MatchResult'</code>: <pre><code>ManCity L Liverpool -
spark_apply适用于一个数据集,但不适用于另一个数据集(两个数据集具有相同的类型和结构)
我正在与Sparklyr合作处理数据块。 我面临的问题是,当我在一个数据集上运行时,spark_apply( -
用不同的列名称连接不同的数据框
如何将两个包含相同名称的df连接到具有不同列名称的行中。即: dfSummer = <pre><code>/ InSummer / -
如何将databricks中的ppt文件保存到用户文件夹中?
我有一个ppt文件,并希望将其保存到databricks dbfs系统内的用户文件夹中。这就是我所拥有的: <pre><co -
如何在数据块中更改ShellScript的权限
我在DBFS中有一个shell脚本。当我执行它时,它会显示权限错误13。 我尝试使用'<code>chmod 755 name.sh</c -
Spark-从外部表创建DataFrame
我在Databricks Delta中的一个表位于以下路径<code>/mnt/common-data/main/metrics</code>中。我还在Databricks中创建了指