Azure Databricks高并发性+表访问控制+外部配置单元metastore + ADLS通过

不再支持具有外部配置单元元存储+ ADLS直通+表访问控制的Databricks高并发集群?‍♂️

关于如何实现以下功能的任何想法

由于我们已从HDInsight迁移到Databricks,因此需要外部配置单元元存储。 借助外部配置单元元存储,显然有很多优势(其中之一就是我们可以迁移到任何Hadoop群集而无需担心元数据,这就是我们从HDInsight迁移到Databricks的方式。)

需要表访问控制来授予对配置单元数据库的细粒度访问。我的用户需要在某些配置单元数据库上进行读取或读写。

用户需要ADLS传递通过才能对ADLS执行读/写操作。(蜂巢数据库指向该位置)

lewode 回答:Azure Databricks高并发性+表访问控制+外部配置单元metastore + ADLS通过

我想您正在寻找有关如何执行此操作的答案,但您不能执行此操作,至少目前没有。

基于此: https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/adls-passthrough#known-limitations 不支持传递和表ACL ” Azure数据湖存储凭据传递所授予的权限可用于绕过表ACL的细粒度权限,而表ACL的额外限制将限制您从Azure数据湖存储凭据传递中获得的某些功能。 ” 您需要删除这两个中的至少一个。 外部Hive和高并发功能之间也存在问题,但这可能是可以通过的。

本文链接:https://www.f2er.com/3163938.html

大家都在问