如何在Databricks集群上安装Gdal？

2024-05-04 • 问答

我正在尝试在Azure Databricks群集上安装软件包GDAL。我绝对无法使其正常工作。

我尝试过但无法使用的方法：

通过相应集群的库选项卡->安装新-> pypi（在库源中的）->在Package gdal / p>
尝试了https://forums.databricks.com/questions/13738/gdal-installation.html中提到的所有方法。他们都没有工作。

详细信息：

运行时： 6.1（包括Apache Spark 2.4.4，Scala 2.11）（使用运行时3.5时，我让GDAL工作，但是由于其他原因，必须更新到更高的运行时。）
我们正在使用python 3.7。

最后，我们通过使用 ML 运行时结合forums.databricks.com/answers/21118/view.html中给出的答案，使它起作用。显然，ML运行时包含conda，这是上一个链接中给出的答案所必需的。

我已经回答了类似的问题。 请检查以下链接将帮助您安装所需的库：

为方便起见，我再次粘贴答案...只是您需要从搜索区域中选择所需的库。

您可以将GDAL库直接安装到您的Databricks群集中。

1）选择库选项，然后将打开一个新窗口。

2）选择maven选项，然后单击“搜索软件包”选项

3）搜索所需的库，然后选择库/ jar版本，然后选择“选择”选项。而已。

在安装库/ jar之后，重新启动集群。现在，将所需的类导入Databricks笔记本中。希望对您有所帮助。快乐编码。

pip install https://manthey.github.io/large_image_wheels/GDAL-3.1.0-cp38-cp38-manylinux2010_x86_64.whl

看起来您可以使用此 whl 文件并安装该软件包，但是在运行 GDAL.Translate 等任务时，它实际上不会运行。这是我走得最远的地方。

上面的 URL 是我在搜索 GDAL 需要的二进制文件时找到的。请注意，每次启动集群时都必须运行此程序。