通过 hadoop FileSystem api 访问 Azure Storage Emulator

我有一个 Scala 代码库,我在其中使用 Hadoop FileSystem API(而不是 azure blob Web 客户端)访问 azure blob 文件。我的用法是这样的:

val hadoopConfig = new Configuration()
hadoopConfig.set(s"fs.azure.sas.${blobContainerName}.${accountName}.blob.windows.core.net",sasKey)
      hadoopConfig.set("fs.defaultFS",s"wasbs://${blobContainerName}@${accountName}.blob.windows.core.net")
      hadoopConfig.set("fs.wasb.impl","org.apache.hadoop.fs.azure.NativeAzureFileSystem")
      hadoopConfig.set("fs.wasbs.impl","org.apache.hadoop.fs.azure.NativeAzureFileSystem$Secure")
     
  
    
val fs = FileSystem.get(
                new java.net.URI(s"wasbs://" +
                  s"${blobContainerName}@${accountName}.blob.windows.core.net"),hadoopConfig)

我现在正在使用 azure 存储模拟器作为存储帐户为此代码编写单元测试。我浏览了 this 页面,但它只解释了如何通过 AzureBlobClient 的 Web api 访问 azure 模拟器。我需要弄清楚如何通过使用 hadoop FileSystem api 访问 azure 存储模拟器来测试我上面的代码。我尝试了以下方法,但这不起作用:

val hadoopConfig = new Configuration()
    hadoopConfig.set(s"fs.azure.sas.{containerName}.devstoreaccount1.blob.windows.core.net","Eby8vdM02xNOcqFlqUwJPLlmEtlCDXJ1OUzFT50uSRZ6IFsuFq2UVErCz4I6tq/K1SZFPTOtr/KBHBeksoGMGw==")
    hadoopConfig.set("fs.defaultFS",s"wasbs://{containerName}@devstoreaccount1.blob.windows.core.net")
    hadoopConfig.set("fs.wasb.impl","org.apache.hadoop.fs.azure.NativeAzureFileSystem")
    hadoopConfig.set("fs.wasbs.impl","org.apache.hadoop.fs.azure.NativeAzureFileSystem$Secure")
    val fs = FileSystem.get(
      new java.net.URI(s"wasbs://{containerName}@devstoreaccount1.blob.windows.core.net"),hadoopConfig)
iCMS 回答:通过 hadoop FileSystem api 访问 Azure Storage Emulator

通过添加以下 2 个配置,我能够解决此问题并连接到存储模拟器:

hadoopConfig.set("fs.azure.test.emulator","true")
hadoopConfig.set("fs.azure.storage.emulator.account.name","devstoreaccount1.blob.windows.core.net")
本文链接:https://www.f2er.com/172708.html

大家都在问