设置Datafusion实例以连接安全的Dataproc集群

2024-05-17 • 问答

我们有一个安全的Dataproc集群，我们可以使用以下命令使用单个用户ID成功将SSH SSH到其中：

gcloud compute ssh cluster-name --tunnel-through-iap

但是，当我们创建一个配置文件并将其附加到Data Fusion实例并配置运行管道时，它会引发连接超时：

java.io.IOException: com.jcraft.jsch.JSchException: java.net.connectexception: Connection timed out (Connection timed out)
    at io.cdap.cdap.common.ssh.DefaultSSHSession.<init>(DefaultSSHSession.java:88) ~[na:na]
    at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionTwillPreparer.lambda$start$0(RemoteExecutionTwillPreparer.java:436) ~[na:na]

我们如何配置数据融合管道以与受保护的Dataproc集群一起运行？请让我知道。

ywksyz66 回答：设置Datafusion实例以连接安全的Dataproc集群

一些信息可提供有关此问题的更多信息：

在选项--tunnel-through-iap中，很可能您正在使用Tunneling with SSH，并且cluster-name是要连接到的Dataproc集群的实例名称。该链接还提供有关选项--internal-ip的信息，该选项仅通过实例的内部IP连接到实例。
Data Fusion解释了创建private IP addresses来限制对您的实例的访问的过程。

因此，一旦正确配置了防火墙规则，私有IP实例和选项--internal-ip可能是连接到您的实例（保持安全群集）的很好组合。

google-cloud-data-fusion google-cloud-dataproc google-cloud-iam google-cloud-platform

本文链接：https://www.f2er.com/2927258.html

设置Datafusion实例以连接安全的Dataproc集群

ywksyz66 回答：设置Datafusion实例以连接安全的Dataproc集群

大家都在问