Google cloud dataflow 谷歌云平台数据流工作者IP地址

Google cloud dataflow 谷歌云平台数据流工作者IP地址,google-cloud-dataflow,Google Cloud Dataflow,是否有可能知道GCP上的数据流工作人员使用的外部IP范围?目标是在外部服务上设置某种类型的IP过滤,以便只有在GCP上运行的数据流作业才能访问该服务。最佳解决方案是升级,以便您可以使用SSL或其他强身份验证机制 您可以使用--network=选项来控制工作虚拟机分配到的GCE网络。请查看,以获取有关如何设置VPN的详细信息(如Elmar建议的评论)。您还可以考虑使用静态外部IP在网络中设置一台机器,并将其用作网络中其他VM的代理 这不是我们测试过的使用模式,因此可能存在通过代理/VPN的延迟或流

是否有可能知道GCP上的数据流工作人员使用的外部IP范围?目标是在外部服务上设置某种类型的IP过滤,以便只有在GCP上运行的数据流作业才能访问该服务。

最佳解决方案是升级,以便您可以使用SSL或其他强身份验证机制

您可以使用
--network=
选项来控制工作虚拟机分配到的GCE网络。请查看,以获取有关如何设置VPN的详细信息(如Elmar建议的评论)。您还可以考虑使用静态外部IP在网络中设置一台机器,并将其用作网络中其他VM的代理


这不是我们测试过的使用模式,因此可能存在通过代理/VPN的延迟或流量问题。您可能需要小心,仅通过此代理发送流量,以免意外劫持每个工作进程用于与数据流服务通信的流量。

您是否有更多有关您尝试执行的操作的详细信息?基于IP地址的筛选器不足以为服务提供安全性/身份验证。请确定。因此,我们有一个在GCP之外运行的生产卡夫卡集群。我们希望使用数据流(使用我们开发的自定义源)处理来自那里的数据。然而,我们希望减少卡夫卡集群的曝光率。我们正在运行Kafka 0.8.x,因此我们也没有SSL,协议中也没有身份验证。我认为您无法预先了解这一点,因为流可能会动态扩展,并且无法使用预定义的静态IP池。而且整个GCE IP范围太大,无法使用。我的想法是VPN?如果你真的想使用IP地址,我能想到的唯一方法就是使用一个脚本来监控数据流IP地址,并动态地重新配置防火墙。VPN是一个有趣的想法。是否可以确保所有数据流工作者都是特定VPN的成员?