Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/design-patterns/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 有没有办法在Flink中以编程方式定义S3连接细节？_Hadoop_Amazon S3_Apache Flink_Flink Streaming - Fatal编程技术网
Fatal编程技术网
  • hadoop/
  • Hadoop 有没有办法在Flink中以编程方式定义S3连接细节？

Hadoop 有没有办法在Flink中以编程方式定义S3连接细节？

hadoop amazon-s3 apache-flink

Hadoop 有没有办法在Flink中以编程方式定义S3连接细节？,hadoop,amazon-s3,apache-flink,flink-streaming,Hadoop,Amazon S3,Apache Flink,Flink Streaming,根据Flink文档，从S3读取数据时，配置是在集群级别设置的。这是通过在flink-conf.yaml文件（需要重新启动集群）上设置身份验证，或者通过将flink指向有效的hadoop文件（也需要jvm/yaml参数）来实现的。是否有一种方法可以通过编程方式设置此项，以便不同的作业可以具有不同的身份验证凭据

根据Flink文档，从S3读取数据时，配置是在集群级别设置的。这是通过在flink-conf.yaml文件（需要重新启动集群）上设置身份验证，或者通过将flink指向有效的hadoop文件（也需要jvm/yaml参数）来实现的。是否有一种方法可以通过编程方式设置此项，以便不同的作业可以具有不同的身份验证凭据