Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/338.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 有没有办法在ApacheFlink中持久化静态表_Java_Apache Flink - Fatal编程技术网

Java 有没有办法在ApacheFlink中持久化静态表

Java 有没有办法在ApacheFlink中持久化静态表,java,apache-flink,Java,Apache Flink,目前,我正在尝试使用ApacheFlink处理ETL。在项目中,有几个过程需要查询维度表,以便从CityName转换为CityID。项目结构如下: Project--------------------- | ---- Company ETL (CityName column map to CityId) | ---- Employee ETL (CityName column map to CityId) 目前,对于每个流,我们的方法是

目前,我正在尝试使用ApacheFlink处理ETL。在项目中,有几个过程需要查询维度表,以便从
CityName
转换为
CityID
。项目结构如下:

Project---------------------
       |
       ---- Company ETL (CityName column map to CityId)
       |
       ---- Employee ETL (CityName column map to CityId)

目前,对于每个流,我们的方法是在维度表所在的MySQL上调用jdbc查询操作。这不是一种有效的方法,我想问,是否有一种方法可以在内部将维度表内容保存在Flink中,并能够在项目范围内使用。

如果您不介意在翻译表需要更新时重新启动应用程序,这听起来是合理的。但是,如果您正在寻找替代方案,您可以在翻译表中流式显示更新,并使用
RichCoMap
RichCoFlatMap
对翻译进行处理。您可以将转换表存储为。从Flink的角度来看,转换表可能是单片
ValueState
,或者在Flink 1.3中,您可以使用
MapState
()。

您想使用Flink的批处理或流式API吗?这个转换表有多大?它多久更改一次?我正在使用流式API传输数据。翻译表为10000条记录,通常每月修改数据。目前,我只使用java最终静态映射来存储转换表中的数据@阿尔皮涅吉兹莫