Apache flink 如何使用java在ApacheFlink中读取json文件格式

Apache flink 如何使用java在ApacheFlink中读取json文件格式,apache-flink,flink-streaming,Apache Flink,Flink Streaming,如何使用java在ApacheFlink中读取json文件格式。 我找不到任何合适的代码来使用java读取flink中的json文件,并在上面进行一些转换。 非常感谢您提供任何建议或代码。有关将Kafka与DataStream API结合使用的信息,请参阅。其思想是实现适当的反序列化模式,或KafkaDeserializationSchema。在我上面链接的答案中有一个例子(并指向更多) 或者,如果您想使用表API或SQL,则更容易。您可以使用一点DDL来配置它。例如: CREATE TABLE

如何使用java在ApacheFlink中读取json文件格式。 我找不到任何合适的代码来使用java读取flink中的json文件,并在上面进行一些转换。
非常感谢您提供任何建议或代码。

有关将Kafka与DataStream API结合使用的信息,请参阅。其思想是实现适当的
反序列化模式
,或
KafkaDeserializationSchema
。在我上面链接的答案中有一个例子(并指向更多)

或者,如果您想使用表API或SQL,则更容易。您可以使用一点DDL来配置它。例如:

CREATE TABLE minute\u stats(
`分钟`时间戳(3),
`货币`字符串,
`双倍收入,
`orderCnt`BIGINT,
“分钟”的水印为“分钟”-间隔为“10”秒
)与(
'连接器.类型'='卡夫卡',
'连接器.版本'='通用',
'connector.topic'='分钟统计',
'connector.properties.zookeeper.connect'='不需要',
'connector.properties.bootstrap.servers'='kafka:9092',
'连接器.启动模式'='最早偏移量',
'format.type'='json'
);
要在本地尝试从文件中读取内容,您需要以不同的方式进行操作。像这样的

DataStreamSource rawInput=env.readFile(
新文本输入格式(新路径(文件位置)),文件位置);
DataStream=rawInput.flatMap(新的MyJSONTransformer());

其中,
MyJSONTransformer
可能使用jackson
ObjectMapper
将JSON转换为某种方便的事件类型(POJO)。

有关将Kafka与DataStream API一起使用的信息,请参阅。其思想是实现适当的
反序列化模式
,或
KafkaDeserializationSchema
。在我上面链接的答案中有一个例子(并指向更多)

或者,如果您想使用表API或SQL,则更容易。您可以使用一点DDL来配置它。例如:

CREATE TABLE minute\u stats(
`分钟`时间戳(3),
`货币`字符串,
`双倍收入,
`orderCnt`BIGINT,
“分钟”的水印为“分钟”-间隔为“10”秒
)与(
'连接器.类型'='卡夫卡',
'连接器.版本'='通用',
'connector.topic'='分钟统计',
'connector.properties.zookeeper.connect'='不需要',
'connector.properties.bootstrap.servers'='kafka:9092',
'连接器.启动模式'='最早偏移量',
'format.type'='json'
);
要在本地尝试从文件中读取内容,您需要以不同的方式进行操作。像这样的

DataStreamSource rawInput=env.readFile(
新文本输入格式(新路径(文件位置)),文件位置);
DataStream=rawInput.flatMap(新的MyJSONTransformer());

其中,
MyJSONTransformer
可以使用jackson
ObjectMapper
将JSON转换为某种方便的事件类型(POJO)。

数据源是什么?例如,kafka、文件系统等。我正在创建一个示例json文件,并尝试从本地使用它。从kafka消费者处读取数据也会很有帮助,因为在实时情况下,kafka将是json格式的数据源。这是批处理还是流式处理?这是流式处理数据。数据源是什么?例如,kafka、文件系统等。我正在创建一个示例json文件,并尝试从本地使用它。从kafka消费者处读取数据也会很有帮助,因为在实时情况下,kafka将是具有json格式数据的源。这是批处理还是流式处理?这是流式处理数据。