spring集成读取许多文件
我们需要解析大量传入文件(到一个目录中),并对其进行处理,然后将结果放入每个文件的AWS kinesis中 文件的频率为每天60000次,文件每15秒到达一次。每个文件可能包含大约1000个条目spring集成读取许多文件,spring,spring-boot,spring-integration,Spring,Spring Boot,Spring Integration,我们需要解析大量传入文件(到一个目录中),并对其进行处理,然后将结果放入每个文件的AWS kinesis中 文件的频率为每天60000次,文件每15秒到达一次。每个文件可能包含大约1000个条目 spring集成能处理这个负载吗 处理此类卷时会出现任何问题吗 当文件进入入站通道适配器时,我们可以为每个文件执行服务激活器吗 我相信我们需要在poller频道上使用任务执行器?有什么例子吗 任务执行者是否会以多线程方式调用服务激活器 任何指示都会有帮助。链接到任何代码示例都很好。这不是我们在这里提出的
任何指示都会有帮助。链接到任何代码示例都很好。这不是我们在这里提出的那种问题——太广泛,单个线程中的问题太多。我想即使我回答了所有的问题,你也会问得更多,因此不适合问答聊天。无论如何: 是的,Spring集成可以处理这个问题。您可以使用simple
FileReadingMessageSource
定期轮询目录
每个文件(出站消息有效负载
)都可以馈送到文件分配器
,逐行解析
在拆分器之后,您确实可以使用执行器通道
并行处理这些行
只要是线程安全的,就可以在多线程环境中调用Service Activator
最后,您可以使用KinesisMessageHandler
将记录发送到AWS Kinesis。是的,这个也可以从不同的线程中使用
您可以在Spring集成中找到的所有信息。有些可能也会帮助你。而且Spring集成也为您服务