Spring cloud spring云数据流中的spring webflux流问题
我有一个定制的SpringCloud数据流源应用程序，它连接到一个rest端点，缓冲数据并发送到一个定制接收器。我也在使用SpringWebFlux。如果我做一个block，一切都正常收集所有可用的数据并将其发送到消息通道。问题是我需要将数据分块发送，从而缓冲流中的数据（比如100K记录的数据块）并发送到消息通道。现在，当我尝试进行缓冲并将数据块发送到消息通道时，失败了 工作代码（阻止调用以收集所有数据并立即发送）Spring cloud spring云数据流中的spring webflux流问题,spring-cloud,spring-webflux,spring-cloud-stream,Spring Cloud,Spring Webflux,Spring Cloud Stream,我有一个定制的SpringCloud数据流源应用程序，它连接到一个rest端点，缓冲数据并发送到一个定制接收器。我也在使用SpringWebFlux。如果我做一个block，一切都正常收集所有可用的数据并将其发送到消息通道。问题是我需要将数据分块发送，从而缓冲流中的数据（比如100K记录的数据块）并发送到消息通道。现在，当我尝试进行缓冲并将数据块发送到消息通道时，失败了 工作代码（阻止调用以收集所有数据并立即发送） @InboundChannelAdapter( value=Source.OUT
@InboundChannelAdapter(
value=Source.OUTPUT
轮询器=@poller（fixedDelay=“120000”，maxMessagesPerPoll=“100000”）
public MessageSource sendEdpiMessageToChannel（）{
List=WebClient.create（）
.get（）
.uri（builder->builder.scheme（“https”）
.host（“服务器名称”）
.path（“/api/endpoint”）
.build（））
.header（“Cookie”，Cookie）
.accept（MediaType.APPLICATION_JSON）
.exchange（）
.flatMapMany（clientResponse->clientResponse.bodyToFlux（MyDataDTO.class））
.LIST（）
.block（）；
return（）->MessageBuilder.withPayload（list.build（）；
}
@计划（固定延迟=120000）
public MessageSource sendEdpiMessageToChannel（）{
List=WebClient.create（）
.get（）
.uri（builder->builder.scheme（“https”）
.host（“服务器名称”）
.path（“/api/endpoint”）
.build（））
.header（“Cookie”，Cookie）
.accept（MediaType.APPLICATION_JSON）
.exchange（）
.flatMapMany（clientResponse->clientResponse.bodyToFlux（MyDataDTO.class））//.subscribeOn（Schedulers.parallel（））
.缓冲区（100000）
.concatMap（streamRecordsList->Mono.fromRunnable（（）->sendToChannel（streamRecordsList））；
}
@内置通道适配器(
value=Source.OUTPUT
)
public MessageSource sendToChannel（列表）
{
return（）->MessageBuilder.withPayload（list.build（）；
}
@InboundChannelAdapter(
value = Source.OUTPUT
poller = @Poller(fixedDelay = "120000", maxMessagesPerPoll = "100000")
public MessageSource<List<MyDataDTO>> sendEdpiMessageToChannel() {
List<MyDataDTO> list=WebClient.create()
.get()
.uri(builder -> builder.scheme("https")
.host("server_name")
.path("/api/endpoint")
.build())
.header("Cookie",cookie)
.accept(MediaType.APPLICATION_JSON)
.exchange()
.flatMapMany(clientResponse -> clientResponse.bodyToFlux(MyDataDTO.class))
.collectList()
.block();
return ()->MessageBuilder.withPayload(list).build();
}
@Scheduled(fixedDelay = 120000)
public MessageSource<List<MyDataDTO>> sendEdpiMessageToChannel() {
List<MyDataDTO> list=WebClient.create()
.get()
.uri(builder -> builder.scheme("https")
.host("server_name")
.path("/api/endpoint")
.build())
.header("Cookie",cookie)
.accept(MediaType.APPLICATION_JSON)
.exchange()
.flatMapMany(clientResponse -> clientResponse.bodyToFlux(MyDataDTO.class))//.subscribeOn(Schedulers.parallel())
.buffer(100000)
.concatMap(streamRecordsList -> Mono.fromRunnable(()->sendToChannel(streamRecordsList));
}
@InboundChannelAdapter(
value = Source.OUTPUT
)
public MessageSource<List<MyDataDTO>> sendToChannel(List<MyDataDTO> list )
{
return ()->MessageBuilder.withPayload(list).build();
}
@Scheduled(fixedDelay = 120000)
public MessageSource<List<MyDataDTO>> sendEdpiMessageToChannel() {
List<MyDataDTO> list=WebClient.create()
.get()
.uri(builder -> builder.scheme("https")
.host("server_name")
.path("/api/endpoint")
.build())
.header("Cookie",cookie)
.accept(MediaType.APPLICATION_JSON)
.exchange()
.flatMapMany(clientResponse -> clientResponse.bodyToFlux(MyDataDTO.class))//.subscribeOn(Schedulers.parallel())
.buffer(100000)
.concatMap(streamRecordsList -> Mono.fromRunnable(()->sendToChannel(streamRecordsList));
}
public void sendToChannel(List<MyDataDTO> list )
{
this.source.output().send(MessageBuilder.withPayload(list).build());
}