Spring cloud 无法解码Spring云数据流中key:file_name的json类型

我使用Spring Cloud Data Flow设置一个读取CSV文件的流，使用自定义处理器对其进行转换并记录：

stream create --name testsourcecsv --definition "file --mode=lines --directory=D:/toto/ --file.filename-pattern=adresses-28.csv --maxMessages=1000 | csvToMap --spring.cloud.stream.bindings.output.content-type=application/json | log --spring.cloud.stream.bindings.input.content-type=application/json" --deploy

file和csvToMap应用程序工作正常，但在log应用程序中，我看到每个记录都有这样的异常：

2019-12-03 11:32:46.500 ERROR 1328 --- [container-0-C-1] o.s.c.s.b.k.KafkaMessageChannelBinder$5  : Could not decode json type: adresses-28.csv for key: file_name

com.fasterxml.jackson.core.JsonParseException: Unrecognized token 'adresses': was expecting ('true', 'false' or 'null')
 at [Source: (byte[])"adresses-28.csv"; line: 1, column: 10]
    at com.fasterxml.jackson.core.JsonParser._constructError(JsonParser.java:1804) ~[jackson-core-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.core.base.ParserMinimalBase._reportError(ParserMinimalBase.java:703) ~[jackson-core-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.core.json.UTF8StreamJsonParser._reportInvalidToken(UTF8StreamJsonParser.java:3532) ~[jackson-core-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.core.json.UTF8StreamJsonParser._handleUnexpectedValue(UTF8StreamJsonParser.java:2627) ~[jackson-core-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.core.json.UTF8StreamJsonParser._nextTokenNotInObject(UTF8StreamJsonParser.java:832) ~[jackson-core-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.core.json.UTF8StreamJsonParser.nextToken(UTF8StreamJsonParser.java:729) ~[jackson-core-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.databind.ObjectMapper._initForReading(ObjectMapper.java:4141) ~[jackson-databind-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.databind.ObjectMapper._readMapAndClose(ObjectMapper.java:4000) ~[jackson-databind-2.9.9.jar!/:2.9.9]
    at com.fasterxml.jackson.databind.ObjectMapper.readValue(ObjectMapper.java:3091) ~[jackson-databind-2.9.9.jar!/:2.9.9]
    at org.springframework.cloud.stream.binder.kafka.BinderHeaderMapper.lambda$toHeaders$1(BinderHeaderMapper.java:268) ~[spring-cloud-stream-binder-kafka-2.1.4.RELEASE.jar!/:2.1.4.RELEASE]
    at java.lang.Iterable.forEach(Iterable.java:75) ~[na:1.8.0_202]
    at org.springframework.cloud.stream.binder.kafka.BinderHeaderMapper.toHeaders(BinderHeaderMapper.java:251) ~[spring-cloud-stream-binder-kafka-2.1.4.RELEASE.jar!/:2.1.4.RELEASE]

对于文件_relativePath标头也会引发此异常。我不明白为什么spring kafka试图将它们解读为JSON

此外，日志接收器以正确的方式记录我的记录：

2019-12-03 11:32:46.516  INFO 1328 --- [container-0-C-1] log-sink                                 : {"code_postal":"28200","id_fantoir":"28211_0127","source_nom_voie":"inconnue","numero":"1","code_insee":28211,"lon":1.260462,"code_insee_ancienne_commune":"","nom_afnor":"RUE DU VIEUX MOULIN","nom_voie":"Rue du Vieux Moulin","nom_ld":"","libelle_acheminement":"LOGRON","source_position":"inconnue","nom_commune":"Logron","nom_ancienne_commune":"","x":570633.27,"y":6784246.2,"alias":"","id":"28211_0127_00001","rep":"","lat":48.145756}

出于调试目的，我在csvToMap处理器中记录kafka头，给出：

2019-12-03 11:32:37.042  INFO 10788 --- [container-0-C-1] c.d.streams.processor.CsvToMapProcessor  : headers {sequenceNumber=152963, file_name=adresses-28.csv, sequenceSize=0, deliveryAttempt=1, kafka_timestampType=CREATE_TIME, file_originalFile=NonTrustedHeaderType [headerValue="D:\\toto\\adresses-28.csv", untrustedType=java.io.File], kafka_receivedMessageKey=null, kafka_receivedTopic=testsourcecsv.file, file_relativePath=adresses-28.csv, kafka_offset=430949, scst_nativeHeadersPresent=true, kafka_consumer=org.apache.kafka.clients.consumer.KafkaConsumer@7c3e63db, correlationId=9547c02d-e617-d981-f9b5-8df231530f66, kafka_receivedPartitionId=0, contentType=text/plain, kafka_receivedTimestamp=1575299282558, kafka_groupId=testsourcecsv}

所以我完全不明白为什么日志接收器试图解码文件名和文件相对路径头

我通过以下方式建立了本地环境：

视窗7 SpringCDFServerv2.2.1.REALEASE SpringCloudSkipper v2.1.2.0版本 弹簧CDF外壳v 2.2.1.释放 卡夫卡2.12-2.3.0 我的csvToMap处理器定义如下：

    @Component
    public class CsvToMapProcessor {
        private static final Logger LOGGER = LoggerFactory.getLogger(CsvToMapProcessor.class);

        @Autowired
        @Qualifier("csvMapper")
        private ObjectReader csvMapper;

        @Autowired
        @Qualifier("jsonWriter")
        private ObjectWriter jsonWriter;

        @Transformer(inputChannel = Processor.INPUT, outputChannel = Processor.OUTPUT)
        public Map<String, Object> transform(String csvLine, @Headers Map<String, Object> headers) {
            try {
                LOGGER.info("headers {}", headers);
                Map<String, Object> map = csvMapper.readValue(csvLine);
                return map;
            } catch (JsonProcessingException e) {
                LOGGER.error("An error occurs while reading CSV line {} : {}", csvLine, e.getMessage());
                LOGGER.debug(e.getMessage(), e);
                return null;
            }
        }
    }

与此家长一起：

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.1.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

而这个春季云版本：

<spring-cloud.version>Hoxton.RELEASE</spring-cloud.version>

---

导致此问题的原因是什么？

您在-file.filename-pattern中设置的值似乎有问题。您是否可以检查是否确实在传递遵循AntPathMatcher的值文件名模式属性基于此路径匹配器

---

如果您尝试类似于-file.filename-pattern=*.csv的操作，会发生什么情况？

您在-file.filename-pattern中设置的值似乎有问题。您是否可以检查是否确实在传递遵循AntPathMatcher的值文件名模式属性基于此路径匹配器

如果您尝试像-file.filename pattern=*.csv这样的方法，会发生什么情况？

因此：

与spring cloud Hoxton版本相比，spring cloud stream版本为3.0.0。发布版本： log sink应用程序2.1.2使用spring cloud stream v 2.1.4.RELEASE： 正如DefaultKafkaHeaderMapper.setEncodeStrings方法所述：

如果出站记录的使用者正在使用Spring for Apache Kafka版本低于2.3，则设置为true

log sink应用程序实际上使用spring kafka v 2.2.8，因此我必须使用自定义的头映射器将其设置为true：

    @Bean("kafkaBinderHeaderMapper")
    public KafkaHeaderMapper kafkaBinderHeaderMapper() {
        DefaultKafkaHeaderMapper mapper = new DefaultKafkaHeaderMapper();
        mapper.setEncodeStrings(true);
        return mapper;
    }

但如果我这样做，日志接收器不会记录任何内容，因为它无法理解DefaultKafkaHeaderMapper编码的contentType头。团队还提供了解决此问题的解决方案：

Apache Kafka的自定义头映射器。这与spring Kafka中的DefaultKafkaHeaderMapper相同。这是为了解决Spring Cloud Stream 3.0.x和2.x应用程序之间的一些互操作性问题而提供的，在这些应用程序中，头中作为常规mime类型传递的mime类型未正确反序列化

因此，我必须在我的应用程序中配置自定义BinderHeaderMapper：

    @Bean("kafkaBinderHeaderMapper")
    public KafkaHeaderMapper kafkaBinderHeaderMapper() {
        BinderHeaderMapper mapper = new BinderHeaderMapper();
        mapper.setEncodeStrings(true);
        return mapper;
    }

一切正常。

所以：

与spring cloud Hoxton版本相比，spring cloud stream版本为3.0.0。发布版本： log sink应用程序2.1.2使用spring cloud stream v 2.1.4.RELEASE： 正如DefaultKafkaHeaderMapper.setEncodeStrings方法所述：

如果出站记录的使用者正在使用Spring for Apache Kafka版本低于2.3，则设置为true

log sink应用程序实际上使用spring kafka v 2.2.8，因此我必须使用自定义的头映射器将其设置为true：

    @Bean("kafkaBinderHeaderMapper")
    public KafkaHeaderMapper kafkaBinderHeaderMapper() {
        DefaultKafkaHeaderMapper mapper = new DefaultKafkaHeaderMapper();
        mapper.setEncodeStrings(true);
        return mapper;
    }

但如果我这样做，日志接收器不会记录任何内容，因为它无法理解DefaultKafkaHeaderMapper编码的contentType头。团队还提供了解决此问题的解决方案：

Apache Kafka的自定义头映射器。这与spring Kafka中的DefaultKafkaHeaderMapper相同。这是为了解决Spring Cloud Stream 3.0.x和2.x应用程序之间的一些互操作性问题而提供的，在这些应用程序中，头中作为常规mime类型传递的mime类型未正确反序列化

因此，我必须在我的应用程序中配置自定义BinderHeaderMapper：

    @Bean("kafkaBinderHeaderMapper")
    public KafkaHeaderMapper kafkaBinderHeaderMapper() {
        BinderHeaderMapper mapper = new BinderHeaderMapper();
        mapper.setEncodeStrings(true);
        return mapper;
    }

---

一切正常。

谢谢您的回复。我认为我的文件名模式没有任何问题，因为文件源实际上读取了我的csv文件。所以这个模式是有效的。我不明白模式中的错误如何会导致对某些头进行JSON解析。谢谢您的回复。我认为我的文件名模式没有任何问题，因为文件源实际上读取了我的csv文件。所以这个模式是有效的。我不明白模式中的一个错误是如何导致对某些头进行JSON解析的。