elasticsearch Kibana发现选项卡中未显示的数据

我正在使用

kibana7.5.2

和

elasticsearch 7

我的第一种方法：我分别使用fluentd和metricbeat将日志数据和系统数据发送到我的Kibana服务器。一切正常。我可以在发现页面上看到数据。但我有大量的数据。所以我在服务器之间添加了卡夫卡

我的第二种方法：现在我向卡夫卡发送日志数据和系统数据。然后从卡夫卡，我将它发送到Kibana服务器。对于通过metricbeat的系统数据，我在Kibana中得到@timestamp字段，对于通过fluent得到的日志数据，我没有得到@timestamp字段

如果我一个接一个地运行Kafka服务器，那么一切都正常。但如果我把他们两个一起跑。“发现”选项卡中未显示系统数据

系统数据的Kibana索引：

metricbeat-*

日志数据的Kibana索引：

prelive data*

fluentd conf

<match laravel.**>
  @type kafka2

  # list of seed brokers
  brokers <my-Broker-ip>:9092
  <buffer topic>
    @type file
    path /var/log/td-agent/buffer/td
    flush_interval 3s
  </buffer>

  # topic settings

  # data type settings
  <format>
    @type json
  </format>
# topic settings
  topic_key prelive-data-log
  default_topic prelive-data-log

  # producer settings
  compression_codec gzip
        # max_send_retries 1
  required_acks -1
</match>

系统数据Kafka服务器（metricbeat）的filesource.properties

kafka server for system data（fluentd）的filesource.properties

名称=
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
任务。最大值为2
主题=初始数据日志
key.ignore=true
schema.ignore=true
connection.url=http://:9200
connection.username=username
connection.password=密码
type.name=kafka connect

我正在运行Kafka服务器

/usr/bin/connect standalone worker.properties filesource.properties

---

我被困在这里一个星期了。任何帮助都将不胜感激。

1）您的“文件源”实际上是一个接收器配置。2） 如果您使用FluentD和Metricbeat，为什么需要Kafka Connect？3） 请使用

connectdistributed

-建议真正使用它以防止任何数据丢失，实际上它是为单个服务器设置的，我正计划构建中心日志。所以会有超过10台服务器，10台卡夫卡服务器。一旦我的问题得到解决，我将切换到分布式连接。Fluentd和Beats不会丢弃数据。如果elasticsearch一次接收到大量数据，我的elasticsearch可能会崩溃。（来自10多台服务器）卡夫卡不会阻止这一点，阿飞。听起来像是Elasticsearch的内存/碎片问题。。。我已经有数百个服务同时向ES写信

#----------------------------- KAFKA --------------------------------
output.kafka:
#  # initial brokers for reading cluster metadata
  hosts: ["<my-broker-ip>:9092"]
  topic: 'metricbeat-7.6.0-2020.03.25-000001'

offset.storage.file.filename=/tmp/connectm.offsets
bootstrap.servers=:9092
offset.flush.interval.ms=10000
rest.port=10084
rest.host.name=localhost
rest.advertised.port=10085
rest.advertised.host.name=localhost
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
plugin.path=/usr/share/java

name=config-name
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=1
topics=metricbeat-7.6.0-2020.03.25-000001
key.ignore=true
schema.ignore=true
connection.url=http://<ES-IP>:9200
connection.username=username
connection.password=password
type.name=kafka-connect
~                         

offset.storage.file.filename=/tmp/connectf.offsets
bootstrap.servers=:9092
offset.flush.interval.ms=10000
rest.port=10082
rest.host.name=localhost
rest.advertised.port=10083
rest.advertised.host.name=localhost
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
plugin.path=/usr/share/java

name=<config-name>
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=2
topics=prelive-data-log
key.ignore=true
schema.ignore=true
connection.url=http://<my-ES-ip>:9200
connection.username=username
connection.password=password
type.name=kafka-connect