Apache kafka 使用kafka端点提高事件中心的性能
我们正在使用合流的Kafka库(1.5.1)评估带有Kafka端点的azure事件中心,并观察到高RTT(平均延迟)、使用者获取周期时间,有时再平衡计数也会增加。使用统计处理程序记录这些指标 以下是消费者配置:Apache kafka 使用kafka端点提高事件中心的性能,apache-kafka,azure-eventhub,confluent-kafka-dotnet,Apache Kafka,Azure Eventhub,Confluent Kafka Dotnet,我们正在使用合流的Kafka库(1.5.1)评估带有Kafka端点的azure事件中心,并观察到高RTT(平均延迟)、使用者获取周期时间,有时再平衡计数也会增加。使用统计处理程序记录这些指标 以下是消费者配置: var consumerConfig = new ConsumerConfig { BootstrapServers = config.Broker, SaslUsername = config.SaslUsername, SaslPassword = config.SaslPasswo
var consumerConfig = new ConsumerConfig
{
BootstrapServers = config.Broker,
SaslUsername = config.SaslUsername,
SaslPassword = config.SaslPassword,
SaslMechanism = SaslMechanism.Plain,
SecurityProtocol = SecurityProtocol.SaslSsl,
AutoOffsetReset = AutoOffsetReset.Earliest,
GroupId = "sample-eventhub",
EnableAutoCommit = false,
TopicMetadataRefreshIntervalMs = 200000,
ConsumeResultFields = "timestamp,topic",
QueuedMaxMessagesKbytes = 5,
StatisticsIntervalMs = 60000,
SocketKeepaliveEnable = true,
SessionTimeoutMs = 60000
};
注意:使用者获取周期时间长的原因之一是消息提交(_streamConsumer.commit)比处理消息的应用程序花费的时间更长
相同的代码和配置适用于Kafka代理,但不适用于带有Kafka端点的事件中心。你能分享一下你对提高绩效的建议吗