Java 卡夫卡性能测试不可用_Java_Scala_Sbt_Apache Kafka_Gradlew

Java 卡夫卡性能测试不可用

java scala sbt apache-kafka

Java 卡夫卡性能测试不可用,java,scala,sbt,apache-kafka,gradlew,Java,Scala,Sbt,Apache Kafka,Gradlew,我是卡夫卡的新手，使用的是卡夫卡2.8.0-0.8.1.1的版本在构建了Kafka代理并由工作正常的制作人和消费者进行了测试之后，我决定对Kafka进行一些性能测试我通过搜索kafka性能测试找到了它，并通过执行进行了尝试 ./bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=esv4-hcl198.g

我是卡夫卡的新手，使用的是卡夫卡2.8.0-0.8.1.1的版本

在构建了Kafka代理并由工作正常的制作人和消费者进行了测试之后，我决定对Kafka进行一些性能测试

我通过搜索

kafka性能测试找到了它

，并通过执行进行了尝试

./bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=esv4-hcl198.grid.linkedin.com:9092 buffer.memory=67108864 batch.size=8196

但是得到

Error: Could not find or load main class org.apache.kafka.clients.tools.ProducerPerformance

然后我发现另一种测试卡夫卡的方法是命令

./bin/kafka-producer-perf-test.sh --broker-list 192.168.2.11:19092,192.168.2.11:19093,192.168.2.11:19094 --messages 100 --topic j1-soa --threads 1 --message-size 100 --batch-size 100 --compression-codec 1

还有一个错误是

Error: Could not find or load main class kafka.perf.ProducerPerformance

我搜索了错误。他们告诉它应该执行一些命令，比如

./sbt update
./sbt package
./sbt assembly-package-dependency

或

在执行

/bin/kafka producer perf test.sh

之前

我意识到上面的命令只适用于源代码版本，而不是二进制版本

然后我下载

kafka-0.8.1.1-src.tgz

并尝试执行上述命令

我不知道什么是

sbt

和

gradlew

我只是试着运行上面的命令

运行

sbt程序集包依赖关系时出错
[info] Set current project to kafka (in build file:/Users/foxzen/Develop/kafka/)
[error] Not a valid command: assembly-package-dependency
[error] Not a valid project ID: assembly-package-dependency
[error] Expected ':' (if selecting a configuration)
[error] Not a valid key: assembly-package-dependency (similar: sbt-dependency)
[error] assembly-package-dependency
[error]                            ^

/gradlew jar

FAILURE: Build failed with an exception.

* What went wrong:
A problem occurred configuring root project 'kafka-0.8.1.1-src'.
> Could not resolve all dependencies for configuration ':classpath'.
  > Could not resolve nl.javadude.gradle.plugins:license-gradle-plugin:0.6.1.
 Required by:
     org.apache.kafka:kafka-0.8.1.1-src:0.8.1.1
  > Could not GET 'http://repo1.maven.org/maven2/nl/javadude/gradle/plugins/license-gradle-plugin/0.6.1/license-gradle-plugin-0.6.1.pom'.
     > Connection to http://127.0.0.1:8888 refused
  > Could not GET 'http://dl.bintray.com/content/netflixoss/external-gradle-plugins/nl/javadude/gradle/plugins/license-gradle-plugin/0.6.1/license-gradle-plugin-0.6.1.pom'.
     > Connection to http://127.0.0.1:8888 refused

* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output.

BUILD FAILED

Total time: 2.924 secs

我真的不知道错误消息是什么意思，也找不到解决方案
如何使命令/bin/kafka producer perf test.sh
正常工作，以便测试kafka性能

编辑
导致/gradlew jar
失败是我的错
internet连接的代理设置为127.0.0.1:8888

我不记得我什么时候做的
删除Internet连接的代理设置后。/gradlew jar
命令工作正常
但我又犯了一个错误
start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec
[2015-02-04 10:37:22,936] WARN Property reconnect.interval is not valid (kafka.utils.VerifiableProperties)
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
2015-02-04 10:37:22:821, 2015-02-04 10:37:23:451, 1, 100, 100, 0.01, 0.0151, 100, 158.7302

原因是/bin/kafka-producer-perf-test.sh--代理列表192.168.2.11:19092192.168.2.11:19093192.168.2.11:19094--消息100--主题j1 soa--线程1--消息大小100--批量大小100--压缩编解码器1

这是否意味着性能测试成功
但我没有得到有意义的输出
我认为错误信息应该是
加载类“org.slf4j.impl.StaticLoggerBinder”失败。

如何解决？产品性能的包装名称已从
org.apache.kafka.clients.tools
至org.apache.kafka.tools

因此，您应该运行：
/bin/kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance test7 50000000 100-1 acks=1 bootstrap.servers=esv4-hcl198.grid.linkedin.com:9092 buffer.memory=67108864 batch.size=8196

已进行更改。产品性能的包装名称已从更改为
org.apache.kafka.clients.tools
至org.apache.kafka.tools

因此，您应该运行：
/bin/kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance test7 50000000 100-1 acks=1 bootstrap.servers=esv4-hcl198.grid.linkedin.com:9092 buffer.memory=67108864 batch.size=8196

在卡夫卡2.11-0.10.1.1中进行了更改。
我只在以下情况下使用了它：
/bin/kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance--throughput=1000--topic=MY_topic--num records=50000000--record size=200--producer props bootstrap.servers=YOUR_kafka_IP:9092 buffer.memory=67108864 batch.size=64000

请注意，还有一个名为kafka.tools.ProducerPerformance
的不同类。但是上面的一个看起来更好
对于卡夫卡2.11-0.10.1.1，我只在以下情况下使用了它：
/bin/kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance--throughput=1000--topic=MY_topic--num records=50000000--record size=200--producer props bootstrap.servers=YOUR_kafka_IP:9092 buffer.memory=67108864 batch.size=64000

请注意，还有一个名为kafka.tools.ProducerPerformance
的不同类。但是上面的一个看起来更好
可能与@Joe重复我不认为这是一个重复的问题。因为我尝试了sbt命令，但没有运行。这是由愚蠢的历史问题引起的。很久以前，我将internet连接的代理设置为127.0.0.1:8888。现在，gradlew jar
在我删除代理设置后找到工作，这应该关闭@Joe的可能副本，我不认为这是一个重复的问题。因为我尝试了sbt命令，但没有运行。这是由愚蠢的历史问题引起的。很久以前，我将internet连接的代理设置为127.0.0.1:8888。现在，在我删除代理设置后，gradlewjarworkfind应该关闭
start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec
[2015-02-04 10:37:22,936] WARN Property reconnect.interval is not valid (kafka.utils.VerifiableProperties)
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
2015-02-04 10:37:22:821, 2015-02-04 10:37:23:451, 1, 100, 100, 0.01, 0.0151, 100, 158.7302