使用Spark | |错误启动流媒体服务的Twitter标签实时情绪分析_Twitter_Apache Spark_Streaming_Ibm Cloud

使用Spark | |错误启动流媒体服务的Twitter标签实时情绪分析

twitter apache-spark streaming ibm-cloud

使用Spark | |错误启动流媒体服务的Twitter标签实时情绪分析,twitter,apache-spark,streaming,ibm-cloud,Twitter,Apache Spark,Streaming,Ibm Cloud,我最近刚开始与IBMBlueMix合作，想尝试一下spark流媒体部分我已经开始学习两个教程，它们是Spark和Watson对Twitter标签情感分析的介绍 DW005分析Twitter标签中的情绪（可在_https://developer.ibm.com/dwcourses/courses/) 然而，在提供的任何情况下，我都无法启动火花流这两个教程都使用提供的iPython笔记本来显示使用Spark Streaming的示例应用程序这是我在使用第一个笔记本时遇到的异常的示例异常日

我最近刚开始与IBMBlueMix合作，想尝试一下spark流媒体部分

我已经开始学习两个教程，它们是Spark和Watson对Twitter标签情感分析的介绍

DW005分析Twitter标签中的情绪（可在_https://developer.ibm.com/dwcourses/courses/)

然而，在提供的任何情况下，我都无法启动火花流

这两个教程都使用提供的iPython笔记本来显示使用Spark Streaming的示例应用程序

这是我在使用第一个笔记本时遇到的异常的示例异常日志

Registering JaasConfiguration: /tmp/pMftPERZFap2a9SH/jaas.conf
Setting hadoop configuration for swift container
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
default location of ssl Trust store is: /usr/local/src/spark160master/ibm-java-x86_64-80/jre/lib/security/cacerts
Twitter stream started
Tweets are collected real-time and analyzed
To stop the streaming and start interacting with the data use: StreamingTwitter.stopTwitterStreaming
Receiver Started: KafkaReceiver-0
Receiver Stopped: KafkaReceiver-0
Reason: org.apache.kafka.common.config.ConfigException: Invalid value com.ibm.cds.spark.samples.StatusDeserializer for configuration value.deserializer: Class com.ibm.cds.spark.samples.StatusDeserializer could not be found.
    at org.apache.kafka.common.config.ConfigDef.parseType(ConfigDef.java:204)
    at org.apache.kafka.common.config.ConfigDef.parse(ConfigDef.java:122)
    at org.apache.kafka.common.config.AbstractConfig.<init>(AbstractConfig.java:48)
    at org.apache.kafka.clients.consumer.ConsumerConfig.<init>(ConsumerConfig.java:194)
    at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:380)
    at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:363)
    at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:350)
    at com.ibm.cds.spark.samples.dstream.KafkaReceiver.onStart(KafkaInputDStream.scala:88)
    at org.apache.spark.streaming.receiver.ReceiverSupervisor.startReceiver(ReceiverSupervisor.scala:148)
    at org.apache.spark.streaming.receiver.ReceiverSupervisor.start(ReceiverSupervisor.scala:130)
    at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$9.apply(ReceiverTracker.scala:575)
    at org.apache.spark.streaming.scheduler.ReceiverTracker$ReceiverTrackerEndpoint$$anonfun$9.apply(ReceiverTracker.scala:565)
    at org.apache.spark.SparkContext$$anonfun$38.apply(SparkContext.scala:1997)
    at org.apache.spark.SparkContext$$anonfun$38.apply(SparkContext.scala:1997)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1153)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)
    at java.lang.Thread.run(Thread.java:785)
 : Error starting receiver 0

注册JaasConfiguration:/tmp/pMftPERZFap2a9SH/jaas.conf
为swift容器设置hadoop配置
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
ssl信任存储的默认位置是：/usr/local/src/spark160master/ibm-java-x86_64-80/jre/lib/security/cacerts
推特流开始了
实时收集并分析推文
要停止流并开始与数据交互，请使用：StreamingTwitter.stopTwitterStreaming
接收器已启动：KafkareReceiver-0
接收器已停止：KafkareReceiver-0
原因：org.apache.kafka.common.config.ConfigException:配置值的无效值com.ibm.cds.spark.samples.StatusDeserializer.deserializer:找不到类com.ibm.cds.spark.samples.StatusDeserializer。
位于org.apache.kafka.common.config.ConfigDef.parseType（ConfigDef.java:204）
位于org.apache.kafka.common.config.ConfigDef.parse（ConfigDef.java:122）
位于org.apache.kafka.common.config.AbstractConfig.（AbstractConfig.java:48）
位于org.apache.kafka.clients.consumer.ConsumerConfig.（ConsumerConfig.java:194）
在org.apache.kafka.clients.consumer.KafkaConsumer.（KafkaConsumer.java:380）
在org.apache.kafka.clients.consumer.KafkaConsumer.（KafkaConsumer.java:363）
在org.apache.kafka.clients.consumer.KafkaConsumer.（KafkaConsumer.java:350）
在com.ibm.cds.spark.samples.dstream.KafkaReceiver.onStart上（kafkainputdtream.scala:88）
位于org.apache.spark.streaming.receiver.ReceiverSupervisor.startReceiver（ReceiverSupervisor.scala:148）
位于org.apache.spark.streaming.receiver.ReceiverSupervisor.start（ReceiverSupervisor.scala:130）
在org.apache.spark.streaming.scheduler.ReceiverTracker$receivertrackerdpoint$$anonfun$9.apply（ReceiverTracker.scala:575）
在org.apache.spark.streaming.scheduler.ReceiverTracker$receivertrackerdpoint$$anonfun$9.apply（ReceiverTracker.scala:565）
在org.apache.spark.SparkContext$$anonfun$38.apply上（SparkContext.scala:1997）
在org.apache.spark.SparkContext$$anonfun$38.apply上（SparkContext.scala:1997）
位于org.apache.spark.scheduler.ResultTask.runTask（ResultTask.scala:66）
位于org.apache.spark.scheduler.Task.run（Task.scala:89）
位于org.apache.spark.executor.executor$TaskRunner.run（executor.scala:213）
位于java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1153）
位于java.util.concurrent.ThreadPoolExecutor$Worker.run（ThreadPoolExecutor.java:628）
运行（Thread.java:785）
：启动接收器0时出错

您将在笔记本中看到需要输入凭据的部分（Twitter应用程序、卡夫卡服务凭据）。起初我认为这是一个与凭据相关的问题，所以我反复检查了几次是否是凭据问题。然后我尝试查看示例项目中使用的不同类和错误日志中提到的类，但似乎无法解决问题

我想问题的答案就在这三行代码中：

Reason: org.apache.kafka.common.config.ConfigException: Invalid value com.ibm.cds.spark.samples.StatusDeserializer for configuration value.deserializer: Class com.ibm.cds.spark.samples.StatusDeserializer could not be found.
    at org.apache.kafka.common.config.ConfigDef.parseType(ConfigDef.java:204)
    at org.apache.kafka.common.config.ConfigDef.parse(ConfigDef.java:122)
    at org.apache.kafka.common.config.AbstractConfig.<init>(AbstractConfig.java:48)

原因：org.apache.kafka.common.config.ConfigException:配置值的无效值com.ibm.cds.spark.samples.StatusDeserializer.deserializer:找不到类com.ibm.cds.spark.samples.StatusDeserializer。
位于org.apache.kafka.common.config.ConfigDef.parseType（ConfigDef.java:204）
位于org.apache.kafka.common.config.ConfigDef.parse（ConfigDef.java:122）
位于org.apache.kafka.common.config.AbstractConfig.（AbstractConfig.java:48）

请提供一些关于如何解决此问题的指导。我很想继续前进，尝试各种新事物，但我需要确定这是什么样的问题。

Spark服务发生了变化，导致了此问题。已提供修复程序。请尝试再次运行该应用程序。

谢谢，David

Spark服务中的一项更改导致了此问题。已提供修复程序。请尝试再次运行该应用程序。

谢谢，大卫目前我也在学习实时情绪分析教程。显然，修复程序正在工作，因为我能够启动火花流，笔记本的输出显示它收集记录

但是，仪表板不会创建任何图表，并显示0条已处理的推文。应用程序的日志中没有错误。如果您有任何建议，我将不胜感激

更新：通过更改笔记本中Watson Tone Analyzer的配置来运行仪表板应用程序，因为它不再是测试版

config.setConfig("watson.tone.url","https://gateway.watsonplatform.net/tone-analyzer/api")

目前我也在学习实时情绪分析教程。显然，修复程序正在工作，因为我能够启动火花流，笔记本的输出显示它收集记录

但是，仪表板不会创建任何图表，并显示0条已处理的推文。应用程序的日志中没有错误。如果您有任何建议，我将不胜感激

更新：通过更改笔记本中Watson Tone Analyzer的配置来运行仪表板应用程序，因为它不再是测试版

config.setConfig("watson.tone.url","https://gateway.watsonplatform.net/tone-analyzer/api")

嗨，请导入所有的类，这样你就不会碰到这个问题的类找不到。英普