Apache spark apache spark流错误
我在apche spark(流媒体)下与maven合作。还有scala编程。 事实上,我对以下说明有一个小问题:Apache spark apache spark流错误,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我在apche spark(流媒体)下与maven合作。还有scala编程。 事实上,我对以下说明有一个小问题: val sc= new StreamingContext(conf , Seconds(1)) 如果我加上指令,代码是正确的 这是我的完整代码(网络字数): 在这里,您可以尝试在master中输入“local[*]”或“local[2]”,因为spark streaming不能与单个线程一起工作,所以如果您在本地运行,请在master中使用多个线程进行尝试。请添加错误日志和code
val sc= new StreamingContext(conf , Seconds(1))
如果我加上指令,代码是正确的
这是我的完整代码(网络字数):
在这里,您可以尝试在master中输入“local[*]”或“local[2]”,因为spark streaming不能与单个线程一起工作,所以如果您在本地运行,请在master中使用多个线程进行尝试。请添加错误日志和code导入org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds,StreamingContext}导入org.apache.spark.storage.StorageLevel对象WordCountStreaming{def main(args:Array[String]):Unit={val conf=new SparkConf().setMaster(“local”).setAppName(“WordCountStreaming”).set(“spark.driver.allowMultipleContexts”,“true”);val sc=new StreamingContext(conf,Seconds(1))val lines=sc.socketTextStream(args(0),args(1).toInt,StorageLevel.MEMORY_和_DISK_SER)sc.start()sc.awaittentemination()}您知道您可以在问题中添加它(我为您做的)?谢谢karotch。我是新来这里编译的。如果我离开上述说明,我已尝试更正它。错误将消失val sc=new StreamingContext(conf,Seconds(1))请参阅使用代码!我们怎么回答?!
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.storage.StorageLevel
object WordCountStreaming {
def main(args: Array[String]): Unit = {
val conf = new SparkConf() .setMaster("local")
.setAppName("WordCountStreaming")
.set("spark.driver.allowMultipleContexts","true"); val sc= new
StreamingContext(conf , Seconds(1)) val lines =
sc.socketTextStream(args(0), args(1).toInt,
StorageLevel.MEMORY_AND_DISK_SER) sc.start() sc.awaitTermination()
}
}