Parameters SnappyData-流式处理表参数“;“主题”;澄清
我正在阅读文档(),想知道在使用卡夫卡时,主题名称后面的参数“:01”是什么意思。这是服务器正在使用的分区号还是线程数 ie:“主题”流主题:01'Parameters SnappyData-流式处理表参数“;“主题”;澄清,parameters,streaming,snappydata,Parameters,Streaming,Snappydata,我正在阅读文档(),想知道在使用卡夫卡时,主题名称后面的参数“:01”是什么意思。这是服务器正在使用的分区号还是线程数 ie:“主题”流主题:01' val sc = new SparkContext(new SparkConf().setAppName("example").setMaster("local[*]")) val snc = SnappyContext.getOrCreate(sc) var snsc = SnappyStreamingContext(snc, Seconds(1
val sc = new SparkContext(new SparkConf().setAppName("example").setMaster("local[*]"))
val snc = SnappyContext.getOrCreate(sc)
var snsc = SnappyStreamingContext(snc, Seconds(1))
snsc.sql("create stream table streamTable (userId string, clickStreamLog string) " +
"using kafka_stream options (" +
"storagelevel 'MEMORY_AND_DISK_SER_2', " +
"rowConverter 'io.snappydata.app.streaming.KafkaStreamToRowsConverter', " +
"zkQuorum 'localhost:2181', " +
"groupId 'streamConsumer', " +
"topics 'streamTopic:01')")
很抱歉,如果在某个地方提到了这一点,但我找不到它。这应该只是主题名称。Spark streaming将计算出kafka分区的数量,并启动足够的并行任务以供接收 请看另一个例子