Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/flash/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Parameters SnappyData-流式处理表参数“;“主题”;澄清_Parameters_Streaming_Snappydata - Fatal编程技术网

Parameters SnappyData-流式处理表参数“;“主题”;澄清

Parameters SnappyData-流式处理表参数“;“主题”;澄清,parameters,streaming,snappydata,Parameters,Streaming,Snappydata,我正在阅读文档(),想知道在使用卡夫卡时,主题名称后面的参数“:01”是什么意思。这是服务器正在使用的分区号还是线程数 ie:“主题”流主题:01' val sc = new SparkContext(new SparkConf().setAppName("example").setMaster("local[*]")) val snc = SnappyContext.getOrCreate(sc) var snsc = SnappyStreamingContext(snc, Seconds(1

我正在阅读文档(),想知道在使用卡夫卡时,主题名称后面的参数“:01”是什么意思。这是服务器正在使用的分区号还是线程数

ie:“主题”流主题:01'

val sc = new SparkContext(new SparkConf().setAppName("example").setMaster("local[*]"))
val snc = SnappyContext.getOrCreate(sc)
var snsc = SnappyStreamingContext(snc, Seconds(1))

snsc.sql("create stream table streamTable (userId string, clickStreamLog string) " +
    "using kafka_stream options (" +
    "storagelevel 'MEMORY_AND_DISK_SER_2', " +
    "rowConverter 'io.snappydata.app.streaming.KafkaStreamToRowsConverter', " +
    "zkQuorum 'localhost:2181', " +
    "groupId 'streamConsumer', " +
    "topics 'streamTopic:01')")

很抱歉,如果在某个地方提到了这一点,但我找不到它。

这应该只是主题名称。Spark streaming将计算出kafka分区的数量,并启动足够的并行任务以供接收

请看另一个例子