Apache kafka 如何进行实时数据分析?

Apache kafka 如何进行实时数据分析?,apache-kafka,data-analysis,data-presentation,Apache Kafka,Data Analysis,Data Presentation,我和R一起做了数据分析来建立预测模型。现在我需要为实时数据分析构建解决方案。也就是说,从数据中查找模式,并在出现某种情况时显示警报 Like if I am receiving RSSI from the sensors. First find patterns if it has any relation with battery level and show alert if the live data shows that pattern from live RSSI data. 我做了

我和R一起做了数据分析来建立预测模型。现在我需要为实时数据分析构建解决方案。也就是说,从数据中查找模式,并在出现某种情况时显示警报

Like if I am receiving RSSI from the sensors. First find patterns if it has any relation with battery level and show alert if the live data shows that pattern from live RSSI data.
我做了一点搜索,在Quora上的一个回复中,提到了一个链接工具Kafka,用于做这些事情。我没有任何与卡夫卡合作的经验


如何做到这一点

你可以从探索开始吗?不知道你的模式这是一个针对卡夫卡理论主题的天真查询,带有实时RSSI数据:

CREATE STREAM rssi_data 
    (device_id VARCHAR,
     battery_level INT,
     SIGNAL FLOAT)
 WITH (TOPIC='rssi_data', VALUE_FORMAT='json', KEY='device_id');
然后查询:

CREATE STREAM low_battery_devices AS SELECT * FROM rssi_data WHERE battery_level < 20;
创建流式低电量电池设备,如从rssi数据中选择*,电池电量<20;

这将创建一个名为
low\u bettery\u devices
的新卡夫卡主题,其中将包含电池电量较低的设备的事件。当然,您可以使用另一个KSQL查询、R程序或其他与Kafka兼容的下游系统来使用该主题。

您可以从探索?不知道你的模式这是一个针对卡夫卡理论主题的天真查询,带有实时RSSI数据:

CREATE STREAM rssi_data 
    (device_id VARCHAR,
     battery_level INT,
     SIGNAL FLOAT)
 WITH (TOPIC='rssi_data', VALUE_FORMAT='json', KEY='device_id');
然后查询:

CREATE STREAM low_battery_devices AS SELECT * FROM rssi_data WHERE battery_level < 20;
创建流式低电量电池设备,如从rssi数据中选择*,电池电量<20;
这将创建一个名为
low\u bettery\u devices
的新卡夫卡主题,其中将包含电池电量较低的设备的事件。当然,您可以使用另一个KSQL查询、R程序或其他与Kafka兼容的下游系统来使用该主题