- elasticsearch/
elasticsearch 是否有可能提取谷歌分析数据并将其发布到弹性搜索？
elasticsearch 是否有可能提取谷歌分析数据并将其发布到弹性搜索？
我一直在研究如何导入谷歌分析原始数据，而不必使用高级帐户。到目前为止，这是我想做的最接近的链接
我想使用kibana将这些数据加载到弹性搜索和显示中。什么是最好的ETL方法？有人试过用麋鹿堆栈显示GA数据吗？你应该在两次内完成
- 首先，获取信息，这是一个非常有用的站点，但您必须首先拥有一个google wembaster工具帐户并在其上创建oauth凭据
- 一旦你有了你的数据，找到一种在elasticsearch中导入它们的方法，我仍然在寻找最好的方法，也许可以将结果表转换成csv，然后使用
- 从Google Analytics中提取了7个维度和6个指标的数据，其中2个维度是主键（时间戳和ID）。这是用R
- 使用linux awk和sed命令对数据进行了一些转换
- 使用行-列格式将数据加载到Apache配置单元中，创建的格式与total 9个表类似
- 使用配置单元连接查询（带有2个主键）连接配置单元中的所有9个表
- 使用elasticsearch hadoop连接器将最终结果表加载到elasticsearch。必须进行一些数据转换以匹配Hive和Elasticsearch数据类型
- 使用Kibana在Elasticsearch中可视化数据
现在，我计划避免所有手动步骤，并以某种方式自动化上述所有步骤。我以前没有使用弹性搜索，看起来他们有API，但如何将数据上载到他们？这是一个非常广泛的问题。你能把它分成多个问题吗（例如，“我如何在没有高级帐户的情况下获取GA原始数据”，“我如何将数据导入elasticsearch”等）？@DaImTo我真的不确定。可能正在将GA原始数据导出到hadoop并使用hadoop elastic连接器，如本文所述，我认为你应该联系他们。这个问题涉及面很广。我从未听说过elastic，我只是好奇，我使用自定义SSIS任务将GA数据导入sql server数据仓库，我真的很好奇。如果您能找出如何插入数据，Google analytics API将允许您检索数据。@EikePierstorff您何时联系我？请不要让我浏览您个人资料中的公司网站：）无论他们的网站上有何声明，Java传输客户端仍然可用。我可以用它连接到我的Elasticsearch云服务。你能提供一些例子吗？
- 看看这个：
您可以使用它轮询端点（在本例中为GA），并将响应数据加载到Elasticsearch中。您可能还需要使用拆分和/或变异插件来过滤响应。我已经完成了相同的设置