Apache spark Apache方解石数据联合用例

Apache spark Apache方解石数据联合用例,apache-spark,apache-calcite,Apache Spark,Apache Calcite,只想检查apachecalcite是否可以用于用例“数据联合”(使用多个数据库进行查询) 这个想法是我有一个主查询(5个表),其中有来自一个数据库(比如说Hive)的表和来自另一个数据库(比如说MySQL)的3个表 我可以从一个JDBC客户端接口对多个数据库执行主查询吗 如果可能的话,;查询执行(特别是数据库间连接)发生在哪里 另外,我可以从方解石那里得到一个物理计划,在那里我可以在另一个执行引擎中显式执行 我从方解石文档中读到,它可以向下推Join和GroupBy,但我无法理解它?有人能帮

只想检查apachecalcite是否可以用于用例“数据联合”(使用多个数据库进行查询)

这个想法是我有一个主查询(5个表),其中有来自一个数据库(比如说Hive)的表和来自另一个数据库(比如说MySQL)的3个表

  • 我可以从一个JDBC客户端接口对多个数据库执行主查询吗
  • 如果可能的话,;查询执行(特别是数据库间连接)发生在哪里
  • 另外,我可以从方解石那里得到一个物理计划,在那里我可以在另一个执行引擎中显式执行

我从方解石文档中读到,它可以向下推
Join
GroupBy
,但我无法理解它?有人能帮我理解吗

我会尽力回答。您也可以将问题发送到邮件列表<代码>dev@calcite.apache.org您更有可能在那里得到答案

我可以从一个JDBC客户端接口对多个数据库执行主查询吗?如果可能的话,;查询执行(特别是数据库间连接)发生在哪里

是的,你可以。数据库间连接发生在方解石运行的内存中

我可以从方解石那里得到一个物理计划,在那里我可以在另一个执行引擎中显式执行

是的,你可以。很多方解石消费者都是这样做的。但是你必须围绕方解石规则系统,我的意思是
excute

我从方解石文档中读到,它可以向下推Join和GroupBy,但我无法理解它?有人能帮我理解吗


这些是引擎所做的SQL优化。想象一个groupBy,它可能发生在一个小桌子上,但实际上是在加入一个大桌子后指定的。

嗨,你能找到这个问题的答案吗?我有类似的目标,即数据联合。不,我没有找到任何答案。。我认为应用程序必须通过方解石提供的关系代数来实现所有功能。我的理解是,方解石不提供开箱即用的数据联合(查询分解),您有任何例子可以说明这一点吗?我对这个场景非常感兴趣(两个关系源的联合查询)。