Apache spark Apache Ignite Spark集成不使用架构名称
我正在使用ApacheIgniteSpark连接器(Ignite-Spark-2.7.5)使用下面的代码将我的数据帧持久化到Ignite表Apache spark Apache Ignite Spark集成不使用架构名称,apache-spark,ignite,Apache Spark,Ignite,我正在使用ApacheIgniteSpark连接器(Ignite-Spark-2.7.5)使用下面的代码将我的数据帧持久化到Ignite表 val ignite = Ignition.start(CONFIG); catalog_opportunities_agg.write .format(FORMAT_IGNITE) .option(OPTION_CONFIG_FILE, CONFIG) .option(OPTION_TABLE, "s1.club")
val ignite = Ignition.start(CONFIG);
catalog_opportunities_agg.write
.format(FORMAT_IGNITE)
.option(OPTION_CONFIG_FILE, CONFIG)
.option(OPTION_TABLE, "s1.club")
.option("user", "ignite")
.option("password", "ignite")
.option(OPTION_CREATE_TABLE_PRIMARY_KEY_FIELDS, "club_id")
.option(OPTION_CREATE_TABLE_PARAMETERS, "template=replicated")
.mode(SaveMode.Overwrite)
.save()
Ignition.stop(false);
对于公共模式,代码运行良好(没有提及模式名称),但在我向其添加模式名称(s1)后,代码就开始失败
错误堆栈:
请指出我做错了什么。我认为它不理解模式语法。而不是:
.option(OPTION_TABLE, "s1.club")
尝试:
请注意,只要表名是唯一的,就不需要指定模式:
如果未指定,将扫描所有模式以查找与给定表名匹配的表名,并使用第一个匹配表。当不同模式中有多个表具有相同的表名时,可以使用此选项来消除表的歧义
我认为它不理解模式语法。而不是:
.option(OPTION_TABLE, "s1.club")
尝试:
请注意,只要表名是唯一的,就不需要指定模式:
如果未指定,将扫描所有模式以查找与给定表名匹配的表名,并使用第一个匹配表。当不同模式中有多个表具有相同的表名时,可以使用此选项来消除表的歧义
您好,Stephen,没有“option_SCHEMA”选项。我要求在多个模式下具有相同的表名。敬请建议。在进一步调查中,似乎
OPTION\u SCHEMA
没有为Ignite 2.7做出选择(即使它在发布之前已经合并)。这就是Ignite 2.8的答案。感谢您的更新。有可能它会成为Ignite 2.7.6的一部分,或者我必须等到Ignite 2.8?您可以随时在开发人员邮件列表上询问,但我不这么认为。谢谢。我在JIRA中提出了一个bug,让我们看看。嗨,Stephen,没有“option_SCHEMA”选项。我要求在多个模式下具有相同的表名。敬请建议。在进一步调查中,似乎OPTION\u SCHEMA
没有为Ignite 2.7做出选择(即使它在发布之前已经合并)。这就是Ignite 2.8的答案。感谢您的更新。有可能它会成为Ignite 2.7.6的一部分,或者我必须等到Ignite 2.8?您可以随时在开发人员邮件列表上询问,但我不这么认为。谢谢。我在吉拉养了一只虫子,让我看看。
.option(OPTION_SCHEMA, "s1")
.option(OPTION_TABLE, "club")