Apache nifi 导入Sqoop列名问题

Apache nifi 导入Sqoop列名问题,apache-nifi,sqoop,comma,tablecolumn,kylo,Apache Nifi,Sqoop,Comma,Tablecolumn,Kylo,我有一个关于基洛和尼菲的问题。 使用的Kylo版本为0.10.1 所使用的Nifi版本为1.6.0 当我们为数据库摄取创建提要(使用数据库作为源)时,在附加选项步骤中没有输入源表列名的规定 然而,在Nifi端,我们使用了一个导入Sqoop处理器,它有一个名为源字段的必填字段,它要求输入列,并用逗号分隔。如果未执行此操作,我们将得到一个错误: 错误工具。导入工具:导入失败:我们发现列没有列名。如果使用自由格式查询导入,请验证您是否已在查询中输入了所有列名(考虑像使用列转换一样添加子句) 根据我们的

我有一个关于基洛和尼菲的问题。 使用的Kylo版本为0.10.1 所使用的Nifi版本为1.6.0

当我们为数据库摄取创建提要(使用数据库作为源)时,在附加选项步骤中没有输入源表列名的规定

然而,在Nifi端,我们使用了一个导入Sqoop处理器,它有一个名为源字段的必填字段,它要求输入列,并用逗号分隔。如果未执行此操作,我们将得到一个错误:

错误工具。导入工具:导入失败:我们发现列没有列名。如果使用自由格式查询导入,请验证您是否已在查询中输入了所有列名(考虑像使用列转换一样添加子句)


根据我们的需求,我们希望Import Sqoop能够自动将表中的所有列放入该属性,而无需Nifi级别的手动干预。是否有任何选项可以在后台自动包含数据库表的所有列?或者是否有其他可能在UpdateAttribute processor中给出此值?

如评论中所述,ImportSqoop不是一个普通的Nifi处理器。这不一定是问题,但这意味着在不涉及创建者的情况下,可能无法解决问题

此外,尽管我仍在争论Sqoop上的Nifi是否是一种反模式,但它肯定不是必需的。 请首先查看标准选项:

  • 从表中获取Nifi数据的标准方法是使用标准处理器,如ExecuteSQL
  • 如果这还不够,使用Sqoop(批处理工具)的标准方法是使用批处理调度器,如Oozie或Airflow

  • 此线程可能会消除对第1点的进一步怀疑:

    我没有看到任何Sqoop处理器,您能否提供指向确切处理器的链接?我们使用ImportSqoop处理器。