Hive 什么';使用Nifi将teradata表数据加载到配置单元表中的最佳方法是什么?

Hive 什么';使用Nifi将teradata表数据加载到配置单元表中的最佳方法是什么?,hive,teradata,apache-nifi,Hive,Teradata,Apache Nifi,我是Nifi的新手,所以您能帮助我了解这个平台及其功能吗。 我是否能够使用Nifi进程在Hive中创建一个新表,并按照下面定义的方式每周将数据从teradata数据库移动到该表中? 我该怎么做呢?不确定我是否在建立一个合理的流程 以下过程是否足够:QueryDatabaseTable(并为teradata配置池服务并定义新的表名和计划摄取)-->PutHiveStreaming(创建前面定义的表) 那么如何将teradata模式拉入新表中呢?如果您想在摄取过程中创建新的配置单元表,那么 方法1:

我是Nifi的新手,所以您能帮助我了解这个平台及其功能吗。 我是否能够使用Nifi进程在Hive中创建一个新表,并按照下面定义的方式每周将数据从teradata数据库移动到该表中? 我该怎么做呢?不确定我是否在建立一个合理的流程

以下过程是否足够:QueryDatabaseTable(并为teradata配置池服务并定义新的表名和计划摄取)-->PutHiveStreaming(创建前面定义的表)
那么如何将teradata模式拉入新表中呢?

如果您想在摄取过程中创建新的配置单元表,那么

方法1:

使用ConvertAvroToOrc处理器将hive.ddl(外部表)属性添加到流文件中,因为我们可以使用此属性并使用PutHiveQL处理器执行,然后我们可以在hive中创建表

如果要创建事务表,则需要更改hive.ddl属性

有关更多详细信息,请参阅链接。 如果希望仅从源中提取增量记录,则可以使用

ListDatabaseTables(列出源数据库中的所有表)+GenerateTableFetch(存储状态)处理器

流量:

方法2:

QuerydatabaseTable处理器将生成Avro格式的流文件,然后您可以使用ExtractAvroMetaData处理器来提取Avro模式通过使用一些脚本,我们可以创建一个具有所需模式的新属性(即托管/外部/事务表)