从MySQL实时导入配置单元
我有一个要求，数据以非常高的速率插入MySQL数据库（每两分钟30000-40000行）。我需要在进行一些处理（例如分组、求和）后将这些数据从MySQL导入到Hive。并使用Hive数据存储运行一些分析过程 我使用Sqoop来处理导入部分。好的，Oozie可用于将Sqoop导入配置为计划作业（比如每5分钟运行一次）。但是，是否可以在MySQL中基于更新/插入配置Sqoop导入，例如，对于MySQL中table1中的每个插入，Sqoop作业应该运行以导入新插入的数据（对于Sqoop，以追加模式），以便配置单元中的数据应该几乎是实时的从MySQL实时导入配置单元,mysql,hive,sqoop,Mysql,Hive,Sqoop,我有一个要求，数据以非常高的速率插入MySQL数据库（每两分钟30000-40000行）。我需要在进行一些处理（例如分组、求和）后将这些数据从MySQL导入到Hive。并使用Hive数据存储运行一些分析过程 我使用Sqoop来处理导入部分。好的，Oozie可用于将Sqoop导入配置为计划作业（比如每5分钟运行一次）。但是，是否可以在MySQL中基于更新/插入配置Sqoop导入，例如，对于MySQL中table1中的每个插入，Sqoop作业应该运行以导入新插入的数据（对于Sqoop，以追加模式），