Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Frameworks 在hdfs上使用多种集成工具_Frameworks_Hdfs_Batch Processing_Data Ingestion_Data Lake - Fatal编程技术网

Frameworks 在hdfs上使用多种集成工具

Frameworks 在hdfs上使用多种集成工具,frameworks,hdfs,batch-processing,data-ingestion,data-lake,Frameworks,Hdfs,Batch Processing,Data Ingestion,Data Lake,我正在做一个小项目。该项目的目标是使用框架摄取工具将数据摄取到数据湖中 -我将批量接收数据。 -数据格式将是RDBMS、csv文件和平面文件 我已经对可使用的摄入工具进行了研究,发现了很多类似的工具:Sqoop、Flume、Gobblin、Kafka等 我的问题是:对于这个小项目,您推荐什么样的摄取工具或方法?(请记住,我将使用HDFS作为我的湖)

我正在做一个小项目。该项目的目标是使用框架摄取工具将数据摄取到数据湖中

-我将批量接收数据。 -数据格式将是RDBMS、csv文件和平面文件

我已经对可使用的摄入工具进行了研究,发现了很多类似的工具:Sqoop、Flume、Gobblin、Kafka等

我的问题是:对于这个小项目,您推荐什么样的摄取工具或方法?(请记住,我将使用HDFS作为我的湖)