Frameworks 在hdfs上使用多种集成工具
我正在做一个小项目。该项目的目标是使用框架摄取工具将数据摄取到数据湖中 -我将批量接收数据。 -数据格式将是RDBMS、csv文件和平面文件 我已经对可使用的摄入工具进行了研究,发现了很多类似的工具:Sqoop、Flume、Gobblin、Kafka等 我的问题是:对于这个小项目,您推荐什么样的摄取工具或方法?(请记住,我将使用HDFS作为我的湖)Frameworks 在hdfs上使用多种集成工具,frameworks,hdfs,batch-processing,data-ingestion,data-lake,Frameworks,Hdfs,Batch Processing,Data Ingestion,Data Lake,我正在做一个小项目。该项目的目标是使用框架摄取工具将数据摄取到数据湖中 -我将批量接收数据。 -数据格式将是RDBMS、csv文件和平面文件 我已经对可使用的摄入工具进行了研究,发现了很多类似的工具:Sqoop、Flume、Gobblin、Kafka等 我的问题是:对于这个小项目,您推荐什么样的摄取工具或方法?(请记住,我将使用HDFS作为我的湖)