Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/file/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
File 对结构化文件运行查询_File_Bigdata - Fatal编程技术网

File 对结构化文件运行查询

File 对结构化文件运行查询,file,bigdata,File,Bigdata,我正在启动一个新项目,因此我对技术/解决方案持开放态度。 我有几种类型的结构化文件(CSV、XMLs等),并且会不断收到更多的文件。我希望能够将这些文件集成到数据库中,并对这些文件运行查询。 有没有(大数据?)解决方案,我可以定义每个文件集的结构,然后(在运行中或经过一些预处理后)对这些文件运行查询?您提到的大数据。您是否有需要使用Hadoop等“大数据”解决方案的容量和/或速度问题?此外,您还提到了运行查询。您是否希望使用SQL或其他查询抽象(可能是SQL之外的其他查询抽象)?1.是的,文件量

我正在启动一个新项目,因此我对技术/解决方案持开放态度。
我有几种类型的结构化文件(CSV、XMLs等),并且会不断收到更多的文件。我希望能够将这些文件集成到数据库中,并对这些文件运行查询。

有没有(大数据?)解决方案,我可以定义每个文件集的结构,然后(在运行中或经过一些预处理后)对这些文件运行查询?

您提到的大数据。您是否有需要使用Hadoop等“大数据”解决方案的容量和/或速度问题?此外,您还提到了运行查询。您是否希望使用SQL或其他查询抽象(可能是SQL之外的其他查询抽象)?1.是的,文件量将快速增长,即使我处理的是中等大小的数据(~100GB/年),我也需要扩展的能力,更重要的是,大数据解决方案的灵活性,以使用灵活的方案表。2.我需要能够运行一些基本的SQL或类似SQL的查询,或者使用一些简单的方法将数据导出到一些非SQL数据库