File 对结构化文件运行查询
我正在启动一个新项目,因此我对技术/解决方案持开放态度。File 对结构化文件运行查询,file,bigdata,File,Bigdata,我正在启动一个新项目,因此我对技术/解决方案持开放态度。 我有几种类型的结构化文件(CSV、XMLs等),并且会不断收到更多的文件。我希望能够将这些文件集成到数据库中,并对这些文件运行查询。 有没有(大数据?)解决方案,我可以定义每个文件集的结构,然后(在运行中或经过一些预处理后)对这些文件运行查询?您提到的大数据。您是否有需要使用Hadoop等“大数据”解决方案的容量和/或速度问题?此外,您还提到了运行查询。您是否希望使用SQL或其他查询抽象(可能是SQL之外的其他查询抽象)?1.是的,文件量
我有几种类型的结构化文件(CSV、XMLs等),并且会不断收到更多的文件。我希望能够将这些文件集成到数据库中,并对这些文件运行查询。
有没有(大数据?)解决方案,我可以定义每个文件集的结构,然后(在运行中或经过一些预处理后)对这些文件运行查询?您提到的大数据。您是否有需要使用Hadoop等“大数据”解决方案的容量和/或速度问题?此外,您还提到了运行查询。您是否希望使用SQL或其他查询抽象(可能是SQL之外的其他查询抽象)?1.是的,文件量将快速增长,即使我处理的是中等大小的数据(~100GB/年),我也需要扩展的能力,更重要的是,大数据解决方案的灵活性,以使用灵活的方案表。2.我需要能够运行一些基本的SQL或类似SQL的查询,或者使用一些简单的方法将数据导出到一些非SQL数据库