Sql 通过大型数据集(400GB+;)上传和排序的最简单/非技术友好的方式是什么?

Sql 通过大型数据集(400GB+;)上传和排序的最简单/非技术友好的方式是什么?,sql,database,database-design,amazon-web-services,bigdata,Sql,Database,Database Design,Amazon Web Services,Bigdata,希望首先按日期标记对数据(主要是文本)进行排序(比如说,按季度分隔数据,即使将其划分为不同的文件)。然后希望对数据执行标准函数,如条件和。没有丰富的编程/数据库背景,但愿意花几天时间学习,我最适合的解决方案是什么?听起来您希望能够对数据进行一些查询。我将研究SQL数据库解决方案。最困难的部分是将数据输入数据库 AWS的所有关系数据库都可以从文本文件导入: Microsoft的SQL Server: 神谕: MySQL: 我会纯粹根据哪个更容易加载你的文件来决定。如果你的预算有限,你可以下载MyS

希望首先按日期标记对数据(主要是文本)进行排序(比如说,按季度分隔数据,即使将其划分为不同的文件)。然后希望对数据执行标准函数,如条件和。没有丰富的编程/数据库背景,但愿意花几天时间学习,我最适合的解决方案是什么?

听起来您希望能够对数据进行一些查询。我将研究SQL数据库解决方案。最困难的部分是将数据输入数据库

AWS的所有关系数据库都可以从文本文件导入: Microsoft的SQL Server: 神谕: MySQL:

我会纯粹根据哪个更容易加载你的文件来决定。如果你的预算有限,你可以下载MySQL,而不是做整个云计算。只要把它放在本地计算机上,假设你有足够的磁盘空间来托管数据库


完成后,它们都支持SQL,这使得查询数据变得非常容易。如果您不想编写自己的SQL,可以使用一些工具通过拖放创建查询。但是作为一名程序员,我强烈建议您编写自己的查询,或者回到这里寻求一些查询帮助。

您的数据是什么格式的?纯文本?XML?使用Hadoop和任何数据库,如Hbase等。。。对文件进行排序。格式为纯文本。有没有任何易于使用/非技术性的软件包可以在我进入云端后帮助我进行分类?谢谢jtseng。出于好奇,您建议使用什么程序在SQL数据库上通过拖放(GUI)创建查询?当我的所有数据都上传到云中时,有没有办法拥有GUI/拖放界面(即从我的计算机通过云端拖放数据,因此计算速度比我自己计算机内存中的任何数据都快)?感谢you@user2535088实际上我从来没有用过,所以我不能提出一个好的建议。这是我在谷歌上找到的一个列表:,祝你好运。也许你可以找个朋友写几个查询,或者在这里找到类似的查询。