Editor 采样大数据文件

Editor 采样大数据文件,editor,text-editor,flat-file,Editor,Text Editor,Flat File,我目前在数据仓库程序员的职位上工作,因此必须通过ETL过程放置大量的平面文件。当然,在加载文件之前,我必须了解其内容,问题是大多数文件都大于1GB,我无法使用我亲爱的老朋友“记事本”打开它们。开玩笑。我通常使用VIM或Notepad++打开文件,但仍然需要一段时间。我可以使用VIM或其他编辑器执行文件的“部分”读取吗 另外,我知道我可以编写一个10行脚本来“数据采样”文件,但说服团队成员使用编辑器的功能比我编写的脚本更简单 感谢您提供的任何见解。如果您想继续使用vim,可以查看一下脚本 或者,我

我目前在数据仓库程序员的职位上工作,因此必须通过ETL过程放置大量的平面文件。当然,在加载文件之前,我必须了解其内容,问题是大多数文件都大于1GB,我无法使用我亲爱的老朋友“记事本”打开它们。开玩笑。我通常使用VIM或Notepad++打开文件,但仍然需要一段时间。我可以使用VIM或其他编辑器执行文件的“部分”读取吗

另外,我知道我可以编写一个10行脚本来“数据采样”文件,但说服团队成员使用编辑器的功能比我编写的脚本更简单


感谢您提供的任何见解。

如果您想继续使用vim,可以查看一下脚本


或者,我总是发现打开大文件的速度非常快。

你说你有VIM,这让我想知道你是否也有unix环境

如果愿意,可以通过unix实用程序
top
通过管道输入,并在屏幕上显示原始输入。像这样:

编辑:(谢谢按喇叭)

terminal$>head-N 15 file.csv


(其中15表示您只想看到15行)。

非常肯定会有大量类似的问题,但是,嘿,这是一个很好的选择。

声称可以处理超过4GB的文件…

使用head命令

在solaris上使用“less”。。。在windows上通过cygwin使用相同的方法。在大型机上,这个问题不会出现,ISPF编辑器处理得很好。

不确定
top
在大型机Unix中是否特别,但在Linux上,您可以使用
head-n 15
。或者您甚至可以使用
head-n 15 file.csv
避免不必要的
cat
。这也应该快几个数量级。谢谢,但我只是UNIX的忠实粉丝,我们的环境是建立在MS stack上的。@a_person-作为UNIX的粉丝,但在Microsoft上,你可能会喜欢CYGWIN!不过,这是一个离题的建议。:)我非常感谢这个建议,并实际安装了:)。CYGWIN还处理
less
,和
top
,这是一个很好的建议!非常感谢。验证和确认。Textpad在6秒钟内完美地打开了一个1.3 GB的文件(虽然保存它要花很多很多时间)。Textpad在打开文件时的速度比Notepad++慢了很多。