大型测试数据文件和github

大型测试数据文件和github,git,testing,github,large-data,Git,Testing,Github,Large Data,我正在竹中执行测试运行,使用git作为我的存储库。现在我需要运行一个测试来检查一个大数据上传(其中文件大小约为400MB。由于github的限制为100MB,当我尝试推送此大文件时,git推送超时。是否有其他方法可以从github执行测试,从任何其他位置获取此文件?或者是否有方法将此文件推送至git?最好在测试运行之前生成此类文件 在Windows中,您可以使用: 将生成带有1024随机符号的文件test.txt 或者在bash中使用以下命令: head -c 5000 /dev/urandom

我正在竹中执行测试运行,使用git作为我的存储库。现在我需要运行一个测试来检查一个大数据上传(其中文件大小约为400MB。由于github的限制为100MB,当我尝试推送此大文件时,git推送超时。是否有其他方法可以从github执行测试,从任何其他位置获取此文件?或者是否有方法将此文件推送至git?

最好在测试运行之前生成此类文件

在Windows中,您可以使用:

将生成带有
1024
随机符号的文件
test.txt

或者在bash中使用以下命令:

head -c 5000 /dev/urandom >data.txt
这将生成带有5000个随机符号的data.txt文件


对于500Mb文件的情况,生成这样的文件大约需要10秒。

老实说,你甚至不应该允许将这么大的文件推送到Git repo。我赞成只使用服务器端钩子来检查这么大的文件并拒绝它们。另一个需要注意的重要事项是,无论何时运行这些测试,你都会下载一个将被丢弃的400mb文件。即使使用blob存储(这是我的建议)这可能会大大增加您的成本。我建议重新考虑您的测试套件,这样您就不需要这个400 MB文件。GITHUB网站说:Github将在您推送大于50 MB的文件时警告您。您将不允许将文件推到大于100 MB。如果您经常将大文件推送到GITHUB,请考虑引入Git大文件存储。(Git LFS)作为工作流程的一部分。Git LFS与GitHub流配合良好,可用于任何大文件,无论其类型如何。有关更多信息,请参阅“大文件版本控制”
head -c 5000 /dev/urandom >data.txt