Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Testing 在Hadoop平台上进行测试_Testing_Hadoop_Hive_Apache Pig - Fatal编程技术网

Testing 在Hadoop平台上进行测试

Testing 在Hadoop平台上进行测试,testing,hadoop,hive,apache-pig,Testing,Hadoop,Hive,Apache Pig,在进行web开发时,我们可以使用诸如单元测试(jUnit、rspec等)、TDD、BDD、cucumber、端到端/回归/集成测试、H2(如流程数据库)等工具和方法测试我们的应用程序 但在Hadoop和大数据世界 如何测试hadoop/hive/pig代码?我的意思是,如果我有一个示例输入,当我触发一些hive或pig脚本时,我会为这种情况创建一个自动化,然后验证输出是否符合预期 有了更多细节,有没有办法快速获得这些自动化测试的反馈?更具体地说,如何在内存中运行HDFS?在使用SQL数据库的Ja

在进行web开发时,我们可以使用诸如单元测试(jUnit、rspec等)、TDD、BDD、cucumber、端到端/回归/集成测试、H2(如流程数据库)等工具和方法测试我们的应用程序

但在Hadoop和大数据世界

如何测试hadoop/hive/pig代码?我的意思是,如果我有一个示例输入,当我触发一些hive或pig脚本时,我会为这种情况创建一个自动化,然后验证输出是否符合预期

有了更多细节,有没有办法快速获得这些自动化测试的反馈?更具体地说,如何在内存中运行HDFS?在使用SQL数据库的Java中,我们使用H2来获得这种快速反馈


或者更广泛地说,人们在Hadoop平台中使用的测试策略是什么?

我作为一个团队的一员工作,以支持大数据和分析平台,我们也有这样的问题

我们已经搜索了一段时间,发现了两个非常有前途的工具:

希望它能帮助你()