Unit testing 单元测试Sqoop应用程序

我使用SQOOP作为一种技术，将大量数据从mysql下载到HDFS。有时，我需要用sqoop编写一些特殊的查询来下载数据

我觉得sqoop的一个问题是它实际上是不稳定的。对sqoop进行单元测试绝对没有指导或技术

---

如果有人使用sqoop进行数据集成。如何测试您的sqoop应用程序？

Afaif目前还没有针对sqoop的单元测试框架，您可以遵循以下方法

1） 安排一个sqoop评估作业，该作业将使用源查询来显示源表的输出

$ sqoop eval --connect jdbc:mysql://db.example.com/corp \
        --query "SELECT * FROM employees LIMIT 10"

---

2） 在sqoop完成后，运行相应的配置单元查询或hdfs shell命令以获取数据或计数。

如果不通过

--query

使用自由形式查询，则可以使用内置的

--validate

选项来匹配源表中的记录计数和hdfs。不幸的是，它将在MS SQL中的大表上失败（记录计数>int容量），因为Sqoop不知道

count\u big（）