Hadoop 如何在加载时忽略注释行

我想将IIS日志加载到配置单元表中，但日志文件中的注释妨碍了我。有没有办法让配置单元的Load ignore行以#？

开头？如果您的表架构将整个“条目”的列作为字符串，那么您可以在查询的WHERE子句中添加一个条件作为字符串 哪里 substr（条目，1，1）！=“#”

配置单元是读取模式，因此只要能够获取第一个字符，就不会抱怨整个记录

您可能希望将这样的记录删减到一个清理过的表中，这样查询该表的人就不会将substr（entry，1，1）的WHERE条件放入其中“#”