Hadoop 可以将正则表达式用作JavaSparkContext的textinputformat分隔符吗？

我有多个文本文件要用JavaSparkContext读取，每个文件可能略有不同，并且包含多行记录，因此我想使用正则表达式分隔符来查找记录。是否可以使用正则表达式配置textinputformat分隔符

..
String regex = "^(?!(^a\\s|^b\\s))";
JavaSparkContext jsc = new JavaSparkContext(conf);
jsc.hadoopConfiguration().set("textinputformat.record.delimiter", regex);
..

---

不幸的是，事实并非如此

textinputformat.record.delimiter必须是固定模式。使用Spark时，您必须选择以下备选方案：


实现您自己的Hadoop输入格式—可以更好地扩展，但需要更多的工作
使用
wholeTextFiles
（或
binaryFiles
）并使用regex分割字符串-易于使用，但不能扩展到大文件