Java 如何在不使用BOM表且以非ASCII字符开头的情况下识别文件的不同编码?
我在尝试识别没有BOM表的文件的编码时遇到了问题,特别是当文件以非ascii字符开头时 我发现了以下两个关于如何识别文件编码的主题Java 如何在不使用BOM表且以非ASCII字符开头的情况下识别文件的不同编码?,java,unicode,encoding,byte-order-mark,non-ascii-characters,Java,Unicode,Encoding,Byte Order Mark,Non Ascii Characters,我在尝试识别没有BOM表的文件的编码时遇到了问题,特别是当文件以非ascii字符开头时 我发现了以下两个关于如何识别文件编码的主题 目前,我创建了一个类来标识文件的不同编码(例如UTF-8、UTF-16、UTF-32、UTF-16无BOM等),如下所示: public class UnicodeReader extends Reader { private static final int BOM_SIZE = 4; private final InputStreamReader rea
public class UnicodeReader extends Reader {
private static final int BOM_SIZE = 4;
private final InputStreamReader reader;
/**
* Construct UnicodeReader
* @param in Input stream.
* @param defaultEncoding Default encoding to be used if BOM is not found,
* or <code>null</code> to use system default encoding.
* @throws IOException If an I/O error occurs.
*/
public UnicodeReader(InputStream in, String defaultEncoding) throws IOException {
byte bom[] = new byte[BOM_SIZE];
String encoding;
int unread;
PushbackInputStream pushbackStream = new PushbackInputStream(in, BOM_SIZE);
int n = pushbackStream.read(bom, 0, bom.length);
// Read ahead four bytes and check for BOM marks.
if ((bom[0] == (byte) 0xEF) && (bom[1] == (byte) 0xBB) && (bom[2] == (byte) 0xBF)) {
encoding = "UTF-8";
unread = n - 3;
} else if ((bom[0] == (byte) 0xFE) && (bom[1] == (byte) 0xFF)) {
encoding = "UTF-16BE";
unread = n - 2;
} else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE)) {
encoding = "UTF-16LE";
unread = n - 2;
} else if ((bom[0] == (byte) 0x00) && (bom[1] == (byte) 0x00) && (bom[2] == (byte) 0xFE) && (bom[3] == (byte) 0xFF)) {
encoding = "UTF-32BE";
unread = n - 4;
} else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE) && (bom[2] == (byte) 0x00) && (bom[3] == (byte) 0x00)) {
encoding = "UTF-32LE";
unread = n - 4;
} else {
// No BOM detected but still could be UTF-16
int found = 0;
for (int i = 0; i < 4; i++) {
if (bom[i] == (byte) 0x00)
found++;
}
if(found >= 2) {
if(bom[0] == (byte) 0x00){
encoding = "UTF-16BE";
}
else {
encoding = "UTF-16LE";
}
unread = n;
}
else {
encoding = defaultEncoding;
unread = n;
}
}
// Unread bytes if necessary and skip BOM marks.
if (unread > 0) {
pushbackStream.unread(bom, (n - unread), unread);
} else if (unread < -1) {
pushbackStream.unread(bom, 0, 0);
}
// Use given encoding.
if (encoding == null) {
reader = new InputStreamReader(pushbackStream);
} else {
reader = new InputStreamReader(pushbackStream, encoding);
}
}
public String getEncoding() {
return reader.getEncoding();
}
public int read(char[] cbuf, int off, int len) throws IOException {
return reader.read(cbuf, off, len);
}
public void close() throws IOException {
reader.close();
}
}
上述代码可以在所有情况下正常工作,但文件没有BOM且以非ascii字符开头时除外。因为在这种情况下,检查文件是否仍然是没有BOM的UTF-16的逻辑将无法正常工作,编码将设置为默认的UTF-8
是否有办法检查没有BOM的文件编码和使用非ascii字符的BEGGIN,尤其是UTF-16无BOM文件
谢谢,如果您有任何想法,我们将不胜感激。一般来说,如果不提供编码,我们无法确定编码 您可以根据文本中的特定模式(高位集、集、集、非集、集、集、集、非集)猜测UTF-8,但这仍然是一个猜测 UTF-16是一个硬的;您可以成功解析同一流上的BE和LE;这两种方式都会产生一些字符(尽管可能是无意义的文本)
有些代码使用统计分析来猜测符号频率的编码,但这需要对文本(即“这是蒙古语文本”)和频率表(可能与文本不匹配)进行一些假设。归根结底,这仍然只是一个猜测,在100%的情况下都是无济于事的。最好的方法是不要自己尝试并实现这一点。而是使用现有的库来实现这一点;看见例如:
我想说,这些第三方库也无法识别我遇到的文件的编码[…],它们可以改进以满足我的要求 或者,您可以认识到您的要求非常难以满足。。。改变它;e、 g
- 将自己限制在一组特定的编码中
- 坚持要求提供/上传文件的人员正确说明其编码(或主要语言),和/或
- 接受您的系统在一定程度上会出错的事实,并提供有人可以纠正错误陈述/猜测的编码的方法
面对事实:这是一个理论上无法解决的问题。如果您确定它是一个有效的Unicode流,那么如果它没有BOM(因为BOM既不是必需的,也不是推荐的),那么它必须是UTF-8,如果它确实有BOM,那么您知道它是什么 如果只是一些随机编码,就无法确定。你所能期望的最好的结果就是,你只能偶尔犯错,因为不可能在所有情况下都猜对 如果您可以将可能性限制在非常小的子集 唯一可靠的方法是要求提供商告诉您他们提供了什么。如果你想要完全的可靠性,那是你唯一的选择。如果你不要求可靠性,那么你就猜——但有时猜错了
我觉得你一定是一个喜欢Windows的人,因为我们其他人一开始很少有理由使用Bom。我知道我经常处理大量的文本(在Mac、Linux、Solaris和BSD系统上),其中99%以上是UTF-8,我只遇到过两次充满BOM的文本。不过,我听说Windows用户一直被它所困扰。如果为真,这可能会使您的选择更容易。正如您所说,源文件不确定,因为我们的产品支持多种语言。启发式。。。在很多情况下,它都是由很多程序完成的(Unx*file命令就是一个很好的例子)。我已经“手动”完成了(重新发明了我自己的轮子,效果很好),但现在我只接受“Stephen C”的答案:重新使用已经在做的现有代码。@SyntaxT3rr0r:是的,这是解决这个问题的一个好方法。由于我们在产品中引入第三方库的局限性,我更愿意通过改进我提供的代码来处理它。是的,你是对的。因为我要处理的文件是XML类型的,所以我将尝试从XML文件中读取XML处理简介,以获取传递给InputStream对象的编码信息。如果在没有BOM的情况下无法从XML文件中获取编码,请使用默认编码(即UTF-8)作为其编码。@Eason:那么很容易,因为XML必须具有编码。你真幸运!我想说,这些第三方库也无法识别我遇到的文件的编码。无论如何,谢谢你的信息,他们可以改进以满足我的要求。