Ruby 如何在不影响日语字符集的情况下过滤掉不可见字符？
我注意到我的一些输入是U+2028。我不知道这是什么，但考虑到UTF-8和英文/日文字符，我如何防止这种情况发生？字符U+2028是空格字符之一 在Unicode空间中，仅选择日文字符恐怕是相当棘手的，因为CJK字符分布在如此多的平面上，即使Ruby在Regexp（如\p{Hiragana}）中支持广泛的Unicode类别格式。但是，如果您只对日语和ASCII感兴趣，那么NKF库很有用。以下是一个例子：Ruby 如何在不影响日语字符集的情况下过滤掉不可见字符？,ruby,character,cjk,Ruby,Character,Cjk,我注意到我的一些输入是U+2028。我不知道这是什么，但考虑到UTF-8和英文/日文字符，我如何防止这种情况发生？字符U+2028是空格字符之一 在Unicode空间中，仅选择日文字符恐怕是相当棘手的，因为CJK字符分布在如此多的平面上，即使Ruby在Regexp（如\p{Hiragana}）中支持广泛的Unicode类别格式。但是，如果您只对日语和ASCII感兴趣，那么NKF库很有用。以下是一个例子： require 'nkf' orig = "b2αÇ()あ相〜\u2028\u3000＿━●
require 'nkf'
orig = "b2αÇ()あ相〜\u2028\u3000＿━●★】"
p orig
p NKF.nkf('-w -E', NKF.nkf('-e', orig))
# =>
# "b2αÇ()あ相〜\u2028 ＿━●★】"
# "b2α()あ相〜 ＿━●★】"
require 'nkf'
orig = "b2αÇ()あ相〜\u2028\u3000＿━●★】"
p orig
p NKF.nkf('-w -E', NKF.nkf('-e', orig))
# =>
# "b2αÇ()あ相〜\u2028 ＿━●★】"
# "b2α()あ相〜 ＿━●★】"
针对您的具体情况的解决方案。除了NKF库的解决方案之外，我还为Ruby 2提出了其他解决方案。下面所描述的比较在某种程度上是有趣的，因为它们彼此略有不同。这是一个重大的修改，所以我把它作为一个单独的答案发布。在这篇文章的结尾，我也描述了这方面的背景。 我假设原始输入是UTF-8编码，除了第一部分，如果不是，首先将其转换为UTF-8以应用任何示例 过滤非法字符的解决方案 非法是指未包含在为字符串实例定义的编码中的字符代码。 在Ruby 2中，这样的字符串通常应该具有编码ASCII-8BIT。但是，有些可能错误地使用UTF-8编码 如果它的编码为ASCII-8BIT，但如果您希望获得合法的UTF-8字符串 过滤非日语字符的解决方案 以下所有方法都用于过滤非日语字符。 基本上，非日文字符是指不包括在一个或多个日文字符集的传统标准中的字符。 有关非日语字符定义的详细背景，请参见下一节 这里的策略是将原始字符串的编码转换为称为ISO-2022-JP或EUC-JP的日本JIS编码；基本上是JIS-X-0208，并转换回UTF-8 使用字符串编码 Ruby-2内置的Stringencode完成了确切的工作
orig = "b2◇〒α()あ相〜\u3000＿８Ｄ━●★】$£€Ç♡㌔③\u2028ﾊﾝｶｸ"
print "Orig:"; p orig
print "Enc: "; p orig.encode('ISO-2022-JP', undef: :replace, replace: '').encode('UTF-8')
orig = "b2◇〒α()あ相〜\u3000＿８Ｄ━●★】$£€Ç♡㌔③\u2028ﾊﾝｶｸ"
require 'nkf'
print "NKF: "; p NKF.nkf('-w -E', NKF.nkf('-e', orig))
orig = "b2◇〒α()あ相〜\u3000＿８Ｄ━●★】$£€Ç♡㌔③\u2028ﾊﾝｶｸ"
require 'iconv'
output = ''
Iconv.open('iso-2022-jp-2', 'utf-8') do |cd|
cd.discard_ilseq=true
output = cd.iconv orig << cd.iconv(nil)
end
s2 = Iconv.conv('utf-8', 'iso-2022-jp-2', output)
print "Icon:"; p s2
我认为这种混乱的实际情况导致了上面所示的结果略有不同，这取决于您使用的方法。根据您的需要，选择您最喜欢的方法！除了使用NKF库的解决方案之外，我还为Ruby 2提出了其他解决方案。下面所述的比较以w是的，很有趣，因为它们彼此略有不同。这是一个重大修订，所以我将其作为一个单独的答案发布。我还在本文末尾描述了这方面的背景。 我假设原始输入是UTF-8编码，除了第一部分，如果不是，首先将其转换为UTF-8以应用任何示例 过滤非法字符的解决方案 非法是指未包含在为字符串实例定义的编码中的字符代码。 在Ruby 2中，这样的字符串通常应该具有编码ASCII-8BIT 可能错误地使用UTF-8编码 如果它的编码为ASCII-8BIT，但如果您希望获得合法的UTF-8字符串 过滤非日语字符的解决方案 以下所有方法都用于过滤非日语字符。 基本上，非日文字符是指不包括在一个或多个日文字符集的传统标准中的字符。 有关非日语字符定义的详细背景，请参见下一节 这里的策略是将原始字符串的编码转换为称为ISO-2022-JP或EUC-JP的日本JIS编码；基本上是JIS-X-0208，并转换回UTF-8 使用字符串编码 Ruby-2内置的Stringencode完成了确切的工作
orig = "b2◇〒α()あ相〜\u3000＿８Ｄ━●★】$£€Ç♡㌔③\u2028ﾊﾝｶｸ"
print "Orig:"; p orig
print "Enc: "; p orig.encode('ISO-2022-JP', undef: :replace, replace: '').encode('UTF-8')
orig = "b2◇〒α()あ相〜\u3000＿８Ｄ━●★】$£€Ç♡㌔③\u2028ﾊﾝｶｸ"
require 'nkf'
print "NKF: "; p NKF.nkf('-w -E', NKF.nkf('-e', orig))
orig = "b2◇〒α()あ相〜\u3000＿８Ｄ━●★】$£€Ç♡㌔③\u2028ﾊﾝｶｸ"
require 'iconv'
output = ''
Iconv.open('iso-2022-jp-2', 'utf-8') do |cd|
cd.discard_ilseq=true
output = cd.iconv orig << cd.iconv(nil)
end
s2 = Iconv.conv('utf-8', 'iso-2022-jp-2', output)
print "Icon:"; p s2