Php 从文本字符串创建关键字-西里尔文的编码问题

我正在搜索一个可以从文本字符串自动创建关键字的代码。下面的代码可以很好地处理拉丁字符，但如果我尝试将其与俄语（西里尔文）一起使用，结果就是逗号之间有空格

我不确定问题出在哪里，但我相信这与编码有关。我试着用这个编码字符串

$string = preg_replace('/\s\s+/i', '', mb_strtolower(utf8_encode($string)));

但是没有运气。结果是一样的

另外，我在$stopwords变量中只包含俄语单词

$stopWords = array('у','ни','на','да','и','нет','были','уже','лет','в','что','их','до','сих','пор','из','но','бы','чтобы','вы','была','было','мы','к','от','с','так','как','не','есть','ее','нам','для','вас','о','них','без');

这是原始代码

function extractCommonWords($string){
  $stopWords = array('i','a','about','an','and','are','as','at','be','by','com','de','en','for','from','how','in','is','it','la','of','on','or','that','the','this','to','was','what','when','where','who','will','with','und','the','www');

  $string = preg_replace('/\s\s+/i', '', $string); // replace whitespace
  $string = trim($string); // trim the string
  $string = preg_replace('/[^a-zA-Z0-9 -]/', '', $string); // only take alphanumerical characters, but keep the spaces and dashes too…
  $string = strtolower($string); // make it lowercase

  preg_match_all('/\b.*?\b/i', $string, $matchWords);
  $matchWords = $matchWords[0];

  foreach ( $matchWords as $key=>$item ) {
      if ( $item == '' || in_array(strtolower($item), $stopWords) || strlen($item) <= 3 ) {
          unset($matchWords[$key]);
      }
  }   
  $wordCountArr = array();
  if ( is_array($matchWords) ) {
      foreach ( $matchWords as $key => $val ) {
          $val = strtolower($val);
          if ( isset($wordCountArr[$val]) ) {
              $wordCountArr[$val]++;
          } else {
              $wordCountArr[$val] = 1;
          }
      }
  }
  arsort($wordCountArr);
  $wordCountArr = array_slice($wordCountArr, 0, 10);
  return $wordCountArr;}

函数提取常用词（$string）{
$stopWords=array（'i'，'a'，'about'，'an'，'and'，'are'，'as'，'at'，'be'，'by'，'com'，'de'，'en'，'for'，'from'，'how'，'in'，'is'，'it'，'la'，'of'，'on'，'or'，'that'，'the'，'this'，'to'，'was'，'what'，'who'，'will'，'with'，'und the'，'www'；
$string=preg_replace（'/\s\s+/i'，'$string）；//替换空白
$string=trim（$string）；//修剪字符串
$string=preg_replace（'/[^a-zA-Z0-9-]/'，''$string）；//只接受字母数字字符，但也保留空格和破折号…
$string=strtolower（$string）；//使其小写
preg_match_all（'/\b.*？\b/i'，$string，$matchWords）；
$matchWords=$matchWords[0]；
foreach（$key=>$item的匹配词）{
如果（$item==''| |在_数组中（strtolower（$item），$stopWords）| | strlen（$item）$val）{
$val=strtolower（$val）；
如果（isset（$wordCountArr[$val]））{
$wordCountArr[$val]++；
}否则{
$wordCountArr[$val]=1；
}
}
}
arsort（$wordCountArr）；
$wordCountArr=array\u片（$wordCountArr，0，10）；
返回$wordCountArr；}

---

任何帮助都将不胜感激。

西里尔字符由以下正则表达式匹配并从字符串中删除：

$string = preg_replace('/[^a-zA-Z0-9 -]/', '', $string);

要避免它，请与

\w

匹配。但是您需要使用for

\w

和friends来匹配其他脚本（包括西里尔文）中的字母

---

还有一件事，regex

/\b.*？\b/i

是错误的，原因有几个。但是如果你仔细想想，它可能会匹配同一个边界两次

---

无论如何，我相信您不需要从字符串中删除不需要的字符。你只是在试图提取单词。您可以简单地使用1个正则表达式来匹配它们

用于匹配单词的正则表达式（使用Unicode脚本，包括西里尔文）

---

代码

function extractCommonWords($string){
    $stopWords = array('i','a','about','an','and','are','as','at','be','by','com','de','en','for','from','how','in','is','it','la','of','on','or','that','the','this','to','was','what','when','where','who','will','with','und','the','www');

    $string = strtolower($string);

    preg_match_all('/\w+/u', $string, $matchWords);
    $matchWords = $matchWords[0];

    foreach ( $matchWords as $key=>$item ) {
      if ( $item == '' || in_array(strtolower($item), $stopWords) || strlen($item) <= 3 ) {
          unset($matchWords[$key]);
      }
    }   
    $wordCountArr = array();
    if ( is_array($matchWords) ) {
      foreach ( $matchWords as $key => $val ) {
          $val = mb_strtolower($val);
          if ( isset($wordCountArr[$val]) ) {
              $wordCountArr[$val]++;
          } else {
              $wordCountArr[$val] = 1;
          }
      }
    }

    arsort($wordCountArr);
    $wordCountArr = array_slice($wordCountArr, 0, 10);
    return $wordCountArr;
}


//for testing purposes
$sc = 'Hello there нам для!';
$result = extractCommonWords($sc);
print_r($result);

函数提取常用词（$string）{
$stopWords=array（'i'，'a'，'about'，'an'，'and'，'are'，'as'，'at'，'be'，'by'，'com'，'de'，'en'，'for'，'from'，'how'，'in'，'is'，'it'，'la'，'of'，'on'，'or'，'that'，'the'，'this'，'to'，'was'，'what'，'who'，'will'，'with'，'und the'，'www'；
$string=strtolower（$string）；
preg_match_all（'/\w+/u'，$string，$matchWords）；
$matchWords=$matchWords[0]；
foreach（$key=>$item的匹配词）{
如果（$item==''| |在_数组中（strtolower（$item），$stopWords）| | strlen（$item）$val）{
$val=mb_strtolower（$val）；
如果（isset（$wordCountArr[$val]））{
$wordCountArr[$val]++；
}否则{
$wordCountArr[$val]=1；
}
}
}
arsort（$wordCountArr）；
$wordCountArr=array\u片（$wordCountArr，0，10）；
返回$wordCountArr；
}
//用于测试目的
$sc=‘你好！’这里有人吗；
$result=extractedcommonwords（$sc）；
打印（结果）；

*免责声明：我甚至没有阅读代码的其余部分。我只是指出问题所在

---

你说得绝对正确。。。这很有魅力。谢谢，还有一件事。您知道如何排除少于5个字符的单词吗？

'/\b\w{5，}/u'

。。。看见

\b

是一个（不需要它，但如果你在那里使用它会更有效）啊，那很简单。你是救命恩人。。。我正要写一个单独的脚本来捕捉只有5个以上字符的单词。但这很容易。我需要学习regex。谢谢Mariano。如果你想学习regex，只需阅读我链接到的教程中的几页。干杯

preg_match_all('/\w+/u', $string, $matchWords);

function extractCommonWords($string){
    $stopWords = array('i','a','about','an','and','are','as','at','be','by','com','de','en','for','from','how','in','is','it','la','of','on','or','that','the','this','to','was','what','when','where','who','will','with','und','the','www');

    $string = strtolower($string);

    preg_match_all('/\w+/u', $string, $matchWords);
    $matchWords = $matchWords[0];

    foreach ( $matchWords as $key=>$item ) {
      if ( $item == '' || in_array(strtolower($item), $stopWords) || strlen($item) <= 3 ) {
          unset($matchWords[$key]);
      }
    }   
    $wordCountArr = array();
    if ( is_array($matchWords) ) {
      foreach ( $matchWords as $key => $val ) {
          $val = mb_strtolower($val);
          if ( isset($wordCountArr[$val]) ) {
              $wordCountArr[$val]++;
          } else {
              $wordCountArr[$val] = 1;
          }
      }
    }

    arsort($wordCountArr);
    $wordCountArr = array_slice($wordCountArr, 0, 10);
    return $wordCountArr;
}


//for testing purposes
$sc = 'Hello there нам для!';
$result = extractCommonWords($sc);
print_r($result);