是PHP str_word_count()多字节安全吗？

Question

我想str_word_count()在UTF-8字符串上使用.

这在PHP中安全吗？在我看来它应该是(特别是考虑到没有mb_str_word_count()).

但是在php.net上,有很多人通过展示他们自己的"多字节兼容"版本的功能来混淆水.

所以我想我想知道......

1. 鉴于str_word_count简单地计算由" "(空格)分隔的所有字符序列,它应该在多字节字符串上是安全的,即使它不一定知道字符序列,对吧？

2. UTF-8中是否有等效的'空格'字符,它们不是ASCII " "(空格)？#

这是我猜的问题所在.

Answer 1

我想说你猜对了。事实上，UTF-8 中存在不属于 US-ASCII 的空格字符。给你一个这样的空间的例子：

• Unicode 字符 'NO-BREAK SPACE' (U+00A0) : UTF-8 格式的 2 个字节: 0xC2 0xA0 (c2a0)

也许还有：

• Unicode 字符 'NEXT LINE (NEL)' (U+0085)：UTF-8 格式的 2 个字节：0xC2 0x85 (c285)
• Unicode 字符 '行分隔符' (U+2028) : UTF-8 格式的 3 个字节: 0xE2 0x80 0xA8 (e280a8)
• Unicode 字符 '段落分隔符' (U+2029) : UTF-8 格式的 3 个字节: 0xE2 0x80 0xA8 (e280a8)

无论如何，第一个 - 'NO-BREAK SPACE' (U+00A0) - 是一个很好的例子，因为它也是 Latin-X 字符集的一部分。str_word_count PHP 手册已经提供了与区域设置相关的提示。

如果我们想对此进行测试，我们可以将语言环境设置为 UTF-8，传入包含\xA0序列的无效字符串，如果这仍然算作断字字符，则该函数显然不是 UTF-8 安全的，因此不是多字节安全的（与问题相同未定义）：

<?php
/**
 * is PHP str_word_count() multibyte safe?
 * @link /sf/ask/580337621/
 */

echo 'New Locale: ', setlocale(LC_ALL, 'en_US.utf8'), "\n\n";

$test   = "aword\xA0bword aword";
$result = str_word_count($test, 2);

var_dump($result);

输出：

New Locale: en_US.utf8

array(3) {
  [0]=>
  string(5) "aword"
  [6]=>
  string(5) "bword"
  [12]=>
  string(5) "aword"
}

正如这个演示所示，该函数在手册页上给出的语言环境承诺上完全失败了（我对此并不感到奇怪或抱怨，最常见的是，如果您读到某个函数是 PHP 中特定于语言环境的，请运行并找到一个我在这里利用它来证明它对 UTF-8 字符编码没有任何作用。

对于 UTF-8，您应该查看 PCRE 扩展：

• PCRE/PHP 中匹配 Unicode 字母字符

PCRE 对 PHP 中的 Unicode 和 UTF-8 有很好的了解。如果您仔细设计正则表达式模式，它也可能会相当快。