当您双击日语文本时，Chrome 如何决定要突出显示的内容？

Question

如果您在 Chrome 中双击英文文本，则会突出显示您单击的以空格分隔的单词。这并不奇怪。然而，前几天我在阅读一些日语文本时点击并注意到一些单词在单词边界处突出显示，即使日语没有空格。这是一些示例文本：

?????????????????????????????????????????????????????? ？？？

例如，如果您单击 ???，即使它不是单个字符类（这是汉字和平假名的混合），Chrome 也会正确地将其突出显示为单个单词。并非所有的亮点都是正确的，但它们似乎不是随机的。

Chrome 如何决定在这里突出显示什么？我尝试在 Chrome 源代码中搜索“日语单词”，但只找到了一个实验模块的测试，该模块在我的 Chrome 版本中似乎并不活跃。

Answer 1

所以事实证明 v8 有一个非标准的多语言分词器，它可以处理日语。

function tokenizeJA(text) {
  var it = Intl.v8BreakIterator(['ja-JP'], {type:'word'})
  it.adoptText(text)
  var words = []

  var cur = 0, prev = 0

  while (cur < text.length) {
    prev = cur
    cur = it.next()
    words.push(text.substring(prev, cur))
  }

  return words
}

console.log(tokenizeJA('?????????????????????????????????????????????????????'))
// ["??", "?", "??", "??", "???", "??", "?", "?", "?", "?", "?", "???", "???", "????", "??", "?", "?", "??????", "?", "?", "?", "???", "??", "?", "??", "?", "?", "??", "?"]

我还制作了一个jsfiddle来展示这一点。

质量并不惊人，但我很惊讶这完全受支持。

Answer 2

根据JonathonW 发布的链接，答案基本上可以归结为：“有一个很大的日语单词列表，Chrome 会检查您是否双击了某个单词。”

具体来说，v8 使用ICU来做一堆与 Unicode 相关的文本处理事情，包括将文本分解成单词。ICU 边界检测代码包括一个“基于字典的 BreakIterator”，用于没有空格的语言，包括日语、中文、泰语等。

对于“???”的具体示例，您可以在ICU 提供的汉日合词典中找到该词（第 255431 行）。目前列表中共有 315,671 个中文/日文单词。据推测，如果您发现 Chrome 无法正确拆分某个单词，则可以向 ICU 发送补丁以添加该单词。