Ruby 1.9中的Unicode字符串

Question

我编写了一个Ruby脚本,它正在读取File.read()包含unicode字符的文件(),并且它在命令行中运行良好.

但是,当我尝试将其放入Automator工作流程(Mac OS X)时,我收到此错误;

2009-12-23 17:55:15 -0500: /Users/jeffreyaylesworth/bin/symbols:19:in `split': invalid byte sequence in US-ASCII (ArgumentError)
(traceback)

因此,当从Automator运行时,突然拆分不喜欢非ASCII字符.据我所知,两者都是从相同版本的Ruby运行(版本号是相同的).

我不太关心他们为什么表现不同(但如果有人知道,这很好),但我想要一个解决方案来分割接受非ASCII字符.

如果它有帮助,我需要将单个字符的文本分成两部分,所以如果与C的标记化器类似的东西可以工作,我可以使用它.

Answer 1

您没有指定文件的编码.由于无法自动确定文件的编码,因此必须明确指定编码.如果不是,则使用外部编码,如果未设置,则将使用环境中指定的编码,如果环境未指定编码,则假定文件位于7位US-ASCII.

在您的情况下,似乎两个环境中存在差异(自动脚本通常在没有区域设置的非常严格的环境中运行)或者调用解释器的方式.

所以,你需要做类似的事情

File.read('/path/to/file', encoding: 'UTF-8')