如何使用Net :: Http下载包含UTF-8字符的文件？

Question

我有一个应用程序,用户可以上传保存到S3的基于文本的文件(xml,csv,txt).其中一些文件非常大.需要对这些文件中的数据执行各种操作,因此不是从S3中读取它们,而是偶尔将其超时我在本地下载文件,然后将操作放在上面.

这是我用来从S3下载文件的代码.Upload是我用来存储此信息的AR模型的名称.此方法是Upload模型上的实例方法:

def download
  basename = File.basename(self.text_file_name.path)
  filename = Rails.root.join(basename)
  host = MyFitment::Utility.get_host_without_www(self.text_file_name.url)
  Net::HTTP.start(host) do |http|
    f = open(filename)
    begin
      http.request_get(self.text_file_name.url) do |resp|
        resp.read_body do |segment|
          f.write(segment) # Fails when non-ASCII 8-bit characters are included.
        end
      end
    ensure
      f.close()
    end
  end
  filename

end

所以你看到负载失败的上面一行.此代码以某种方式认为所有下载的文件都以ASCII 8位编码.我怎么能够:

1)检查远程文件的编码,例如2)下载并成功写入.

这是现在特定文件发生的错误:

Encoding::UndefinedConversionError: "\x95" from ASCII-8BIT to UTF-8
from /Users/me/code/myapp/app/models/upload.rb:47:in `write'

感谢您提供的任何帮助!

Answer 1

我该怎么做:1)检查这样的远程文件的编码.

您可以检查Content-Type响应的标头,如果存在,可能看起来像这样:

Content-Type: text/plain; charset=utf-8

如您所见,编码在那里指定.如果没有Content-Type标头,或者未指定charset,或者如果错误地指定了charset,则您无法知道文本的编码.有宝石,可以尝试猜测编码(随精度),如rchardet,charlock_holmes但对于完全准确,您在阅读文本之前就知道的编码.

此代码以某种方式认为所有下载的文件都以ASCII 8位编码.

在ruby中,ASCII-8BIT相当于binary,这意味着Net :: HTTP库只给你一个包含一系列单字节的字符串,由你来决定如何解释这些字节.

如果您想将这些字节解释为UTF-8,那么您可以使用String#force_encoding():

text = text.force_encoding("UTF-8")

例如,如果要在字符串上进行一些正则表达式匹配,并且希望匹配完整字符(可能是多字节)而不是单个字节,则可能需要这样做.

编码:: UndefinedConversionError:"\ x95"从ASCII-8BIT到UTF-8

使用String#encode('UTF-8')以ASCII-8BIT转换为UTF-8的ASCII码是大于127字节不工作:

(0..255).each do |ascii_code|
  str = ascii_code.chr("ASCII-8BIT")
  #puts str.encoding   #=>ASCII-8BIT

  begin
    str.encode("UTF-8")
  rescue Encoding::UndefinedConversionError
    puts "Can't encode char with ascii code #{ascii_code} to UTF-8."
  end

end

--output:--
Can't encode char with ascii code 128 to UTF-8.
Can't encode char with ascii code 129 to UTF-8.
Can't encode char with ascii code 130 to UTF-8.
...
...
Can't encode char with ascii code 253 to UTF-8.
Can't encode char with ascii code 254 to UTF-8.
Can't encode char with ascii code 255 to UTF-8.

Ruby只是从ASCII-8BIT字符串一次读取一个字节,并尝试将字节中的字符转换为UTF-8.因此,当多字节字符序列的一部分时,128可能是UTF-8中的合法字节,而128不是合法的UTF-8字符作为单字节.

至于将字符串写入文件,而不是:

f = open(filename)

...如果你想输出UTF-8到文件,你会写:

f = open(filename, "w:UTF-8")

默认情况下,ruby使用任何值Encoding.default_external来将输出编码为文件.default_external编码从系统环境中提取,或者您可以显式设置.