如何预处理FasterCSV的CSV数据？

Question

我们在为小应用程序创建批量上传功能时遇到了大量问题.我们正在使用FasterCSV gem将数据上传到MySQL数据库,但他更快的CSV在其要求中是如此抽象和精确,以至于它经常因格式错误的CSV错误和超时错误而中断.

csv文件通常是由用户从他们的网站或Microsoft Word文档粘贴文本创建的,因此期望数据中永远不会出现诸如智能引号或重音之类的奇怪字符是不合理的.此外,用户无法轻易识别他们的数据是否足以满足FasterCSV的要求.我们需要找到一种方法来自动修复它们.

在使用FasterCSV gem进程之前,是否有一种好的方法或可靠的工具来预处理CSV数据以修复数据中的任何nits？

Answer 1

创建 FasterCsv 解析器的新实例时，您可以将文件的编码类型传递到 FasterCSV 选项中。（请参阅此处的文档：http://fastercsv.rubyforge.org/classes/FasterCSV.html#M000018）

将其设置为 utf-8 或 Microsoft 编码应该可以让它通过大多数狡猾的额外字符，从而允许它实际解析为您所需的字符串......然后您可以根据自己的喜好清理字符串。

文档中还有一些关于“转换器”的内容，您可以传入 - 尽管这更多地旨在转换数字或日期类型，但您可以将其用于 gsub 来处理不可靠的字符。