我们在为小应用程序创建批量上传功能时遇到了大量问题.我们正在使用FasterCSV gem将数据上传到MySQL数据库,但他更快的CSV在其要求中是如此抽象和精确,以至于它经常因格式错误的CSV错误和超时错误而中断.
csv文件通常是由用户从他们的网站或Microsoft Word文档粘贴文本创建的,因此期望数据中永远不会出现诸如智能引号或重音之类的奇怪字符是不合理的.此外,用户无法轻易识别他们的数据是否足以满足FasterCSV的要求.我们需要找到一种方法来自动修复它们.
在使用FasterCSV gem进程之前,是否有一种好的方法或可靠的工具来预处理CSV数据以修复数据中的任何nits？