在CSV文件中处理逗号

Question

我正在寻找有关如何处理正在创建,然后由我们的客户上传的csv文件的建议,并且可能在值中使用逗号,例如公司名称.

我们正在关注的一些想法是:引用标识符(值","值","等)或使用| 而不是逗号.最大的问题是我们必须让它变得简单,否则客户就不会这样做.

Answer 1

对于2017年,csv已完全指定 - RFC 4180.

这是一个非常常见的规范,并且被许多库完全覆盖(示例).

只需使用任何易于使用的csv库 - 即RFC 4180.

实际上有CSV格式的规范以及如何处理逗号:

包含换行符(CRLF),双引号和逗号的字段应括在双引号中.

^{http://tools.ietf.org/html/rfc4180}

所以,有价值观foo和bar,baz,你这样做:

foo,"bar,baz"

另一个需要考虑的重要要求(也来自规范):

如果使用双引号括起字段,则必须通过在其前面添加另一个双引号来转义出现在字段内的双引号.例如:

"aaa","b""bb","ccc"

Answer 2

正如其他人所说,你需要转义包含引号的值.这是C♯中的一个小型CSV阅读器,支持引用值,包括嵌入式引号和回车.

顺便说一句,这是经过单元测试的代码.我现在正在发布它,因为这个问题似乎出现了很多,其他人可能不需要整个库,只需简单的CSV支持即可.

您可以按如下方式使用它:

using System;
public class test
{
    public static void Main()
    {
        using ( CsvReader reader = new CsvReader( "data.csv" ) )
        {
            foreach( string[] values in reader.RowEnumerator )
            {
                Console.WriteLine( "Row {0} has {1} values.", reader.RowIndex, values.Length );
            }
        }
        Console.ReadLine();
    }
}

这是课程.请注意,您也可以使用该Csv.Escape函数编写有效的CSV.

using System.IO;
using System.Text.RegularExpressions;

public sealed class CsvReader : System.IDisposable
{
    public CsvReader( string fileName ) : this( new FileStream( fileName, FileMode.Open, FileAccess.Read ) )
    {
    }

    public CsvReader( Stream stream )
    {
        __reader = new StreamReader( stream );
    }

    public System.Collections.IEnumerable RowEnumerator
    {
        get {
            if ( null == __reader )
                throw new System.ApplicationException( "I can't start reading without CSV input." );

            __rowno = 0;
            string sLine;
            string sNextLine;

            while ( null != ( sLine = __reader.ReadLine() ) )
            {
                while ( rexRunOnLine.IsMatch( sLine ) && null != ( sNextLine = __reader.ReadLine() ) )
                    sLine += "\n" + sNextLine;

                __rowno++;
                string[] values = rexCsvSplitter.Split( sLine );

                for ( int i = 0; i < values.Length; i++ )
                    values[i] = Csv.Unescape( values[i] );

                yield return values;
            }

            __reader.Close();
        }
    }

    public long RowIndex { get { return __rowno; } }

    public void Dispose()
    {
        if ( null != __reader ) __reader.Dispose();
    }

    //============================================


    private long __rowno = 0;
    private TextReader __reader;
    private static Regex rexCsvSplitter = new Regex( @",(?=(?:[^""]*""[^""]*"")*(?![^""]*""))" );
    private static Regex rexRunOnLine = new Regex( @"^[^""]*(?:""[^""]*""[^""]*)*""[^""]*$" );
}

public static class Csv
{
    public static string Escape( string s )
    {
        if ( s.Contains( QUOTE ) )
            s = s.Replace( QUOTE, ESCAPED_QUOTE );

        if ( s.IndexOfAny( CHARACTERS_THAT_MUST_BE_QUOTED ) > -1 )
            s = QUOTE + s + QUOTE;

        return s;
    }

    public static string Unescape( string s )
    {
        if ( s.StartsWith( QUOTE ) && s.EndsWith( QUOTE ) )
        {
            s = s.Substring( 1, s.Length - 2 );

            if ( s.Contains( ESCAPED_QUOTE ) )
                s = s.Replace( ESCAPED_QUOTE, QUOTE );
        }

        return s;
    }


    private const string QUOTE = "\"";
    private const string ESCAPED_QUOTE = "\"\"";
    private static char[] CHARACTERS_THAT_MUST_BE_QUOTED = { ',', '"', '\n' };
}

Answer 3

CSV格式使用逗号分隔值,包含回车符,换行符,逗号或双引号的值由双引号括起.引用包含双引号的值,并使用前一个引号对每个文字引号进行转义:例如,3个值:

test
list, of, items
"go" he said

将被编码为:

test
"list, of, items"
"""go"" he said"

任何字段可以报价,但只包含逗号,CR/NL,或报价域必须加引号.

CSV格式没有真正的标准,但几乎所有应用程序都遵循此处记录的约定.其他地方提到的RFC不是CSV的标准,它是在MIME中使用CSV的RFC,包含一些非常规和不必要的限制,使其在MIME之外无用.

我见过的许多CSV模块都不能容纳的事实是,在一个字段中可以编码多行,这意味着你不能假设每一行都是一个单独的记录,你要么不允许你的新行数据或准备处理此事.

Answer 4

在字符串周围加上双引号.这通常是Excel的作用.

Ala Eli,

你用两个双引号来逃避双引号.例如"test1","foo""bar","test2"

Answer 5

你可以在字段周围加上双引号.我不喜欢这种方法,因为它增加了另一个特殊字符(双引号).只需定义一个转义字符(通常是反斜杠)并在任何需要转义的地方使用它:

data,more data,more data\, even,yet more

您不必尝试匹配引号,并且您解析的异常更少.这也简化了您的代码.

Answer 6

通过nuget可以使用一个库来处理几乎任何格式良好的CSV(.net) - CsvHelper

映射到类的示例:

var csv = new CsvReader( textReader );
var records = csv.GetRecords<MyClass>();

读取单个字段的示例:

var csv = new CsvReader( textReader );
while( csv.Read() )
{
    var intField = csv.GetField<int>( 0 );
    var stringField = csv.GetField<string>( 1 );
    var boolField = csv.GetField<bool>( "HeaderName" );
}

让客户端驱动文件格式:
,是标准字段分隔符,"是用于转义包含分隔符,引号或行结尾的字段的标准值.

要使用(例如)#字段和'转义:

var csv = new CsvReader( textReader );
csv.Configuration.Delimiter = "#";
csv.Configuration.Quote = ''';
// read the file however meets your needs

更多文档

Answer 7

如果您在*nix-system 上，可以访问sed并且仅在CSV的特定字段中可能有一个或多个不需要的逗号，您可以使用以下单行将它们"作为RFC4180 部分括起来2提议：

sed -r 's/([^,]*,[^,]*,[^,]*,)(.*)(,.*,.*)/\1"\2"\3/' inputfile

根据不需要的逗号可能在哪个字段中，您必须更改/扩展正则表达式（和替换）的捕获组。
上面的示例将用引号将第四个字段（共六个）括起来。

与--in-place-option结合使用，您可以将这些更改直接应用于文件。

为了“构建”正确的正则表达式，需要遵循一个简单的原则：

1. 对于 CSV 中带有不需要的逗号的字段之前的每个字段，您编写一个[^,]*,并将它们放在一个捕获组中。
2. 对于包含不需要的逗号的字段，您会写(.*).
3. 对于带有不需要的逗号的字段之后的每个字段，您写一个,.* 并将它们全部放在一个捕获组中。

以下是根据特定领域的不同可能的正则表达式/替换的简短概述。如果未给出，则替换为\1"\2"\3。

([^,]*)(,.*)                     #first field, regex
"\1"\2                           #first field, substitution

(.*,)([^,]*)                     #last field, regex
\1"\2"                           #last field, substitution


([^,]*,)(.*)(,.*,.*,.*)          #second field (out of five fields)
([^,]*,[^,]*,)(.*)(,.*)          #third field (out of four fields)
([^,]*,[^,]*,[^,]*,)(.*)(,.*,.*) #fourth field (out of six fields)

如果要删除不需要的逗号sed而不是用引号将它们括起来，请参阅此答案。

Answer 8

添加对 Microsoft.VisualBasic 的引用（是的，它说的是 VisualBasic，但它也适用于 C# - 请记住，最后它只是 IL）。

使用Microsoft.VisualBasic.FileIO.TextFieldParser该类解析 CSV 文件这里是示例代码：

 Dim parser As TextFieldParser = New TextFieldParser("C:\mar0112.csv")
 parser.TextFieldType = FieldType.Delimited
 parser.SetDelimiters(",")      

   While Not parser.EndOfData         
      'Processing row             
      Dim fields() As String = parser.ReadFields         
      For Each field As String In fields             
         'TODO: Process field                   

      Next      
      parser.Close()
   End While 

Answer 9

您可以使用替代的“分隔符”，如“;” 或“|” 但最简单的可能只是引用大多数（体面的）CSV 库和大多数体面的电子表格支持的引用。

有关CSV 分隔符的更多信息以及用于描述分隔符和引用的标准格式的规范，请参阅此网页

Answer 10

正如我在harpo答案中的评论中所提到的那样，他的解决方案很好，并且在大多数情况下都有效，但是在某些情况下，当逗号彼此直接相邻时，逗号就无法拆分。

这是因为正则表达式字符串意外地充当了Vertabim字符串。为了使此行为正确无误，需要手动对正则表达式字符串中的所有字符进行转义，而无需使用vertabim转义符。

就是 正则表达式应该使用手动转义符来实现：

",(?=(?:[^\"\"]*\"\"[^\"\"]*\"\")*(?![^\"\"]*\"\"))"

转化为 ",(?=(?:[^""]*""[^""]*"")*(?![^""]*""))"

使用vertabim字符串时，@",(?=(?:[^""]*""[^""]*"")*(?![^""]*""))"其行为如下所示，您可以查看是否调试了正则表达式：

",(?=(?:[^"]*"[^"]*")*(?![^"]*"))"

因此，总而言之，我推荐harpo的解决方案，但请注意这一小技巧！

我在CsvReader中包含了一些可选的故障保护功能，以在发生此错误时通知您（如果您具有预先知道的列数）：

if (_expectedDataLength > 0 && values.Length != _expectedDataLength) 
throw new DataLengthException(string.Format("Expected {0} columns when splitting csv, got {1}", _expectedDataLength, values.Length));

这可以通过构造函数注入：

public CsvReader(string fileName, int expectedDataLength = 0) : this(new FileStream(fileName, FileMode.Open, FileAccess.Read))
{
    _expectedDataLength = expectedDataLength;
}

Answer 11

在欧洲，我们遇到这个问题肯定早于这个问题。在欧洲，我们使用逗号作为小数点。请参阅下面的数字：

| American      | Europe        |
| ------------- | ------------- |
| 0.5           | 0,5           |
| 3.14159265359 | 3,14159265359 |
| 17.54         | 17,54         |
| 175,186.15    | 175.186,15    |

因此，无法对 CSV 文件使用逗号分隔符。因此，欧洲的 CSV 文件以分号( ;)分隔。

Microsoft Excel 等程序可以读取带有分号的文件，并且可以切换分隔符。您甚至可以使用制表符 ( \t) 作为分隔符。请参阅超级用户的回答。

Answer 12

这是一个巧妙的小解决方法：

\n\n

您可以使用希腊小写数字符号(U+0375)

\n\n

看起来像这样 \xcd\xb5

\n\n

使用这种方法也可以节省大量资源......

\n