仅在逗号分隔的文件中删除引号之间的逗号

Question

我有一个用逗号 ( ,)分隔的输入文件。有一些用双引号括起来的字段中包含逗号。这是示例行

123,"ABC, DEV 23",345,534.202,NAME

我需要删除双引号和双引号内出现的所有逗号。所以上面的行应该被解析为如下所示

123,ABC DEV 23,345,534.202,NAME

我尝试了以下使用sed但没有给出预期的结果。

sed -e 's/\(".*\),\(".*\)/\1 \2/g'

任何快速的运用了sed，awk或者任何其他Unix工具吗？

Answer 1

如果引号是平衡的，您将需要删除每个其他引号之间的逗号，这可以表示为awk：

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "", $i) } 1' infile

输出：

123,ABC DEV 23,345,534.202,NAME

解释

该-F"品牌在awk分离的双引号标志线，这意味着所有其他领域将是引号之间的文本。for 循环gsub在所有其他字段上运行，全局替换的缩写，用空( ",")替换逗号( "")。所述1在端调用默认代码块：{ print $0 }。

Answer 2

有一个很好的回应，只需一次使用 sed循环：

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
  sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta'
123,"ABC  DEV 23",345,534,"some more  comma-separated  words",202,NAME

解释：

• :a; 是进一步分支的标签
• s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 / 可以包含 3 个封闭部分
  • first the 2nd:[^"]*,\?\|"[^",]*",\?匹配一个不包含双引号的字符串，可能后跟一个逗号或一个由两个双引号括起来的字符串，没有逗号，可能后跟一个逗号。
  • 而第一个RE 部分由与前面描述的第 2 部分一样多的重复组成，然后是 1 个双引号和一些字符，但没有双引号，也没有逗号。
  • 第一个 RE 部分后跟一个昏迷。
  • 注意，不需要触及该行的其余部分
• ta将循环到:a上一个s/命令是否做了一些更改。

循环完成后，您甚至可以添加s/ */ /g：

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
    sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta;s/  */ /g'

将抑制双空格：

123,"ABC DEV 23",345,534,"some more comma-separated words",202,NAME

Answer 3

还可以处理平衡引号之间的多个逗号的通用解决方案需要嵌套替换。我在 perl 中实现了一个解决方案，它处理给定输入的每一行，并且只在每对其他引号中替换逗号：

perl -pe 's/ "  (.+?  [^\\])  "               # find all non escaped 
                                              # quoting pairs
                                              # in a non-greedy way

           / ($ret = $1) =~ (s#,##g);         # remove all commas within quotes
             $ret                             # substitute the substitution :)
           /gex'

或者简而言之

perl -pe 's/"(.+?[^\\])"/($ret = $1) =~ (s#,##g); $ret/ge'

您可以通过管道将要处理的文本传递给命令，也可以将要处理的文本文件指定为最后一个命令行参数。