循环遍历Bash中的文件内容

Question

如何使用Bash迭代文本文件的每一行？

使用此脚本:

echo "Start!"
for p in (peptides.txt)
do
    echo "${p}"
done

我在屏幕上看到这个输出:

Start!
./runPep.sh: line 3: syntax error near unexpected token `('
./runPep.sh: line 3: `for p in (peptides.txt)'

(后来我想做一些$p比输出到屏幕更复杂的事情.)

---

环境变量SHELL是(来自env):

SHELL=/bin/bash

/bin/bash --version 输出:

GNU bash, version 3.1.17(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

cat /proc/version 输出:

Linux version 2.6.18.2-34-default (geeko@buildhost) (gcc version 4.1.2 20061115 (prerelease) (SUSE Linux)) #1 SMP Mon Nov 27 11:46:27 UTC 2006

文件peptides.txt包含:

RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

Answer 1

一种方法是:

while read p; do
  echo "$p"
done <peptides.txt

正如评论中所指出的,这会产生修剪前导空格,解释反斜杠序列以及如果缺少终止换行而跳过尾随行的副作用.如果这些是问题,你可以这样做:

while IFS="" read -r p || [ -n "$p" ]
do
  printf '%s\n' "$p"
done < peptides.txt

例外情况下,如果循环体可以从标准输入读取,则可以使用不同的文件描述符打开文件:

while read -u 10 p; do
  ...
done 10<peptides.txt

这里,10只是一个任意数字(不同于0,1,2).

Answer 2

cat peptides.txt | while read line 
do
   # do something with $line here
done

Answer 3

选项1a: While循环:一次一行:输入重定向

#!/bin/bash
filename='peptides.txt'
echo Start
while read p; do 
    echo $p
done < $filename

选项1b: while循环:一次一行:
打开文件,从文件描述符读取(在本例中为文件描述符#4).

#!/bin/bash
filename='peptides.txt'
exec 4<$filename
echo Start
while read -u4 p ; do
    echo $p
done

选项2: For循环:将文件读入单个变量并解析.
此语法将根据标记之间的任何空白区域解析"行".这仍然有效,因为给定的输入文件行是单字标记.如果每行有多个令牌,则此方法不起作用.此外,将整个文件读入单个变量对于大文件来说不是一个好策略.

#!/bin/bash
filename='peptides.txt'
echo Start
while read p; do 
    echo $p
done < $filename

Answer 4

这并不比其他答案更好,但是在没有空格的文件中完成工作的另一种方法(参见注释).我发现我经常需要单行来挖掘文本文件中的列表,而无需使用单独的脚本文件.

for word in $(cat peptides.txt); do echo $word; done

这种格式允许我将它全部放在一个命令行中.将"echo $ word"部分更改为您想要的任何内容,您可以发出由分号分隔的多个命令.以下示例将文件的内容用作您可能编写的另外两个脚本的参数.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done

或者,如果您打算像流编辑器一样使用它(学习sed),您可以将输出转储到另一个文件,如下所示.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done > outfile.txt

我已经使用了上面这些,因为我已经使用了文本文件,我用它创建了每行一个单词.(请参阅注释)如果你有空格,你不想拆分你的单词/行,它会变得有点丑陋,但同样的命令仍然如下工作:

OLDIFS=$IFS; IFS=$'\n'; for line in $(cat peptides.txt); do cmd_a.sh $line; cmd_b.py $line; done > outfile.txt; IFS=$OLDIFS

这只是告诉shell只分裂换行符,而不是空格,然后将环境返回到之前的状态.此时,您可能需要考虑将所有内容放入shell脚本中,而不是将其全部压缩到一行中.

祝你好运!

Answer 5

还有一些其他答案未涵盖的内容:

从分隔文件中读取

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

使用进程替换从另一个命令的输出中读取

while read -r line; do
  # process the line
done < <(command ...)

这种方法比command ... | while read -r line; do ...因为while循环在当前shell而不是子shell中运行更好,因为后者的情况.查看相关帖子不记得在while循环中修改的变量.

例如,从空分隔的输入读取 find ... -print0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

相关阅读:BashFAQ/020 - 如何查找并安全处理包含换行符,空格或两者的文件名？

一次从多个文件中读取

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

根据@ chepner的答案在这里:

-u是一个bash扩展.对于POSIX兼容性,每个调用看起来都像read -r X <&3.

将整个文件读入数组(Bash版本早于4)

while read -r line; do
    my_array+=("$line")
done < my_file

如果文件以不完整的行结束(结尾处缺少换行符),则:

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

将整个文件读入数组(Bash版本4x及更高版本)

readarray -t my_array < my_file

要么

mapfile -t my_array < my_file

然后

for line in "${my_array[@]}"; do
  # process the lines
done

• 有关shell内置命令read和readarray命令的更多信息- GNU

• 更多关于IFS- 维基百科

• BashFAQ/001 - 如何逐行(和/或逐字段)读取文件(数据流,变量)？

相关文章:

• 在Bash中从文本文件创建数组
• 读取只有一行文件的方法有什么区别？
• 与cat相比,Bash读取循环速度极慢,为什么？

Answer 6

使用while循环,如下所示:

while IFS= read -r line; do
   echo "$line"
done <file

笔记:

1. 如果没有IFS正确设置,则会丢失缩进.

2. 您应该几乎总是将-r选项与read一起使用.

3. 不要读行 for

Answer 7

假设你有这个文件:

$ cat /tmp/test.txt
Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR

有四个元素会改变许多Bash解决方案读取的文件输出的含义:

1. 空白行4;
2. 两条线上的前导或尾随空格;
3. 保持各条线的含义(即每条线都是记录);
4. 第6行没有以CR结尾.

如果您希望逐行包含空行和没有CR的终止行的文本文件,则必须使用while循环,并且必须对最后一行进行备用测试.

以下是可能更改文件的方法(与cat返回的内容相比):

1)丢失最后一行以及前导和尾随空格:

$ while read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'

(如果while IFS= read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt改为,则保留前导和尾随空格,但如果未以CR终止,则仍会丢失最后一行)

2)使用进程替换cat将在一个gulp中读取整个文件并失去各行的含义:

$ for p in "$(cat /tmp/test.txt)"; do printf "%s\n" "'$p'"; done
'Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR'

(如果你"从中删除$(cat /tmp/test.txt)你逐字逐句阅读文件而不是一口气.也可能不是意图......)

逐行读取文件并保留所有间距的最强大和最简单的方法是:

$ while IFS= read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'    Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space    '
'Line 6 has no ending CR'

如果您想剥离领先和交易空间,请删除该IFS=部分:

$ while read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'
'Line 6 has no ending CR'

(没有终止的文本文件\n,而相当普遍,被认为是POSIX断下.如果你能在后指望\n你不需要|| [[ -n $line ]]的while循环.)

更多BASH常见问题解答

Answer 8

如果您不希望您的阅读被换行符破坏,请使用 -

#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
    echo "$line"
done < "$1"

然后以文件名作为参数运行脚本.

Answer 9

我喜欢用xargs代替while. xargs功能强大且命令行友好

cat peptides.txt | xargs -I % sh -c "echo %"

使用xargs，您还可以添加详细信息-t和验证-p

Answer 10

这可能是最简单的答案，也许并不适用于所有情况，但它对我来说非常有用：

while read line;do echo "$line";done<peptides.txt

如果需要用括号括起空格：

while read line;do echo \"$line\";done<peptides.txt

啊，这与获得最多支持的答案几乎相同，但都在一行。

Answer 11

#!/bin/bash
#
# Change the file name from "test" to desired input file 
# (The comments in bash are prefixed with #'s)
for x in $(cat test.txt)
do
    echo $x
done