在许多文件上使用 ls 会导致错误“bash:参数列表太长”

NeS*_*ack 1 ls bash

我正在尝试使用以下命令填充文件夹中 .fits 文件的所有名称:

ls *.fits > output_all.txt
Run Code Online (Sandbox Code Playgroud)

文件夹中 .fits 文件的数量 >330k,我收到错误消息

bash: /usr/bin/ls: Argument list too long
Run Code Online (Sandbox Code Playgroud)

我该如何解决这个问题?

或者,也可以完全避免创建该文件output_all.txt。我只需要它告诉STILTS工具使用此命令将哪些 .fits 文件合并到大型 .fits 文件中

stilts tcat in=@output_all.txt out=table_stilts.fits icmd='keepcols "FLUX LOGLAM"'
Run Code Online (Sandbox Code Playgroud)

如果您知道一种方法告诉 STILTS 接受目录而不是文件作为输入,它将解决我的问题ls。总氮

Sté*_*las 7

在 中ls *.fits,shell 完成了查找以 结尾.fits且不以 .开头的文件名的所有艰苦工作.

然后它将该列表传递给ls,后者对其进行排序(同样,因为 shell glob 在传递给 之前已经对列表进行了排序ls)并在之后显示它(按列或每行一个,具体取决于实现以及输出是否发送到终端)检查每个文件是否存在。

所以这有点适得其反,特别是考虑到:

  • 您忘记了--选项分隔符,因此任何以 开头的文件名-都会导致问题。
  • 您忘记了该-d选项,因此如果任何文件属于目录类型,ls则会列出其内容而不是其本身。
  • asls是来自 shell 的单独命令(在大多数 shell 中,包括bash),它最终必须使用execve()系统调用在单独的进程中执行,并且最终会超出其对参数和环境变量的累积大小的限制。

如果您只需要打印 shell 生成的列表*.fits,则可以使用printf大多数 shell 中内置的(因此不会调用execve()及其限制):

printf '%s\n' *.fits > output_all.txt
Run Code Online (Sandbox Code Playgroud)

但这留下了一个问题:

如果*.fits不匹配任何文件,则在bashshell中*.fits保持原样,因此printf最终将打印*.fits<newline>.

Whilels会给你一个关于该不存在的*.fits文件的错误消息并保留为output_all.txt空。

nullglob这可以通过选项(bash 从 bash 复制zsh)来更改,这会导致*.fits扩展为空。但随后我们遇到了另一个问题:当除了格式之外没有传递任何参数时,printf仍然会像传递空参数一样遍历一次格式,因此最终会在output_all.txt.

可以通过以下方法解决这个问题:

shopt -s nullglob
println() {
  [ "$#" -eq 0 ] || printf '%s\n' "$@"
}
println *.fits > output_all.txt
Run Code Online (Sandbox Code Playgroud)

如果你可以切换到zsh而不是bash,它会变得更容易:

print -rC1 -- *.fits(N) > output_all.txt
Run Code Online (Sandbox Code Playgroud)

whereN启用nullglob该 glob 并在 olumn 上print -rC1打印其参数raw 1 C,这里重要的是:如果未传递任何参数,则不打印任何内容。

使用,您还可以使用glob 限定符(例如)zsh将列表限制为仅常规文件(不包括目录、符号链接、fifos..) ,或使用( )...包含隐藏文件.*.fits(N.)D*.fits(ND.)


最后,您也可以始终推迟find查找文件,但如果您确实需要对列表进行排序并排除隐藏文件,并避免使用前缀./,那么这也会很快变得乏味,并且您需要 GNU 扩展。例如,对于相当于print -rC1 -- *.fits(N.)

LC_ALL=C find . -maxdepth 1 ! -name '.*' -type f -printf '%P\0' |
  sort -z | tr '\0' '\n' > output_all.txt
Run Code Online (Sandbox Code Playgroud)