我正在尝试使用以下命令填充文件夹中 .fits 文件的所有名称:
ls *.fits > output_all.txt
Run Code Online (Sandbox Code Playgroud)
文件夹中 .fits 文件的数量 >330k,我收到错误消息
bash: /usr/bin/ls: Argument list too long
Run Code Online (Sandbox Code Playgroud)
我该如何解决这个问题?
或者,也可以完全避免创建该文件output_all.txt
。我只需要它告诉STILTS工具使用此命令将哪些 .fits 文件合并到大型 .fits 文件中
stilts tcat in=@output_all.txt out=table_stilts.fits icmd='keepcols "FLUX LOGLAM"'
Run Code Online (Sandbox Code Playgroud)
如果您知道一种方法告诉 STILTS 接受目录而不是文件作为输入,它将解决我的问题ls
。总氮
在 中ls *.fits
,shell 完成了查找以 结尾.fits
且不以 .开头的文件名的所有艰苦工作.
。
然后它将该列表传递给ls
,后者对其进行排序(同样,因为 shell glob 在传递给 之前已经对列表进行了排序ls
)并在之后显示它(按列或每行一个,具体取决于实现以及输出是否发送到终端)检查每个文件是否存在。
所以这有点适得其反,特别是考虑到:
--
选项分隔符,因此任何以 开头的文件名-
都会导致问题。-d
选项,因此如果任何文件属于目录类型,ls
则会列出其内容而不是其本身。ls
是来自 shell 的单独命令(在大多数 shell 中,包括bash
),它最终必须使用execve()
系统调用在单独的进程中执行,并且最终会超出其对参数和环境变量的累积大小的限制。如果您只需要打印 shell 生成的列表*.fits
,则可以使用printf
大多数 shell 中内置的(因此不会调用execve()
及其限制):
printf '%s\n' *.fits > output_all.txt
Run Code Online (Sandbox Code Playgroud)
但这留下了一个问题:
如果*.fits
不匹配任何文件,则在bash
shell中*.fits
保持原样,因此printf
最终将打印*.fits<newline>
.
Whilels
会给你一个关于该不存在的*.fits
文件的错误消息并保留为output_all.txt
空。
nullglob
这可以通过选项(bash 从 bash 复制zsh
)来更改,这会导致*.fits
扩展为空。但随后我们遇到了另一个问题:当除了格式之外没有传递任何参数时,printf
仍然会像传递空参数一样遍历一次格式,因此最终会在output_all.txt
.
可以通过以下方法解决这个问题:
shopt -s nullglob
println() {
[ "$#" -eq 0 ] || printf '%s\n' "$@"
}
println *.fits > output_all.txt
Run Code Online (Sandbox Code Playgroud)
如果你可以切换到zsh
而不是bash
,它会变得更容易:
print -rC1 -- *.fits(N) > output_all.txt
Run Code Online (Sandbox Code Playgroud)
whereN
启用nullglob
该 glob 并在 olumn 上print -rC1
打印其参数r
aw 1
C
,这里重要的是:如果未传递任何参数,则不打印任何内容。
使用,您还可以使用glob 限定符(例如)zsh
将列表限制为仅常规文件(不包括目录、符号链接、fifos..) ,或使用( )...包含隐藏文件.
*.fits(N.)
D
*.fits(ND.)
最后,您也可以始终推迟find
查找文件,但如果您确实需要对列表进行排序并排除隐藏文件,并避免使用前缀./
,那么这也会很快变得乏味,并且您需要 GNU 扩展。例如,对于相当于print -rC1 -- *.fits(N.)
:
LC_ALL=C find . -maxdepth 1 ! -name '.*' -type f -printf '%P\0' |
sort -z | tr '\0' '\n' > output_all.txt
Run Code Online (Sandbox Code Playgroud)