那些遇到过的问题

如何将 basename 与并行一起使用？

Fra*_*izu 3 shell basename gnu-parallel

我在 Linux 系统上有这样的文件：

    10S1_S5_L002_chrm.fasta  SRR3184711_chrm.fasta    SRR3987378_chrm.fasta  SRR4029368_chrm.fasta  SRR5204465_chrm.fasta    SRR5997546_chrm.fasta
13_S7_L003_chrm.fasta    SRR3184712_chrm.fasta    SRR3987379_chrm.fasta  SRR4029369_chrm.fasta  SRR5204520_chrm.fasta    SRR5997547_chrm.fasta
14_S8_L003_chrm.fasta    SRR3184713_chrm.fasta    SRR3987380_chrm.fasta  SRR4029370_chrm.fasta  SRR5208699_chrm.fasta    SRR5997548_chrm.fasta
17_S4_L002_chrm.fasta    SRR3184714_chrm.fasta    SRR3987415_chrm.fasta  SRR4029371_chrm.fasta  SRR5208700_chrm.fasta    SRR5997549_chrm.fasta
3_S1_L001_chrm.fasta     SRR3184715_chrm.fasta    SRR3987433_chrm.fasta  SRR4029372_chrm.fasta  SRR5208701_chrm.fasta    SRR5997550_chrm.fasta
4_S2_L001_chrm.fasta     SRR3184716_chrm.fasta    SRR3987482_chrm.fasta  SRR4029373_chrm.fasta  SRR5208770_chrm.fasta    SRR5997551_chrm.fasta
50m_S10_L004_chrm.fasta  SRR3184717_chrm.fasta    SRR3987489_chrm.fasta  SRR4029374_chrm.fasta  SRR5208886_chrm.fasta    SRR5997552_chrm.fasta
5_S3_L001_chrm.fasta     SRR3184718_chrm.fasta    SRR3987493_chrm.fasta  SRR4029375_chrm.fasta  SRR5211153_chrm.fasta    SRR6050903_chrm.fasta
65m_S11_L005_chrm.fasta  SRR3184719_chrm.fasta    SRR3987495_chrm.fasta  SRR4029376_chrm.fasta  SRR5211162_chrm.fasta    SRR6050905_chrm.fasta
6_S6_L002_chrm.fasta     SRR3184720_chrm.fasta    SRR3987647_chrm.fasta  SRR4029377_chrm.fasta  SRR5211163_chrm.fasta    SRR6050920_chrm.fasta
70m_S12_L006_chrm.fasta  SRR3184721_chrm.fasta    SRR3987651_chrm.fasta  SRR4029378_chrm.fasta  SRR5215118_chrm.fasta    SRR6050921_chrm.fasta
80m_S1_L002_chrm.fasta   SRR3184722_chrm.fasta    SRR3987657_chrm.fasta  SRR4029379_chrm.fasta  SRR5247122_chrm.fasta    SRR6050958_chrm.fasta
Run Code Online (Sandbox Code Playgroud)

总共有 423 个，我被要求将它们分成 32 个部分，以便在 32 个 CPU 上实现最佳并行化 所以现在我有了这个：

    10S1_S5_L002_chrm.part-10.fasta  SRR3986254_chrm.part-26.fasta  SRR4029372_chrm.part-22.fasta    SRR5581526-1_chrm.part-20.fasta
10S1_S5_L002_chrm.part-11.fasta  SRR3986254_chrm.part-27.fasta  SRR4029372_chrm.part-23.fasta    SRR5581526-1_chrm.part-21.fasta
10S1_S5_L002_chrm.part-12.fasta  SRR3986254_chrm.part-28.fasta  SRR4029372_chrm.part-24.fasta    SRR5581526-1_chrm.part-22.fasta
10S1_S5_L002_chrm.part-13.fasta  SRR3986254_chrm.part-29.fasta  SRR4029372_chrm.part-25.fasta    SRR5581526-1_chrm.part-23.fasta
10S1_S5_L002_chrm.part-14.fasta  SRR3986254_chrm.part-2.fasta   SRR4029372_chrm.part-26.fasta    SRR5581526-1_chrm.part-24.fasta
10S1_S5_L002_chrm.part-15.fasta  SRR3986254_chrm.part-30.fasta  SRR4029372_chrm.part-27.fasta    SRR5581526-1_chrm.part-25.fasta
10S1_S5_L002_chrm.part-16.fasta  SRR3986254_chrm.part-31.fasta  SRR4029372_chrm.part-28.fasta    SRR5581526-1_chrm.part-26.fasta
10S1_S5_L002_chrm.part-17.fasta  SRR3986254_chrm.part-32.fasta  SRR4029372_chrm.part-29.fasta    SRR5581526-1_chrm.part-27.fasta
10S1_S5_L002_chrm.part-18.fasta  SRR3986254_chrm.part-3.fasta   SRR4029372_chrm.part-2.fasta     SRR5581526-1_chrm.part-28.fasta
10S1_S5_L002_chrm.part-19.fasta  SRR3986254_chrm.part-4.fasta   SRR4029372_chrm.part-30.fasta    SRR5581526-1_chrm.part-29.fasta
10S1_S5_L002_chrm.part-1.fasta   SRR3986254_chrm.part-5.fasta   SRR4029372_chrm.part-3.fasta     SRR5581526-1_chrm.part-2.fasta
10S1_S5_L002_chrm.part-20.fasta  SRR3986254_chrm.part-6.fasta   SRR4029372_chrm.part-4.fasta     SRR5581526-1_chrm.part-30.fasta
10S1_S5_L002_chrm.part-21.fasta  SRR3986254_chrm.part-7.fasta   SRR4029372_chrm.part-5.fasta     SRR5581526-1_chrm.part-31.fasta
Run Code Online (Sandbox Code Playgroud)

我想应用来自 CRISPRCasFinder 工具的命令 该命令在我单独使用 1namefile.fasta 时运行良好 该命令在我使用parallelon时也运行良好namefile.part*.fasta。

但是当我尝试通过使用使命令更通用时basename，没有任何效果。我想用来将basename输入文件的名称保留在输出文件夹中。

我在较小的数据集上尝试了这个：

time parallel 'dossierSortie=$(basename -s .fasta {}) ; singularity exec -B $PWD /usr/local/CRISPRCasFinder-release-4.2.20/CrisprCasFinder.simg perl /usr/local/CRISPRCasFinder/CRISPRCasFinder.pl -so /usr/local/CRISPRCasFinder/sel392v2.so -cf /usr/local/CRISPRCasFinder/CasFinder-2.0.3 -drpt /usr/local/CRISPRCasFinder/supplementary_files/repeatDirection.tsv -rpts /usr/local/CRISPRCasFinder/supplementary_files/Repeat_List.csv -cas -def G --meta -out /databis/defontis/Dossier_fasta_chrm_avec_CRISPRCasFinder/Test/Result{} -in /databis/defontis/Dossier_fasta_chrm_avec_CRISPRCasFinder/Test/{}' ::: *_chrm.part*.fasta
Run Code Online (Sandbox Code Playgroud)

它做到了这一点

    ERR358546_chrm.part-1.fasta    SRR4029114_k141_23527.fna.bck   SRR5100341_k141_10416.fna.lcp   SRR5100345_k141_3703.fna.al1
ERR358546_chrm.part-2.fasta    SRR4029114_k141_23527.fna.bwt   SRR5100341_k141_10416.fna.llv   SRR5100345_k141_3703.fna.bck
ERR358546_chrm.part-3.fasta    SRR4029114_k141_23527.fna.des   SRR5100341_k141_10416.fna.ois   SRR5100345_k141_3703.fna.bwt
ERR358546_chrm.part-4.fasta    SRR4029114_k141_23527.fna.lcp   SRR5100341_k141_10416.fna.prj   SRR5100345_k141_3703.fna.des
ERR358546_chrm.part-5.fasta    SRR4029114_k141_23527.fna.llv   SRR5100341_k141_10416.fna.sds   SRR5100345_k141_3703.fna.lcp
ERR358546_chrm.part-6.fasta    SRR4029114_k141_23527.fna.ois   SRR5100341_k141_10416.fna.sti1  SRR5100345_k141_3703.fna.llv
ERR358546_k141_26987.fna       SRR4029114_k141_23527.fna.prj   SRR5100341_k141_10416.fna.suf   SRR5100345_k141_3703.fna.ois
ERR358546_k141_33604.fna       SRR4029114_k141_23527.fna.sds   SRR5100341_k141_10416.fna.tis   SRR5100345_k141_3703.fna.prj
ERR358546_k141_90631.fna       SRR4029114_k141_23527.fna.sti1  SRR5100341_k141_10942.fna       SRR5100345_k141_3703.fna.sds
ResultERR358546_chrm.part-3    SRR4029114_k141_23527.fna.suf   SRR5100341_k141_164.fna         SRR5100345_k141_3703.fna.sti1
ResultERR358546_chrm.part-4    SRR4029114_k141_23527.fna.tis   SRR5100341_k141_3046.fna        SRR5100345_k141_3703.fna.suf
ResultSRR4029114_chrm.part-1   SRR5100341_chrm.part-10.fasta   SRR5100341_k141_3968.fna        SRR5100345_k141_3703.fna.tis
ResultSRR4029114_chrm.part-4   SRR5100341_chrm.part-11.fasta   SRR5100341_k141_631.fna         SRR5100345_k141_4429.fna
ResultSRR5100341_chrm.part-10  SRR5100341_chrm.part-12.fasta   SRR5100341_k141_6376.fna        SRR5100345_k141_4832.fna
ResultSRR5100341_chrm.part-11  SRR5100341_chrm.part-13.fasta   SRR5100341_k141_8699.fna        SRR5100345_k141_6139.fna
ResultSRR5100341_chrm.part-3   SRR5100341_chrm.part-1.fasta    SRR5100341_k141_8892.fna        SRR5100345_k141_731.fna
ResultSRR5100341_chrm.part-9   SRR5100341_chrm.part-2.fasta    SRR5100345_chrm.part-10.fasta   SRR5100345_k141_731.fna.al1
ResultSRR5100345_chrm.part-1   SRR5100341_chrm.part-3.fasta    SRR5100345_chrm.part-1.fasta    SRR5100345_k141_731.fna.bck
ResultSRR5100345_chrm.part-4   SRR5100341_chrm.part-4.fasta    SRR5100345_chrm.part-2.fasta    SRR5100345_k141_731.fna.bwt
ResultSRR5100345_chrm.part-9   SRR5100341_chrm.part-5.fasta    SRR5100345_chrm.part-3.fasta    SRR5100345_k141_731.fna.des
SRR4029114_chrm.part-1.fasta   SRR5100341_chrm.part-6.fasta    SRR5100345_chrm.part-4.fasta    SRR5100345_k141_731.fna.lcp
SRR4029114_chrm.part-2.fasta   SRR5100341_chrm.part-7.fasta    SRR5100345_chrm.part-5.fasta    SRR5100345_k141_731.fna.llv
SRR4029114_chrm.part-3.fasta   SRR5100341_chrm.part-8.fasta    SRR5100345_chrm.part-6.fasta    SRR5100345_k141_731.fna.ois
SRR4029114_chrm.part-4.fasta   SRR5100341_chrm.part-9.fasta    SRR5100345_chrm.part-7.fasta    SRR5100345_k141_731.fna.prj
SRR4029114_chrm.part-5.fasta   SRR5100341_k141_10416.fna       SRR5100345_chrm.part-8.fasta    SRR5100345_k141_731.fna.sds
SRR4029114_k141_14384.fna      SRR5100341_k141_10416.fna.al1   SRR5100345_chrm.part-9.fasta    SRR5100345_k141_731.fna.sti1
SRR4029114_k141_16765.fna      SRR5100341_k141_10416.fna.bck   SRR5100345_k141_1211.fna        SRR5100345_k141_731.fna.suf
SRR4029114_k141_23527.fna      SRR5100341_k141_10416.fna.bwt   SRR5100345_k141_2884.fna        SRR5100345_k141_731.fna.tis
SRR4029114_k141_23527.fna.al1  SRR5100341_k141_10416.fna.des   SRR5100345_k141_3703.fna
Run Code Online (Sandbox Code Playgroud)

文件夹的名称不好，因为我想要例如只是ResultERR358546而不是ResultERR358546_chrm.part-2.fasta 我不想要每个部分的结果，而只想要每个 ID。

ste*_*ver 6

您的basename命令仅删除固定.fasta扩展名 - 据我所知它不能删除可变模式。

然而，GNUparallel提供了一个Perl 表达式替换字符串工具，它比basename-ex强大得多。给予

$ ls *_chrm.part*.fasta
ERR358546_chrm.part-2.fasta  ERR358546_chrm.part-5.fasta  ERR358546_chrm.part-8.fasta
ERR358546_chrm.part-3.fasta  ERR358546_chrm.part-6.fasta  ERR358546_chrm.part-9.fasta
ERR358546_chrm.part-4.fasta  ERR358546_chrm.part-7.fasta
Run Code Online (Sandbox Code Playgroud)

然后

$ parallel echo Result'{= s:_.*$:: =}' ::: *_chrm.part*.fasta
ResultERR358546
ResultERR358546
ResultERR358546
ResultERR358546
ResultERR358546
ResultERR358546
ResultERR358546
ResultERR358546
Run Code Online (Sandbox Code Playgroud)

其中替换s:_.*$::将下划线后的所有内容替换为空。移植到你原来的命令：

time parallel ' 
  singularity exec -B "$PWD" /usr/local/CRISPRCasFinder-release-4.2.20/CrisprCasFinder.simg \
  perl /usr/local/CRISPRCasFinder/CRISPRCasFinder.pl \
  -so /usr/local/CRISPRCasFinder/sel392v2.so \
  -cf /usr/local/CRISPRCasFinder/CasFinder-2.0.3 \
  -drpt /usr/local/CRISPRCasFinder/supplementary_files/repeatDirection.tsv \
  -rpts /usr/local/CRISPRCasFinder/supplementary_files/Repeat_List.csv \
  -cas -def G --meta \
  -out /databis/defontis/Dossier_fasta_chrm_avec_CRISPRCasFinder/Test/Result'{= s:_.*$:: =}' \
  -in /databis/defontis/Dossier_fasta_chrm_avec_CRISPRCasFinder/Test/{}
' ::: *_chrm.part*.fasta
Run Code Online (Sandbox Code Playgroud)

如果要捕获并包含零件索引，可以将表达式修改为

Result'{= s:_chrm\.part-(\d+)\.fasta$:_$1: =}'
Run Code Online (Sandbox Code Playgroud)

或者

'{= s:_chrm\.part-(\d+)\.fasta$:Result_$1: =}'
Run Code Online (Sandbox Code Playgroud)

例如。

归档时间：

查看次数：

183 次

最近记录：

4 年，3 月 前
相关归档
通过变量名获取环境变量？ 56
如何显示终端 shell 的进程树，包括子进程？ 51
如果某个进程安静了一段时间，则杀死该进程 9
使用通配符创建文件的符号链接 8
shell脚本中的main函数在哪里？ 8
Jenkins 应该在哪里设置环境变量 7
将浮点数转换为下一个整数而不是最近的整数？ 5
bash：对 find -exec 的错误处理 5
打印多个空行而不重复\n 5
从屏幕上的 xy 坐标读取字符 3
难疑归档
如何更改多个文件的扩展名？ 289
如何终止后台进程？ 264
如何转到终端中的上一个工作目录？ 259
如何计算目录的大小？ 220
如何清理日志文件？ 178
如何使用主机名从 LAN 访问机器 149
如何修复 CentOS 上的“无法为 repo 找到有效的 baseurl”错误？ 140
如何从 UTF-8 文件中删除 BOM？ 113
如何对除当前目录和父目录之外的每个隐藏文件进行 glob 88
为什么网络接口不像其他设备那样在 /dev 中？ 85