需要裁剪+调整大小~300000个文件.运行时间= 4天以上.如何加速我的bash脚本?

Bri*_*n C 3 bash runtime imagemagick mogrify imagemagick-convert

我正在制作视频游戏中时光倒流.我拍的所有照片都是以4:3宽高比拍摄的.jpg图像.2592x1944分辨率.我希望他们在1920x1080时都是16:9.

我写了一个小脚本来做这个,但过程不是很快.我花了大约17分钟来裁剪和调整750张图片.我总共需要处理大约300,000个,并且可能会在大约50,000个批次中进行处理.这是每批18小时45分钟,计算总计超过4.5天.

那么有谁知道我可以加快这个计划的方式?

这是我写的bash脚本:

#!/bin/bash  

mkdir cropped

for f in *.JPG
do
    convert $f -resize 1920x1440 -set filename:name '%t' cropped/'%[filename:name].JPG' #Resize Photo, maintain aspect ratio
    convert cropped/$f -crop 1920x1080+0+$1 -set filename:name '%t' cropped/'%[filename:name].JPG' #Crop to 16:9 aspect ratio, takes in $1 argument for where to begin crop
done

echo Cropping Complete!
Run Code Online (Sandbox Code Playgroud)

在循环中每行之前和之后放置一些echo命令会发现调整大小比裁剪花费的时间多得多,我想这并不奇怪.我已经尝试mogrify -path cropped -resize 1920x1440! $f过代替使用,convert $f -resize但似乎没有太大的速度差异.

那么,我可以用任何方式加快运行时间吗?

奖励积分如果你能告诉我一个简单的方法,在程序运行时给出一个简单的进度指示(类似"750个文件中的421个,完成56.13%").

如果您可以添加命令从每个帧输出.mp4文件,可以在SONY Vegas等软件程序中编辑,可以获得额外奖励积分.我已经设法使用这些照片中的mencoder制作视频文件(.avi),但最终的视频无法在我尝试过的任何视频编辑器中使用.

Mar*_*ell 5

一些事情让人想起......

首先,不要为每个图像启动两次ImageMagick,一次调整大小,一次调整它就可以一次完成两个操作.所以,convert我只做一个,而不是你的两个命令

convert image.jpg -resize 1920x1440 -crop 1920x1080+0+$1 cropped/image.jpg
Run Code Online (Sandbox Code Playgroud)

其次,我看不到你在使用set命令做什么,有文件名,但你可以在shell中做到这一点.

第三,我建议你使用GNU Parallel(我每天定期处理超过65,000张图像).它易于安装,并确保您支付的所有可爱CPU核心保持忙碌状态.使用它的最简单方法是,不是运行命令,而是回显它们并将它们输入parallel

#!/bin/bash  
mkdir cropped

for f in *.jpg
do
   echo convert \"$f\" -resize 1920x1440 -crop 1920x1080+0+$1 cropped/\"$f\"
done  | parallel

echo Cropping Complete!
Run Code Online (Sandbox Code Playgroud)

最后,如果您想要一个进度表,或者指示完成了多少以及剩下要做什么,请使用--eta选项(eta =预计到达时间)parallel,它会告诉您有多少作业和剩余时间.

当你对自己有信心时,parallel可能会像这样运行你的整个过程:

parallel --eta convert {} -resize 1920x1440 -crop 1920x1080+0+32 cropped/{} ::: *.jpg
Run Code Online (Sandbox Code Playgroud)

我创建了750张与你相同尺寸的图像并以这种方式运行它们需要我的中等规格iMac 55秒来调整大小并裁剪很多 - YMMV.请添加评论并说明你的表现 - 处理时间有多长parallel.