标签: batch-processing

boto dynamodb:有没有办法优化批量写入?

我正在将大量数据索引到 DynamoDB 中,并尝试批量写入以增加实际吞吐量(即加快索引速度)。这是一段代码(是原始来源):

def do_batch_write(items,conn,table):
    batch_list = conn.new_batch_write_list()
    batch_list.add_batch(table, puts=items)
    while True:
            response = conn.batch_write_item(batch_list)
            unprocessed = response.get('UnprocessedItems', None)
            if not unprocessed:
                    break
            # identify unprocessed items and retry batch writing
Run Code Online (Sandbox Code Playgroud)

我正在使用 boto 版本 2.8.0。如果items元素超过 25 个,则会出现异常。有没有办法增加这个限制?此外,我注意到有时,即使items较短,也无法一次尝试处理所有这些。但是这种情况发生的频率或尝试后有多少元素未处理,与 的原始长度之间似乎没有相关性items有没有办法避免这种情况并一次性写出所有内容?现在,最终目标是加快处理速度,而不仅仅是避免重复,因此在连续尝试之间长时间休眠不是一种选择。

谢谢

batch-processing boto amazon-dynamodb

4
推荐指数
1
解决办法
1万
查看次数

如何使用adb shell移动文件?

如何使用adb shell移动文件?例如,我想将SystemUI.apk从/ system移动到/ system/app

我没有找到任何使用adb shell在系统分区内移动文件的命令.有谁知道怎么做?

shell cmd batch-file adb batch-processing

4
推荐指数
1
解决办法
2万
查看次数

Robocopy成为无限循环

我在C:\ batch中有一个robocopy批处理文件.这是批处理文件:

set LOG="C:\Log\robolog.txt"
set START1="C:\WORK"
set END1="\\fs-02\Work"

Robocopy %START1% %END1% /MIR /PURGE /SEC /SECFIX /R:1 /W:5 /V /ETA /LOG:%LOG%
Run Code Online (Sandbox Code Playgroud)

我的问题是,如果我从包含此批处理文件的位置(c:\ batch)打开cmd并从那里运行它,它只是一遍又一遍地运行它并且永远不会结束....我甚至无法终止cmd .... Ctrl+C只会加快循环.....

但如果cmd start location位于其他位置,则批处理文件将运行并完成.

知道为什么我不能直接从包含它的位置运行这个robocopy批处理文件吗?

windows batch-file batch-processing

4
推荐指数
1
解决办法
4363
查看次数

使用命令行选项禁用SSHAgent

如何通过命令行选项告诉ssh不使用SSH-Agent?

ssh -a做一些不同的事情。它不转发代理,而是使用它。

我阅读了手册页,但找不到解决方案。

取消设置SSH_AUTH_SOCK会起作用,但是在我的上下文中,命令行选项会更好。

ssh batch-processing

4
推荐指数
2
解决办法
1305
查看次数

Debian下的Sox批处理程序

我想重新采样我在文件夹上获得的一堆wav文件.

我的脚本是这样的:

for f in *.wav; do sox “$f” -r 48000 “${f%%%.wav}.wav”; done
Run Code Online (Sandbox Code Playgroud)

控制台给我这个错误:"sox FAIL格式:无法打开输入文件`"90.wav"':没有这样的文件或目录"等等,放置在该文件夹上的300个文件.

如何批量处理这些文件?为什么它给我这个错误?

非常感谢!

解:

for i in *wav; do echo $i; sox $i -r 48000 ${i%%.wav}r.wav; done
Run Code Online (Sandbox Code Playgroud)

linux bash sox batch-processing

4
推荐指数
1
解决办法
4196
查看次数

使用Mac Terminal将.ai批量转换为.svg

我有一个包含数千个.ai文件的文件夹,我想使用Mac终端将其批量转换为.svg文件。

到目前为止,我是通过Adobe Illustrator进行的,但是将.ai批量转换为.svg需要花几天的时间。

有什么办法可以通过终端吗?

PS请记住,我不是软件开发人员,而是普通用户,因此请尽可能详细地解释,否则我会迷路,需要进一步的说明:)

谢谢

macos svg batch-processing

4
推荐指数
2
解决办法
2348
查看次数

Python:根据文件名将文件移动到文件夹

我有一个包含 10 个图像的文件夹,我希望根据它的当前文件名移动到一个新文件夹中。我已经成功地将文件夹中的每个图像移动到一个新文件夹中,到目前为止我已经成功地将每个图像文件名移动到了自己的文件夹中,但我还没有弄清楚如何移动所有图像相同的文件名放入一个文件夹,另一个放入另一个文件夹。例如下面我想相应地移动图像。

  • 1600_01.jpg ---> 文件夹 1
  • 1700_01.jpg ---> 文件夹 1
  • 1800_02.jpg ---> 文件夹 2
  • 1900_02.jpg ---> 文件夹 2
  • 2000_03.jpg ---> 文件夹 3
  • 2100_03.jpg ---> 文件夹 3

到目前为止,这是我通过基于文件名创建新文件夹将图像文件移动到新文件夹的代码。我得到了制作文件夹的部分,但是当它为所有图像创建单独的图像文件夹时我很困惑。

import os, shutil, glob

#Source file 
sourcefile = 'Desktop/00/'

# for loop then I split the names of the image then making new folder 
for file_path in glob.glob(os.path.join(sourcefile, '*.jpg*')):
    new_dir = file_path.rsplit('.', 1)[0]    
    # If folder does not exist try making new one
    try:
        os.mkdir(os.path.join(sourcefile, new_dir))
    # except error then pass
    except …
Run Code Online (Sandbox Code Playgroud)

python image batch-processing python-imaging-library python-3.x

4
推荐指数
1
解决办法
1万
查看次数

如何使用 Spring Batch 将 JPARepository 与 ItemReader 连接?

我需要使用 spring 批处理从 ItemReader 与 jpa 存储库连接,以便数据库到文本文件导出。但截至目前,我尝试使用 JdbcCursorItemReader 类从数据库中检索数据。我需要使用 spring 数据 jpa 与 Repository 连接。

下面是我使用的代码

    @Bean
    public ItemReader<Object> databaseCsvItemReader(@Qualifier("dataSource") DataSource dataSource) throws Exception {
        JdbcCursorItemReader<Object> reader = new JdbcCursorItemReader<Object>();
        reader.setSql(QUERY);
        reader.setDataSource(dataSource);
        reader.setRowMapper(new BeanPropertyRowMapper<>(Object.class));
        return reader;

    }
Run Code Online (Sandbox Code Playgroud)

从这位读者那里,我需要使用 Jpa 而不是普通的 jdbc 进行连接,任何人都可以帮助我解决这个问题或参考它可能会帮助我使用 jpa。

spring batch-processing spring-batch

4
推荐指数
1
解决办法
4499
查看次数

如何在 Google Cloud 中运行无服务器批处理作业

我有一个需要几个小时才能运行的批处理作业。如何在 Google Cloud 上以无服务器方式运行它?

AppEngine、Cloud Functions 和 Cloud Run 的时间限制为 10-15 分钟。我不想在 Apache Beam 中重写我的代码。

是否有等效于 Google Cloud 上的 AWS Batch?

batch-processing google-cloud-platform google-cloud-functions serverless google-cloud-run

4
推荐指数
2
解决办法
1963
查看次数

如何批量处理色度关键照片(屏蔽绿屏)

目标

我有数百张图片,它们看起来都与此处的这张图片相似:

源照片 我只是想使用绿色屏幕为每个看起来像这里的图像创建一个蒙版(最好将边框稍微平滑一点):

面具

如果您想进行测试,这里是原始图像:https : //mega.nz/# !0YJnzAJR! GRYI4oNWcsKztHGoK7e4uIv_GvXBjMvyry7cPmyRpRA


我试过的

我找到了这篇文章,其中用户使用 Imagemagick 来实现色度键控。

for i in *; do convert $i -colorspace HSV -separate +channel \
  \( -clone 0 -background none -fuzz 3% +transparent grey43 \) \
  \( -clone 1 -background none -fuzz 10% -transparent grey100 \) \
  -delete 0,1 -alpha extract -compose Multiply -composite \
  -negate mask_$i; done;
Run Code Online (Sandbox Code Playgroud)

但无论我如何调整数字,结果都不完美: 结果


我觉得自己很傻,这么简单的问题我自己都找不到解决办法。另请注意,我使用的是 Linux。所以没有Photoshop或After Effects!:)

但我确信必须有一个解决方案来解决这个问题。

更新 1

我已经使用刚试过这种蓝绿脚本fmw42运行./greenscreen infile.jpg outfile.png,我相当满意的结果。 但是处理一张图像大约需要 40 秒,这导致我所有图像的总时间为 …

image imagemagick image-processing batch-processing chromakey

4
推荐指数
1
解决办法
2495
查看次数