标签: batch-processing

当我需要从上传的CVS文件更新我的db表(大约100000-500000行)时,我有批处理.通常需要20-30分钟,有时甚至更长.

什么是最好的方法？对此有什么好的做法？任何建议将不胜感激

谢谢.

我真的不知道从哪里开始这个。我正在尝试做一些我认为用 imagemagick 完成的相对简单的事情，但我不知道开始的确切命令。我需要在图像上画一条线，然后使图像中线上方的所有内容都透明，并使线下方的所有内容，原始图像。使用 imagemagick 完成此任务的最佳方法是什么？

所以我现在想出的是裁剪图像，然后将其调整为原始大小，但背景是透明的。我使用的命令是这个，但它总是出现黑色。我不明白为什么。

convert -background none -gravity south out.png -resize 400x200 -extent 400x400 result.png

感谢所有的帮助！

我遇到过在批处理提交中使用流程链并且它的大小为 100 条记录的场景。流程链在这里的目的是什么？甚至批处理也以相同的顺序执行消息。

<batch:process-records> <batch:step name="Batch_Step" > <batch:commit doc:name="Batch Commit" size="5000"> <processor-chain doc:name="PC"> <dw:transform-message metadata:id="123" doc:name="Transform Message"> <dw:set-payload>.......</dw:set-payload> </dw:transform-message> <sfdc:create-batch config-ref="SFA_NOL_MSBI" doc:name="Salesforce"> <sfdc:job-info ref="#[flowVars.jobInfo_delete]"/> <sfdc:objects ref="#[payload]"/> </sfdc:create-batch> </processor-chain> </batch:commit></batch:step></batch:process-records>

我制作了一个批处理文件，需要在本地主机上打开浏览器并启动 java 程序。

目前简化为：

start "" http://localhost
java -start_java_program

这工作正常，但浏览器现在已经在 java 完成启动本地服务器之前启动。所以你会得到一个未找到的页面。

我无法在命令start之后执行该命令java，因为 java 一直从 .bat 文件执行。

理想情况下，我希望延迟 5 秒来调用 start，但仍然继续执行脚本并调用 java.util.concurrent.start() 。所以睡眠和超时​​之类的东西对我来说不起作用，因为 java 不会启动得那么好。

有人知道如何做到这一点吗？

谢谢！

我正在构建一个从 MYSQL 数据库读取数据并在 BigQuery 中创建副本的变更数据捕获管道。我将在 Pub/Sub 中推送更改并使用 Dataflow 将它们传输到 Google Cloud Storage。我已经能够弄清楚如何流式传输更改，但是我需要对数据库中的几个表运行批处理。

在从 Pub/Sub 等无限源读取时，能否使用 Dataflow 运行批处理作业？我可以运行此批处理作业以将数据从 Pub/Sub 传输到 Cloud Storage，然后将此数据加载到 BigQuery 吗？我想要一个批处理作业，因为流作业成本更高。

我想在 PowerShell CLI 中以及批处理脚本中实现我可以做的事情：

PS C:\Users\andreas.luckert> $timestamp = Get-Date -UFormat "%d-%m-%Y--%R-UTC%Z" | ForEach-Object { $_ -replace ":", "." }

PS C:\Users\andreas.luckert> echo $timestamp
26-11-2021--15.55-UTC+01

现在，在我的批处理脚本中，我尝试了类似于以下的方法

SET _timestamp=('Get-Date -UFormat "%d-%m-%Y--%R-UTC%Z" | ForEach-Object { $_ -replace ":", "." }')

然而，它不起作用。

像这样的解决方案对我来说看起来有点老套，批处理变量的一般说明在这种情况下没有帮助，并且与我在一开始提到的漂亮干净的 PowerShell 命令相比，所有这些方法在语法方面都非常丑陋。此外，它们都不包括时区，这对我来说很重要。

请看下面的代码.它工作但是在goto:EOF它停止脚本并且不完成它下面的内容.有工作吗？当然还有更多的脚本,但是goto:EOF需要在那里才能工作.

:stripdup

 >_.vbs echo set regex=new regexp
>>_.vbs echo regex.global=true
 >>_.vbs echo regEx.IgnoreCase=False
 >>_.vbs echo regex.pattern="%~3"
>>_.vbs echo wscript.stdOut.write regex.replace(wscript.stdin.readall,"%~4")
cscript /nologo _.vbs <"%~1" >"%~2"

del _.vbs

goto :EOF

 del Campaign_RND.mis

copy Campaign_RND.mis.tmp Campaign_RND.mis

del Campaign_RND.mis.tmp


del "C:\Users\P Ditty\Documents\SH3\data\cfg\Backups_RND" /q

rd "C:\Users\P Ditty\Documents\SH3\data\cfg\Backups_RND"




tasklist /FI "IMAGENAME eq sh3.exe" | find /i "sh3.exe"  
IF ERRORLEVEL 2 GOTO TEST2 
IF ERRORLEVEL 1 GOTO TEST1  
:TEST2 
goto start 
:TEST1 
exit

我想以小批量大小迭代ArrayList.

例如,如果ArrayList大小为75且批量大小为10,我希望它处理0-10,然后是10-20,然后是20-30等记录.

我试过这个,但它不起作用:

int batchSize = 10;
int start = 0;
int end = batchSize;

for(int counter = start ; counter < end ; counter ++)
{
    if (start > list.size())
    {
        System.out.println("breaking");
        break;
    }

    System.out.println("counter   " + counter);
    start = start + batchSize;
    end = end + batchSize;
}