标签: batch-processing

我有一堆个人文件,我想通过Avisynth运行.但是,AVS文件只能创建一个视频.据我所知,没有办法从命令行声明变量的值.

我知道您可以创建一个生成一堆AVS文件的脚本,然后以某种方式将每个AVS文件转换为视频.但是,由于Avisynth是一个脚本系统,这看起来有点复杂.必须有某种方式通过脚本运行不同的视频,对吗？

做这个的最好方式是什么？提前致谢.

我正在尝试将我的所有Livejournal帖子复制到blogger.com上的新博客.我通过使用gdata python客户端附带的略微修改的示例来实现.我有一个json文件,其中包含从Livejournal导入的所有帖子.问题是blogger.com每天发布新博客条目的每日限制 - 50,所以你可以想象我将在一个月内复制1300多个帖子,因为我无法在50次导入后以编程方式输入验证码.

我最近了解到gdata中还有批处理操作模式,但我无法弄清楚如何使用它.谷歌搜索并没有真正帮助.

任何建议或帮助将受到高度赞赏.

谢谢.

更新

为了以防万一,我使用以下代码

#!/usr/local/bin/python
import json
import requests

from gdata import service
import gdata
import atom
import getopt
import sys

from datetime import datetime as dt
from datetime import timedelta as td
from datetime import tzinfo as tz

import time

allEntries = json.load(open("todays_copy.json", "r"))

class TZ(tz):
    def utcoffset(self, dt): return td(hours=-6)

class BloggerExample:
    def __init__(self, email, password):
        # Authenticate using ClientLogin.
        self.service = service.GDataService(email, password)
        self.service.source = "Blogger_Python_Sample-1.0"
        self.service.service = …

正如我们在 Spring Batch 官方文档中看到的那样，“将数据传递到未来的步骤 - Spring Batch”是可能的，但我们大多数人一直在努力解决它，因为在官方文档中他们提到了两种可能性。一个台阶级别，一个工作级别。问题是如何检索步骤级别的数据？

我的解决方案与官方文档中的相关解决方案相同，但它不起作用。所以我决定做以下事情：

1-为促销监听器创建bean：

<beans:bean id="promotionListener"
                class="org.springframework.batch.core.listener.ExecutionContextPromotionListener">
        <beans:property name="keys" value="someValues"/>
</beans:bean>

2-在您的步骤中设置监听器（您希望保存数据的步骤）

        <listeners>
            <listener ref="promotionListener"/>
        </listeners>

3- 在写入器中的同一步骤（将保存数据的步骤）中，保存数据。

private StepExecution stepExecution;

    @BeforeStep
    public void saveStepExecution(StepExecution stepExecution) {
        this.stepExecution = stepExecution;

        ExecutionContext executionContext = stepExecution.getExecutionContext();
        Map<String, String> fieldsMap= new HashMap<>();
        executionContext.put("keys", someValues);
    }

@Override
public void write(List<? extends Map<String, String>> items) throws Exception {
    LOGGER.info(items.toString());

    Map<String, String> fieldsMap= new ConcurrentHashMap<>();
    items.forEach(item -> item.forEach(fieldsMap::put));

    ExecutionContext stepContext = this.stepExecution.getExecutionContext();
    stepContext.put("keys", fieldsMap);
}

您可以看到，在我的例子中，我将数据保存在 Map …

我有一个要求，我们需要在更新时不持有锁的情况下更新行。

以下是需求的详细信息，我们将每 5 分钟在一个表上运行一次批处理，update blogs set is_visible=1 where some conditions该查询将在数百万条记录上运行，因此我们不想在更新期间阻止所有行写入。

我完全理解没有写锁的含义，这对我们来说很好，因为 is_visible 列将仅由该批处理过程更新，其他线程不会更新该列。另一方面，同一个表的其他列会有很多更新，我们不想阻止这些更新

我有以下for循环：

for j in range(len(list_list_int)):
    arr_1_, arr_2_, arr_3_ = foo(bar, list_of_ints[j])
    arr_1[j,:] = arr_1_.data.numpy()
    arr_2[j,:] = arr_2_.data.numpy()
    arr_3[j,:] = arr_3_.data.numpy()

我想将其应用于foo多处理，主要是因为要花费大量时间才能完成。我尝试使用funcy的 chunks方法批量进行此操作：

for j in chunks(1000, list_list_int):
    arr_1_, arr_2_, arr_3_ = foo(bar, list_of_ints[j])
    arr_1[j,:] = arr_1_.data.numpy()
    arr_2[j,:] = arr_2_.data.numpy()
    arr_3[j,:] = arr_3_.data.numpy()

但是，我越来越list object cannot be interpreted as an integer。使用多处理应用foo的正确方法是什么？

我有一个 pandas DataFrame df，我想为其计算每批行的一些统计信息。

例如，假设我有一个batch_size = 200000.

对于每批batch_size行，我希望获得IDDataFrame 列的唯一值的数量。

我怎样才能做这样的事情呢？

这是我想要的一个例子：

print(df)

>>
+-------+
|     ID|
+-------+
|      1|
|      1|
|      2|
|      2|
|      2|
|      3|
|      3|
|      3|
|      3|
+-------+

batch_size = 3

my_new_function(df,batch_size)

>>
For batch 1 (0 to 2) :
2 unique values 
1 appears 2 times
2 appears 1 time

For batch 2 (3 to 5) : 
2 unique values 
2 appears 2 times …

我正在使用 Spring Cloud Dataflow 并创建了一个包含作业的 Spring Cloud 任务。该作业有一个名为last_modified_date 的参数，该参数是可选的。在代码中，我指定了在last_modified_date为null的情况下采用哪个日期，即它尚未作为参数传递。问题是，如果对于该作业的一个实例，我传递了last_modified_date，但对于下一个实例，我没有传递，它会选择最后一次执行中的日期，而不是将其作为 null 传递并从代码中获取它。

@Component
@StepScope
public class SalesforceAdvertiserLoadTasklet implements Tasklet {

  @Value("#{jobParameters['last_modified_date']}")
  protected Date lastModifiedDate;

  private static final Logger logger =
      LoggerFactory.getLogger(SalesforceAdvertiserLoadTasklet.class);

  @Override
  public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext)
      throws Exception {

    if(lastModifiedDate == null) {
      lastModifiedDate =
          Date.from(LocalDate.now().minusDays(1).atStartOfDay(ZoneId.systemDefault()).toInstant());
    }
    logger.info("In Method: runSalesforceAdvertiserLoadJob launch started on last_modified_date {}",
        lastModifiedDate);

    logger.info("Getting advertisers from SalesForce");
    try {
      getAdvertisersFromSalesforceAndAddtoDb();
    } catch (JsonSyntaxException | IOException | ParseException e) {
      logger.error("ERROR--> {}", e.getMessage());
    }
    return RepeatStatus.FINISHED;
  } …

我有两个数组：

A
B

数组A包含一批 RGB 图像，形状为：

[batch, Width, Height, 3]

而 ArrayB包含对图像进行“类转换”操作所需的系数，其形状为：

[batch, 4, 4, 3]

简单来说，对单个图像的运算是乘法，输出环境图（normalMap * Coefficients）。

我想要的输出应该保持形状：

[batch, Width, Height, 3]

我尝试使用torch.bmm但失败了。这有可能吗？

这里的任何人都有在 kubernetes 上进行批处理（例如 spring 批处理）的经验？这是个好主意吗？如果我们使用 kubernetes 自动缩放功能，如何防止批处理处理相同的数据？谢谢你。

我在 TPU 上使用 TF 2 的对象检测 API 成功训练了一个模型，该模型保存为 .pb（SavedModel 格式）。然后我使用它重新加载它tf.saved_model.load，它在使用转换为 shape 的张量的单个图像预测框时工作正常(1, w, h, 3)。

import tensorflow as tf
import numpy as np

# Load Object Detection APIs model
detect_fn = tf.saved_model.load('/path/to/saved_model/')

image = tf.io.read_file(image_path)
image_np = tf.image.decode_jpeg(image, channels=3).numpy()
input_tensor = np.expand_dims(image_np, 0)
detections = detect_fn(input_tensor) # This works fine

问题是我需要进行批量预测以将其缩放到 50 万张图像，但该模型的输入签名似乎仅限于处理具有 shape 的数据(1, w, h, 3)。这也意味着我不能在 Tensorflow Serving 中使用批处理。我怎么解决这个问题？我可以只更改模型签名来处理批量数据吗？

所有工作（加载模型 + 预测）都在随对象检测 API 一起发布的官方容器内执行（来自此处）