标签: batch-processing

我正在使用hibernate + play!工作中的框架,是否有使用hibernate插入大量记录的"最佳实践"？它们每个文本文件大约有6,000到10,000个,因此我不知道Hibernate是否会在工作中窒息或抛出异常.

任何建议让我知道,如果我需要解释更多,请告诉我

我是否可以使用Eclipse来批量重新格式化一堆C++文件(大约几千个),而不必实际打开IDE中的每一个？

更新:

现在一对夫妇的人都发布了Java IDE的解决方案,但是这并没有一些对C++ IDE工作,因为没有"源"子菜单中的项目资源管理器.:(

对不起或厚.我搜索了高低,试图找出如何批量处理pandoc.我不能为我的生活而努力.

如何将包含html文件的文件夹和嵌套文件夹转换为markdown？

我应该提一下,我使用的是os x 10.6.8

使用hibernate,当我尝试启用批量插入时

  <property name="jdbc.batch_size">50</property>

我得到以下输出:

 [...] cfg.SettingsFactory INFO  - JDBC batch updates for versioned data: disabled
 [...] cfg.SettingsFactory INFO  - Order SQL inserts for batching: disabled

然后这个:

 [...] jdbc.AbstractBatcher DEBUG - Executing batch size: 1

从来没有超过batch size: 1基本.

我错过了一个设置吗？

我正在编写批处理脚本,如果用户输入为空或不以"DTO"结尾,我需要让用户再次输入DTO名称.

:INPUT
SET /P INPUTDTO=Enter the DTO:

IF "%INPUTDTO%"=="" (
      IF "%INPUTDTO%" ??????? (
             GOTO NODTO
      )
)

:NODTO
ECHO ERROR: Please enter a valid DTO.
GOTO INPUT

如何检查用户输入是否以"DTO"结尾

作为Java开发人员,我习惯使用Spring Batch进行批处理,通常使用流式库来导出大型XML文件,例如StAX.

我现在正在开发Scala应用程序,并想知道是否有任何框架,工具或指南来实现批处理.

我的Scala应用程序使用了Cake Pattern,我不知道如何将它与SpringBatch集成.此外,我想遵循所描述的指导方针Functional programming in Scala并尝试保持功能纯度,使用像IO monad这样的东西......

我知道这是一个悬而未决的问题,但我从未读过任何有关此事的内容......

有人已经在这里实现了功能批处理吗？它是如何工作的？我应该有一个main在IO monad中创建一个批处理操作并运行它吗？是否有任何工具或指南可以帮助,监控或处理可重启性,就像我们在Java中使用Spring Batch一样.你在Scala中使用Spring Batch吗？如何处理集成部分,例如等待JMS/AMQP消息开始生成XML的处理？

欢迎任何关于子喷气机的反馈

我有一个 RabbitMQ 队列，我在其中发布数千条消息。我需要一个后台服务来：

• 批量检索消息，每组消息 100 条
• 将这 100 条消息存储在数据库中
• 一次性确认全部 100 条消息
• 继续处理下一批 100 条消息

我正在使用 RabbitMQ 客户端来监听消息，但我不知道如何“批处理”它们。

有没有人有一个关于如何一次获取 100-100 条消息并在将它们保存在数据库中后立即确认所有消息的工作示例？

提前非常感谢

QuickCheck的Batch模块已被删除,版本2(1.2.0.1仍然有它).因此,我总是觉得 - mapM_在一起进行多项测试是一种hacky.我是否忽略了QuickCheck 2中的后续功能？是否存在将独立测试组合在一起的规范方法？

我正在编写一个Spring批处理作业,在我的一个步骤中,我有以下处理器代码:

@Component
public class SubscriberProcessor implements ItemProcessor<NewsletterSubscriber, Account>, InitializingBean {

    @Autowired
    private AccountService service;

    @Override public Account process(NewsletterSubscriber item) throws Exception {
        if (!Strings.isNullOrEmpty(item.getId())) {
            return service.getAccount(item.getId());
        }
        // search with email address
        List<Account> accounts = service.findByEmail(item.getEmail());
        checkState(accounts.size() <= 1, "Found more than one account with email %s", item.getEmail());
        return accounts.isEmpty() ? null : accounts.get(0);
    }

    @Override public void afterPropertiesSet() throws Exception {
        Assert.notNull(service, "account service must be set");
    }
}

上面的代码工作,但我发现,有些情况下有一个以上的一些优势情况下Account每个NewsletterSubscriber被允许的.所以我需要删除状态检查并将多个传递Account给项目编写者.

我找到的一个解决方案是更改两者ItemProcessor …

我正在使用Spring-Batch v3.0.0进行批量导入.有一个StepScope和一个JobScope.我怎么知道哪一个合适？

例如,如果我定义一个自定义ItemReader或ItemWriter应该使用特定的自定义EntityManager,它可能如下所示:

@Bean
@Scope("step") //@Scope("job") //custom scope required to inject #jobParameters
public JpaItemWriter<T> jpaItemWriter(EntityManagerFactory emf) {
    JpaItemWriter<T> writer = new JpaItemWriter<T>();
    writer.setEntityManagerFactory(emf);
    return writer;
}

但是哪个范围就在这里？为什么？

带step范围的执行有效,但我觉得itemWrite应该是job范围的,这样它们就不会在每一步都重新创建.

我尝试切换step到job,但是会抛出以下错误: Exception in thread "main" java.lang.IllegalStateException: No Scope registered for scope 'job'