Spring Batch - 读取csv并使用跳过/异常策略将数据转储到表中

Question

我们使用Spring Batch从CSV文件中读取记录并插入到数据库表中.

数据源和事务管理器

<!-- connect to database -->
    <bean id="dataSource"
        class="org.springframework.jdbc.datasource.DriverManagerDataSource">
        <property name="driverClassName" value="oracle.jdbc.OracleDriver" />
        <property name="url" value="**********" />
        <property name="username" value="**********" />
        <property name="password" value="**********" />
    </bean>

    <bean id="transactionManagerTest"
        class="org.springframework.batch.support.transaction.ResourcelessTransactionManager" />

JOB配置

<!-- stored job-meta in database -->
    <bean id="jobRepository"
        class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
        <property name="dataSource" ref="dataSource" />
        <property name="transactionManager" ref="transactionManagerTest"  />
        <property name="databaseType" value="Oracle" />
    </bean>


<bean id="jobLauncher"
        class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
        <property name="jobRepository" ref="jobRepository" />
        <property name="taskExecutor"> 
        <bean class="org.springframework.core.task.SimpleAsyncTaskExecutor" />
          </property> 
    </bean>

下面是弹簧批处理作业配置

<batch:job id="reportJob">
        <batch:step id="step1" >
            <batch:tasklet transaction-manager="transactionManagerTest" >
                <batch:chunk reader="cvsFileItemReader" writer="mysqlItemWriter" commit-interval="5" skip-limit="1000" processor-transactional="true">

                    <!-- 
                     <batch:skip-policy>
                        <bean class="org.springframework.batch.core.step.skip.AlwaysSkipItemSkipPolicy" scope="step"/>
                    </batch:skip-policy> -->
                    <batch:skippable-exception-classes>
                        <batch:include class="java.lang.Exception" />
                    </batch:skippable-exception-classes>
                    <!-- <batch:retry-policy>
                        <bean class="org.springframework.retry.policy.NeverRetryPolicy" scope="step"/>
                    </batch:retry-policy> -->
                    <batch:listeners>
                         <batch:listener ref="itemWriterListner"/>
                    </batch:listeners>
                </batch:chunk>
            </batch:tasklet>
        </batch:step>
    </batch:job>

这里我们定义了batch:skippable-exception-classes,如果任何记录插入语句失败,应该用它来处理.

举一个例子,我们在csv文件中有10条记录,我们一个接一个地读取并插入到数据库中的数据库中,但是在第四条记录插入失败之前,它应该继续第5条记录以及应该只跳过第4条记录.

但是对于batch:skippable-exception-classes,如果第4条记录失败,它将再次从第1条记录继续.所以在数据库表中我们有1-3次记录2次(重复记录)

请提示,如果我遗漏了弹簧批的任何配置属性.

Answer 1

您配置事务管理器的方式有问题(上面的配置中未包含).虽然bellabax是正确的,因为当写入的项目抛出异常时,整个块被回滚并且每个项目被单独处理/写入以确定块中的哪个项目导致错误,关键点似乎不是为你工作的是实际的回滚.

UPDATE 的ResourcelessTransactionManager是不是一个真正的事务管理器,但不适合用于事务性资源(如数据库)的使用.使用真正的事务管理器配置您的工作,你会没事的.