没有约束异常处理的Hibernate线程安全幂等upsert？

Question

我有一些执行UPSERT的代码，也称为Merge。我想清理这段代码，具体地说，我想摆脱异常处理，并为这种简单的操作降低代码的整体冗长性和纯粹的复杂性。要求是插入每个项目，除非它已经存在：

public void batchInsert(IncomingItem[] items) {
    try(Session session = sessionFactory.openSession()) {
        batchInsert(session, items);
    }
    catch(PersistenceException e) {
        if(e.getCause() instanceof ConstraintViolationException) {
            logger.warn("attempting to recover from constraint violation");
            DateTimeFormatter dbFormat = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");
            items = Arrays.stream(items).filter(item -> {
                int n = db.queryForObject("select count(*) from rets where source = ? and systemid = ? and updtdate = ?::timestamp",
                        Integer.class,
                        item.getSource().name(), item.getSystemID(), 
                        dbFormat.format(item.getUpdtDateObj()));
                if(n != 0) {
                    logger.warn("REMOVED DUPLICATE: " +
                            item.getSource() + " " + item.getSystemID() + " " + item.getUpdtDate());
                    return false;
                }
                else {
                    return true; // keep
                }
            }).toArray(IncomingItem[]::new);
            try(Session session = sessionFactory.openSession()) {
                batchInsert(session, items);
            }
        }
    }
}

最初对SO的搜索不能令人满意：

• 休眠幂等更新 -概念上相似，但更简单的场景，无需考虑多线程或多处理。
• Hibernate是否可以使用MySQL的“ ON DUPLICATE KEY UPDATE”语法？更好的是，通过使用@SQLInsert注释将原子性推入数据库来消除竞争条件；不幸的是，该解决方案太容易出错，无法在更宽的表上使用，并且在不断发展的应用程序中需要大量维护。
• 如何使用Hibernate模仿upsert行为？与上述问题非常相似，答案相似
• 休眠+“ ON DUPLICATE KEY”逻辑与上面相同，回答提到merge()单线程时可以
• 批量插入或使用Hibernate更新？类似的问题，但是选择的答案是使用存储过程的
• 再次非常幼稚，面向单线程的问题和答案，用JPA防止唯一约束违规的最佳方法

在问题中如何在Spring Data JPA中执行ON DUPLICATE KEY UPDATE？它被标记为重复，我注意到了这个有趣的评论：

尽管这听起来像是一个聪明的解决方案，而且提到“实际上是相同的SQL语句”，但我真的不明白该评论，这真是死路一条。

另一个有希望的方法是：Hibernate和Spring在提交给DB之前修改查询

冲突时不执行 / 重复密钥更新

两个主要的开源数据库都支持将幂等性向下推到数据库的机制。下面的示例使用PostgreSQL语法，但可以轻松地适用于MySQL。

通过遵循Hibernate和Spring中的思想，在将查询提交给DB之前修改查询，了解Hibernate的查询生成以及如何在Hibernate中配置StatementInspector？，我实现了：

import org.hibernate.resource.jdbc.spi.StatementInspector;

@SuppressWarnings("serial")
public class IdempotentInspector implements StatementInspector {

    @Override
    public String inspect(String sql) {
        if(sql.startsWith("insert into rets")) {
            sql += " ON CONFLICT DO NOTHING";
        }
        return sql;
    }

}

有财产

        <prop key="hibernate.session_factory.statement_inspector">com.myapp.IdempotentInspector</prop>

不幸的是，这在遇到重复项时导致以下错误：

由以下原因引起：org.springframework.orm.hibernate5.HibernateOptimisticLockingFailureException：批处理更新从更新[0]返回了意外的行数；实际行数：0；预期：1；嵌套的异常是org.hibernate.StaleStateException：批处理更新从更新[0]返回了意外的行数；实际行数：0；预期：1

如果考虑一下幕后情况，这是有道理的：ON CONFLICT DO NOTHING导致插入零行，但预计插入一次。

是否有一种解决方案可以启用线程安全的无异常并发幂等插入，并且不需要手动定义要由Hibernate执行的整个SQL插入语句？

对于它的价值，我认为将dupcheck推送到数据库的方法是正确解决方案的途径。

澄清说明 该方法IncomingItem使用的对象batchInsert源自记录不变的系统。在这种特殊情况下ON CONFLICT DO NOTHING，尽管可能丢失第N次更新，但其行为与UPSERT相同。

Answer 1

简短回答 - Hibernate 不支持开箱即用（正如 Hibernate 专家在此博客文章中所证实的那样）。可能您可以使用您已经描述的机制在某些情况下使其在某种程度上起作用，但是直接使用本机查询对于我来说是最直接的方法。

更长的答案是，考虑到 Hibernate 的所有方面，我猜很难支持它，例如：

• 如何处理发现重复项的实例，因为它们应该在持久化后进行管理？将它们合并到持久性上下文中？
• 如何处理已经持久化的关联，对它们应用哪些级联操作（persist/merge/something_new；或者现在做出这个决定为时已晚）？
• 数据库是否从 upsert 操作返回足够的信息以涵盖所有用例（跳过的行；在批量插入模式下生成的未跳过的键等）。
• 什么@Audit-ed实体，他们在创建或更新，如果更新发生了什么变化？
• 还是版本控制和乐观锁定（根据定义，在这种情况下您实际上需要异常）？

即使 Hibernate 以某种方式支持它，如果有太多需要注意和考虑的注意事项，我也不确定我是否会使用该功能。

所以，我遵循的经验法则是：

• 对于简单场景（大多数情况下）：坚持 + 重试。在特定错误（异常类型或类似）的情况下重试可以使用类似 AOP 的方法（注释、自定义拦截器等）全局配置，具体取决于您在项目中使用的框架，无论如何这是一个很好的做法，尤其是在分布式环境中.
• 对于复杂场景和性能密集型操作（尤其是在批处理、非常复杂的查询等方面）：本机查询可最大限度地利用特定数据库功能。

Answer 2

Hibernate 6.3（大约 2023 年）upsert()在StatelessSession!