中大结果集上的Hibernate,JDBC和Java性能

Question

问题

我们正在尝试优化我们的dataserver应用程序.它通过mysql数据库存储股票和报价.我们对提取性能不满意.

上下文

- database
    - table stock : around 500 lines
    - table quote : 3 000 000 to 10 000 000 lines
    - one-to-many association : one stock owns n quotes
    - fetching around 1000 quotes per request
    - there is an index on (stockId,date) in the quote table
    - no cache, because in production, querys are always different
- Hibernate 3
- mysql 5.5
- Java 6
- JDBC mysql Connector 5.1.13
- c3p0 pooling

测试和结果

协议

• 通过在mysql命令行bin中运行生成的sql查询,可以获得mysql服务器上的执行时间.
• 服务器处于测试环境中:没有其他DB读数,没有DB写入
• 我们为AAPL股票获得857报价

案例1:Hibernate与关联

这用857引号对象填充我们的stock对象(所有内容都在hibernate.xml中正确映射)

session.enableFilter("after").setParameter("after", 1322910573000L);
Stock stock = (Stock) session.createCriteria(Stock.class).
add(Restrictions.eq("stockId", stockId)).
setFetchMode("quotes", FetchMode.JOIN).uniqueResult();

SQL生成:

SELECT this_.stockId AS stockId1_1_,
       this_.symbol AS symbol1_1_,
       this_.name AS name1_1_,
       quotes2_.stockId AS stockId1_3_,
       quotes2_.quoteId AS quoteId3_,
       quotes2_.quoteId AS quoteId0_0_,
       quotes2_.value AS value0_0_,
       quotes2_.stockId AS stockId0_0_,
       quotes2_.volume AS volume0_0_,
       quotes2_.quality AS quality0_0_,
       quotes2_.date AS date0_0_,
       quotes2_.createdDate AS createdD7_0_0_,
       quotes2_.fetcher AS fetcher0_0_
FROM stock this_
LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId
AND quotes2_.date > 1322910573000
WHERE this_.stockId='AAPL'
ORDER BY quotes2_.date ASC

结果:

• mysql服务器上的执行时间:~10 ms
• Java中的执行时间:~400ms

案例2:没有HQL而没有关联的Hibernate

为了提高性能,我们使用了仅获取引号对象的代码,并将它们手动添加到库存中(因此我们不会获取有关每行的库存的重复信息).我们使用createSQLQuery来最小化别名和HQL混乱的影响.

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
stock.addQuotes((ArrayList<Quote>) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list());

SQL生成:

SELECT *
FROM quote q
WHERE stockId='AAPL'
  AND q.date>1322910573000
ORDER BY q.date ASC

结果:

• mysql服务器上的执行时间:~10 ms
• Java中的执行时间:~370ms

案例3:没有Hibernate的JDBC

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
Connection conn = SimpleJDBC.getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter);
while(rs.next())
{
    stock.addQuote(new Quote(rs.getInt("volume"), rs.getLong("date"), rs.getFloat("value"), rs.getByte("fetcher")));
}
stmt.close();
conn.close();

结果:

• mysql服务器上的执行时间:~10 ms
• Java中的执行时间:~100ms

我们的理解

• JDBC驱动程序对所有情况都是通用的
• JDBC驱动有一个基本的时间成本
• 使用类似的SQL查询,Hibernate在转换对象中的结果集时花费的时间比纯JDBC代码多
• Hibernate createCriteria,createSQLQuery或createQuery的时间成本相似
• 在生产中,我们同时进行大量编写,纯JDBC解决方案似乎比hibernate解决方案慢(可能是因为我们的JDBC解决方案没有被合并)
• Mysql明智的,服务器似乎表现得很好,而且时间成本是非常可以接受的

我们的问题

• 有没有办法优化JDBC驱动程序的性能？
• Hibernate会对此优化有何益处吗？
• 有没有办法在转换结果集时优化Hibernate性能？
• 由于Java基础对象和内存管理,我们是否面临不可调整的问题？
• 我们是否错过了一点,我们是愚蠢的,所有这一切都是徒劳的吗？
• 我们是法国人吗？是.

非常欢迎您的帮助.

Answer 1

您可以使用简单查询进行冒烟测试,例如:

SELECT current_timestamp()

要么

SELECT 1 + 1

这将告诉您实际的JDBC驱动程序开销是多少.还不清楚两个测试是否都是在同一台机器上进行的.

有没有办法优化JDBC驱动程序的性能？

用Java运行相同的查询几千次.JVM需要一些时间来预热(类加载,JIT).此外,我假设SimpleJDBC.getConnection()使用C3P0连接池 - 建立连接的成本相当高,所以首先很少执行可能会很慢.

也更喜欢命名查询到临时查询或条件查询.

Hibernate会对此优化有何益处吗？

Hibernate是一个非常复杂的框架.正如您所看到的,与原始JDBC相比,它占用总执行时间的75%.如果你需要原始的ORM(没有延迟加载,脏检查,高级缓存),请考虑mybatis.或者甚至JdbcTemplate与RowMapper抽象.

有没有办法在转换结果集时优化Hibernate性能？

并不是的.查看第19章.在Hibernate文档中提高性能.那里有很多反思+阶级生成.再次,当您想要从数据库中挤出每毫秒时,Hibernate可能不是最佳解决方案.

但是,如果您希望通过广泛的缓存支持来增加整体用户体验,那么这是一个不错的选择.再次查看性能文档.它主要讨论缓存.有一级缓存,二级缓存,查询缓存...这是Hibernate实际上可以胜过简单JDBC的地方 - 它可以以你甚至无法想象的方式缓存很多.另一方面 - 缓存配置不佳会导致设置更慢.

退房:使用Hibernate + Spring缓存 - 一些问题!

由于Java基础对象和内存管理,我们是否面临不可调整的问题？

JVM(特别是在服务器配置中)非常快.堆上的对象创建速度与例如C中的堆栈一样快,垃圾收集已经大大优化.我认为运行普通JDBC的Java版本与更多本机连接相比会慢得多.这就是为什么我建议你的基准测试没有什么改进.

我们是否错过了一点,我们是愚蠢的,所有这一切都是徒劳的吗？

我相信如果性能是您最大的问题,JDBC是一个不错的选择.Java已成功用于许多数据库繁重的应用程序中.