在准备好这个问题的答案后,我发现我无法验证我的答案.
在我的第一个编程工作中,我被告知IN ()谓词中的查询IN会对父查询中包含的每一行执行,因此应该避免使用.
例如,给定查询:
SELECT count(*) FROM Table1 WHERE Table1Id NOT IN (
SELECT Table1Id FROM Table2 WHERE id_user = 1)
Run Code Online (Sandbox Code Playgroud)
Table1 Rows | # of "IN" executions
----------------------------------
10 | 10
100 | 100
1000 | 1000
10000 | 10000
它是否正确?IN谓词实际上如何工作?
在我正在使用的java应用程序中SQL server and Hibernate3 with EJB.当我尝试执行select查询时with In clause,DB服务器CPU使用率达到100%.但是当我尝试运行相同的查询时SQL management studio,查询运行时没有任何CPU峰值.应用服务器和DB服务器是两台不同的机器.我的表有以下架构,
CREATE TABLE student_table (
Student_Id BIGINT NOT NULL IDENTITY
, Class_Id BIGINT NOT NULL
, Student_First_Name VARCHAR(100) NOT NULL
, Student_Last_Name VARCHAR(100)
, Roll_No VARCHAR(100) NOT NULL
, PRIMARY KEY (Student_Id)
, CONSTRAINT UK_StudentUnique_1 UNIQUE (Class_Id, Roll_No)
);
Run Code Online (Sandbox Code Playgroud)
该表包含大约1000万条记录.我的疑问是
select Student_Id from student_table where Roll_No in ('A101','A102','A103',.....'A250');
Run Code Online (Sandbox Code Playgroud)
In子句包含250个值,当我尝试在SQL管理工作室中运行上面的查询时,结果在1秒内被检索到没有任何CPU峰值.但是当我试图通过休眠运行相同的查询时,CPU峰值达到100%大约60秒,并且结果在大约60秒内被检索到.hibernate查询是,
Criteria studentCriteria = session.createCriteria(StudentTO.class);
studentCriteria.add(Restrictions.in("rollNo", rollNoLists)); //rollNoLists is an Arraylist contains 250 Strings
studentCriteria.setProjection(Projections.projectionList().add(Projections.property("studentId")));
List<Long> studentIds …Run Code Online (Sandbox Code Playgroud) 我最近参观了一个有趣的求职面试.在那里,我被问到一个关于使用WHERE..IN包含长标量列表(数千个值,即)的子句来优化查询的问题.这个问题不是关于IN子句中的子查询,而是关于标量的简单列表.
我马上回答说,这可以使用INNER JOIN另一个表(可能是临时表)来优化,这个表只包含那些标量.我的回答被接受,并且评论员发表了一条说明,"目前没有数据库引擎可以优化长期WHERE..IN条件以保证足够的性能".我点了头.
但是当我走出去时,我开始有些怀疑.这种情况似乎相当微不足道,并且广泛用于现代RDBMS,无法对其进行优化.所以,我开始挖掘了一些东西.
PostgreSQL的:
看来,PostgreSQL将标量IN()结构解析为ScalarArrayOpExpr结构,这是排序的.稍后在索引扫描期间使用此结构来定位匹配的行.EXPLAIN ANALYZE对于此类查询仅显示一个循环.没有加入.所以,我希望这样的查询比INNER JOIN更快.我在现有数据库上尝试了一些查询,我的测试证明了这个位置.但我并不关心测试纯度,而且Postgres处于Vagrant之下,所以我可能错了.
MSSQL服务器:
MSSQL Server 从常量表达式列表构建哈希结构,然后与源表进行哈希连接.我认为即使没有进行排序,这也是性能匹配.我没有做过任何测试,因为我对这个RDBMS没有任何经验.
MySQL服务器:
这些幻灯片中的第13个说,在5.0之前,这个问题确实发生在MySQL的某些情况下.但除此之外,我没有发现任何与不良IN ()治疗有关的其他问题.不幸的是,我没有找到任何相反的证据.如果你这样做,请踢我.
SQLite的:
文档页面提示了一些问题,但我倾向于认为那里描述的内容确实存在于概念层面.没有找到其他信息.
所以,我开始认为我误解了我的采访者或误用了谷歌;)或者,可能是因为我们没有设定任何条件,我们的谈话变得有点模糊(我们没有具体说明任何具体的RDBMS或其他条件)那只是抽象的谈话.
看起来很久以前,数据库重写IN()为一组OR语句(有时可能会导致NULL列表中的值出现问题,btw).或不?
当然,如果标量列表比允许的数据库协议包长,则INNER JOIN可能是唯一可用的解决方案.
我认为在某些情况下,查询解析时间(如果没有准备好)可能会导致性能下降.
此外,数据库可能无法准备IN(?)查询,这将导致一次又一次地重新解析(这可能会导致性能下降).实际上,我从未尝试过,但我认为即使在这种情况下,与查询执行相比,查询解析和规划也不是很大.
但除此之外,我没有看到其他问题.好吧,除了遇到这个问题的问题.如果您有查询,其中包含数千个ID,那么您的架构就会出现问题.
你呢?
我有一张表(5000万行),在column_a和column_b上有索引
当我这样做时select count(*) from table where column_a in (list_a),我很快就会得到结果。
与相同select count(*) from table where column_b in (list_b)。
但是当我这样做
select count(*) from table where column_a in (list_a) or column_b in (list_b)
在输出正确的数字之前,我的查询变得异常缓慢,持续了半个小时……我做错了吗?如何优化此查询的实际行为?
谢谢!
计划查询1:
Plan hash value: 2471097773
-------------------------------------------------------------
| Id | Operation | Name |
-------------------------------------------------------------
| 0 | SELECT STATEMENT | |
| 1 | SORT AGGREGATE | |
| 2 | NESTED LOOPS | |
| 3 | SORT UNIQUE | |
| 4 …Run Code Online (Sandbox Code Playgroud) performance ×2
sql ×2
sql-server ×2
ejb ×1
hibernate ×1
java ×1
mysql ×1
optimization ×1
oracle ×1
postgresql ×1
sqlite ×1