Django queryset iterator() 无法按预期工作

Question

我已经queryset.iterator()根据Django文档进行了测试。

Oracle 和 PostgreSQL 使用服务器端游标从数据库传输结果，而不将整个结果集加载到内存中。

对于服务器端游标，chunk_size 参数指定要在数据库驱动程序级别缓存的结果数。获取更大的块会减少数据库驱动程序和数据库之间的往返次数，但会消耗内存。

在 PostgreSQL 上，仅当 DISABLE_SERVER_SIDE_CURSORS 设置为 False 时才会使用服务器端游标。

print(settings.DATABASES['default']['ENGINE']) # postgresql

class TestModel(Model):
    age = IntegerField(default=1)

# Insert 10 rows
for i in range(10):
    TestModel().save()

settings.DEBUG = True
l = logging.getLogger('django.db.backends')
l.setLevel(logging.DEBUG)
l.addHandler(logging.StreamHandler())   
# From now, every queries emitted by Django will be printed.    

print(settings.DISABLE_SERVER_SIDE_CURSORS) # False

for i in TestModel.objects.all().iterator(chunk_size=2):
    print(i.age)

(0.001) DECLARE "_django_curs_4369655232_3" NO SCROLL CURSOR WITH HOLD FOR SELECT "testmodel"."age" FROM "testmodel"; args=()

我预计上面的代码每 2 行会访问数据库 5 次，因为chunk_size=2（总行数为 10）。

然而，它似乎只发出一个查询（在打印的查询上方）。

我误解了吗queryset.iterator()？

Answer 1

您已经正确理解了 的目的queryset.iterator()。

在本例中（PostgreSQL）Django 声明了一个DECLARE应该在迭代器内使用的游标（using 语句）。

要从游标中获取数据，应首先打开游标（usingOPEN语句），然后获取数据（usingFETCH语句）。

看起来您的日志记录确实没有捕获迭代器内部发生的任何这些语句，为了确认这一点，您可以在 PostgreSQL 端设置日志记录:)。