优化通过Python驱动向Cassandra数据库插入数据

Question

我尝试使用 Python 驱动程序中的 BATCH 将 150.000 个生成的数据插入到 Cassandra 中。大约需要30 秒。我应该如何优化它并更快地插入数据？这是我的代码：

from cassandra.cluster import Cluster
from faker import Faker
import time
fake = Faker()

cluster = Cluster(['127.0.0.1'], port=9042)
session = cluster.connect()
session.default_timeout = 150
num = 0
def create_data():
    global num
    BATCH_SIZE = 1500
    BATCH_STMT = 'BEGIN BATCH'

    for i in range(BATCH_SIZE):
        BATCH_STMT +=  f" INSERT INTO tt(id, title) VALUES ('{num}', '{fake.name()}')";
        num += 1

    BATCH_STMT += ' APPLY BATCH;'
    prep_batch = session.prepare(BATCH_STMT)
    return prep_batch

tt = []
session.execute('USE ttest_2')

prep_batch = []
print("Start create data function!")
start = time.time()
for i in range(100):
    prep_batch.append(create_data())

end = time.time()
print("Time for create fake data: ", end - start)

start = time.time()

for i in range(100):
    session.execute(prep_batch[i])
    time.sleep(0.00000001)

end = time.time()
print("Time for execution insert into table: ", end - start)

Answer 1

主要问题是您使用批量插入数据 - 在 Cassandra 中，这是一个不好的做法（请参阅文档以获取解释）。相反，您需要准备一个查询，并一一插入数据 - 这将允许驱动程序将数据路由到特定节点，减少该节点的负载，并允许更快地执行数据插入。伪代码如下所示（有关确切语法，请参阅python 驱动程序代码）：

prep_statement = session.prepare("INSERT INTO tt(id, title) VALUES (?, ?)")
for your_loop:
   session.execute(prep_statement, [id, title])

另一个问题是您正在使用同步 API - 这意味着驱动程序会等待直到插入发生然后触发下一个。为了加快速度，您需要使用异步 API（有关详细信息，请参阅同一文档）。请参阅使用 DataStax 驱动程序开发应用程序指南以获取最佳实践列表等。

但实际上，如果您只想向数据库加载数据，我建议不要重新发明轮子，而是：

• 将数据生成为 CSV 文件并使用 DSBulk 加载到 Cassandra 中，该DSBulk针对数据加载进行了深度优化
• 使用NoSQLBench生成数据并填充 Cassandra - 它还针对数据生成和加载进行了大量优化（不仅限于 Cassandra）。