小编Mah*_*son的帖子

(非常)大的 QVD 文件到 pandas DataFrame

我尝试使用此工具将 QVD 文件加载到 pandas 数据帧,如下面的脚本所示。问题是它工作完美,但没有优化,而且它只提供了一种通过索引获取行的方法,这就是我被迫使用 for 循环的原因。

因此,随着行数的增加,复杂性也会增加。我发现 qvd.getRow() 函数会导致复杂性,但我找不到任何其他方法来解析 QVD 文件。我正在寻找这样的工具,但效率更高,尤其是在我处理一些具有约 1M 记录的文件时。


import qvdfile.qvdfile 
import pandas as pd 

qvd = qvdfile.QvdFile ("file.qvd")

df = pd.DataFrame(columns=qvd.getRow(0).keys())
cols = list(qvd.getRow(0).keys())

for r in range(int(qvd.attribs["NoOfRecords"])):
    df = pd.concat([df, pd.DataFrame([qvd.getRow(r)], columns=cols)], ignore_index=True)

Run Code Online (Sandbox Code Playgroud)

python linux qlikview pandas qliksense

2
推荐指数
1
解决办法
4874
查看次数

标签 统计

linux ×1

pandas ×1

python ×1

qliksense ×1

qlikview ×1