标签: python-polars

我正在使用诗歌版本 1.2.2 和 python 3.11\n我想使用像 pl.read_sql() 这样的极坐标来读取 sql 查询\n但它需要connectorx库。\n我可以使用 pip installconnectorx 但诗歌来安装该库添加connectorx给出了这个错误：

 RuntimeError\n\n  Unable to find installation candidates for connectorx (0.3.1)\n\n  at ~\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\poetry\\installation\\chooser.py:103 in choose_for\n       99\xe2\x94\x82\n      100\xe2\x94\x82             links.append(link)\n      101\xe2\x94\x82\n      102\xe2\x94\x82         if not links:\n    \xe2\x86\x92 103\xe2\x94\x82             raise RuntimeError(f"Unable to find installation candidates for {package}")\n      104\xe2\x94\x82\n      105\xe2\x94\x82         # Get the best link\n      106\xe2\x94\x82         chosen = max(links, key=lambda link: self._sort_key(package, link))\n      107\xe2\x94\x82\n\n

尝试清除诗歌缓存\n尝试添加到 pyproject.toml 中

df = pl.DataFrame(
    {   
        "era": ["01", "01", "02", "02", "03", "03"],
        "pred1": [1, 2, 3, 4, 5,6],
        "pred2": [2,4,5,6,7,8],
        "pred3": [3,5,6,8,9,1],
        "something_else": [5,4,3,67,5,4],
    }
)
pred_cols = ["pred1", "pred2", "pred3"]
ERA_COL = "era"

我正在尝试做一个相当于北极熊排名百分位的事情。Polars 的rank功能缺乏pctPandas 所具有的旗帜。

我在这里查看了另一个问题：how to replacement pandas df.rank(axis=1) with Polars

但问题的结果（并将其应用到我的代码中）有些不对劲。计算 Pandas 中的排名百分比，给我一个浮点数，Polars 提供的示例给我一个数组，而不是浮点数，因此示例中计算的内容有所不同。

举个例子，Pandas 代码是这样的：

df[list(pred_cols)] = df.groupby(ERA_COL, group_keys=False).apply(
    lambda d: d[list(pred_cols)].rank(pct=True)
)

这段代码是pandas。

pandas_reserve_tb \
        .groupby(['hotel_id', 'people_num'])['total_price'] \
        .sum().reset_index()

我想将此代码更改为极坐标。

polars_researve_tb \
        .groupby("hotel_id", "people_num")['total_price'] \
        .sum().with_row_count()

但是，我得到了错误

“类型错误：‘GroupBy’对象不可下标”

如何解决这个错误？

我一直在尝试的polars关键功能中，最让我感兴趣的是比 RAM操作更大的功能。

我从这里下载了一些文件来玩。在网站上：每个文件的第一行是标题；1行对应1条记录。。警告总下载量相当大（~1.3GB）！本实验在AWS服务器上完成( t2.medium,, 2cpu)4GB

wget https://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_us_Shoes_v1_00.tsv.gz \\\nhttps://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_us_Office_Products_v1_00.tsv.gz \\\nhttps://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_us_Software_v1_00.tsv.gz \\\nhttps://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_us_Personal_Care_Appliances_v1_00.tsv  .gz \\\nhttps://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_us_Watches_v1_00.tsv.gz \n\ngunzip *\n

以下是结果wc -l

drwxrwxr-x 3 ubuntu ubuntu       4096 Jun  2 12:44 ../\n-rw-rw-r-- 1 ubuntu ubuntu 1243069057 Nov 25  2017 amazon_reviews_us_Office_Products_v1_00.tsv\n-rw-rw-r-- 1 ubuntu ubuntu   44891575 Nov 25  2017 amazon_reviews_us_Personal_Care_Appliances_v1_00.tsv\n-rw-rw-r-- 1 ubuntu ubuntu 1570176560 Nov 25  2017 amazon_reviews_us_Shoes_v1_00.tsv\n-rw-rw-r-- 1 ubuntu ubuntu  249565371 Nov 25  2017 amazon_reviews_us_Software_v1_00.tsv\n-rw-rw-r-- 1 ubuntu ubuntu  412542975 Nov 25 …