熊猫:int32 溢出?无法建立数据透视表

JoF*_*Fox 5 python integer-overflow pandas

我使用pd.pivot_table()方法通过旋转用户项目活动数据来创建用户项目矩阵。但是,数据框太大了,我收到了这样的抱怨:

Unstacked DataFrame太大,导致int32溢出

有关解决此问题的任何建议?谢谢!

r_matrix = df.pivot_table(values='rating', index='userId', columns='movieId')
Run Code Online (Sandbox Code Playgroud)

Qw3*_*3ry 1

对于库代码内的整数溢出,您无能为力。您基本上有三个选择:

  1. 更改您提供给库的输入数据,以免发生溢出。在某种意义上,您可能需要减小输入。如果这没有帮助,您可能以错误的方式使用该库或遇到了库中的错误。
  2. 使用不同的库(或根本不使用);看来您正在使用的库不适用于大输入。
  3. 修改库本身的代码,以便它可以处理您的输入。这可能很难做到,但是如果你向库源代码提交拉取请求,很多人都会从中受益。

您没有提供太多代码,所以我无法告诉您什么是最好的解决方案。