我需要保存一个带有两列词嵌入 (Word2Vec) 的 Pandas 数据框，这些词嵌入存储为 ndarrays 的 dim (1300, 300)、一个字符串和另一个具有该字符串的一个热表示的数组。
TYPE content title one_hot_label
------------------------------------------------------------
happy [[-0.25195312, 0.13085938, 0.05053711, -0.0417... [[0.12792969, -0.055908203, 0.011230469, 0.283... [0, 1, 0]
sad [[-0.25195312, 0.13085938, 0.05053711, -0.0417... [[0.12792969, -0.055908203, 0.011230469, 0.283... [0, 1, 0]
happy [[-0.25195312, 0.13085938, 0.05053711, -0.0417... [[0.12792969,-0.055908203, 0.011230469, 0.283... [0, 1, 0]
sad [[-0.25195312, 0.13085938, 0.05053711, -0.0417... [[0.12792969, -0.055908203, 0.011230469, 0.283... [0, 1, 0]
...
...
...
我需要将它保存在我的驱动器中。我尝试将它 ( df.to_picke)序列化并且只要条目数量很少就可以很好地工作。CSV ( df.to_csv) 将省略号添加到 Numpy 数组列并to_hdf给我溢出错误。
有没有办法用这种结构保存大型数据集？
编辑
打电话 …