小编Dev*_*per的帖子

使用pandas有效地读取大型CSV文件而不会崩溃

我试图从http://grouplens.org/datasets/movielens/20m/读取名为ratings.csv的.csv文件,该文件在我的计算机中为533.4MB.

这是我在jupyter笔记本中写的内容

import pandas as pd
ratings = pd.read_cv('./movielens/ratings.csv', sep=',')
Run Code Online (Sandbox Code Playgroud)

这里的问题是内核会中断或死亡并要求我重新启动并且它会不断重复.没有任何错误.请问你可以建议任何解决这个问题的方法,就好像我的电脑无法运行它.

这有效,但它会继续重写

chunksize = 20000
for ratings in pd.read_csv('./movielens/ratings.csv', chunksize=chunksize):
ratings.append(ratings)
ratings.head()
Run Code Online (Sandbox Code Playgroud)

只有最后一个块写入其他块被注销

python csv dataframe pandas jupyter-notebook

3
推荐指数
1
解决办法
6058
查看次数

标签 统计

csv ×1

dataframe ×1

jupyter-notebook ×1

pandas ×1

python ×1