小编use*_*627的帖子

问题背后的一般用例是将目标目录中的多个CSV日志文件读入单个Python Pandas DataFrame,以便快速进行周转统计分析和制图.使用Pandas vs MySQL的想法是在一天中定期进行数据导入或附加+ stat分析.

下面的脚本尝试将所有CSV(相同文件布局)文件读入单个Pandas数据帧,并添加与每个文件读取关联的年份列.

该脚本的问题是它现在只读取目录中的最后一个文件而不是所需的结果是目标目录中的所有文件.

# Assemble all of the data files into a single DataFrame & add a year field
# 2010 is the last available year
years = range(1880, 2011)

for year in years:
    path ='C:\\Documents and Settings\\Foo\\My Documents\\pydata-book\\pydata-book-master`\\ch02\\names\\yob%d.txt' % year
    frame = pd.read_csv(path, names=columns)

    frame['year'] = year
    pieces.append(frame)

# Concatenates everything into a single Dataframe
names = pd.concat(pieces, ignore_index=True)

# Expected row total should be 1690784
names
<class 'pandas.core.frame.DataFrame'>
Int64Index: 33838 entries, …