小编vit*_*Cho的帖子

我可以在不同的线程中运行 pd.df.to_csv 吗?

我有一个相当大的熊猫数据框,我想根据条件选择一些行。

问题在于,另存为 CSV 的操作与程序的整体流程是分开的,并且会消耗相当多的时间。

是否可以分离线程,以便主线程前进到选定的行,同时将未选定的行保存为另一个线程中的 csv?

例如...

# This is pseudo code

import pandas as pd

df = pd.DataFrame({"col1":[x for x in range(10000)], "col2":[x**2 for x in range(0, 10000)]})

df_selected = df[df.apply(lambda x: x.col1%3==0, axis=1)] 
df_unselected = df[df.apply(lambda x: x.col1%3!=0, axis=1)] 


def Other_thread_save_to_csv(df:pd.DataFrame):
     # this function is the last function to use df_unselected .


Other_thread_save_to_csv(df_unselected )

all_other_hadlings(df_selected )

Run Code Online (Sandbox Code Playgroud)

python export-to-csv pandas

2
推荐指数
1
解决办法
101
查看次数

标签 统计

export-to-csv ×1

pandas ×1

python ×1