小编Vit*_*Lin的帖子

pandas两个数据帧交叉连接

我找不到任何关于交叉连接的内容,包括合并/加入或其他一些.我需要使用{my function}作为myfunc来处理两个数据帧.相当于:

{
    for itemA in df1.iterrows():
           for itemB in df2.iterrows():
                       t["A"] = myfunc(itemA[1]["A"],itemB[1]["A"])
 }      
Run Code Online (Sandbox Code Playgroud)

相当于:

{
 select myfunc(df1.A,df2.A),df1.A,df2.A from df1,df2;
}
Run Code Online (Sandbox Code Playgroud)

但我需要更有效的解决方案:如果使用apply我将是如何实现它们thx; ^^

python pandas

9
推荐指数
2
解决办法
3万
查看次数

python multiprocessing 无法 pickle <type 'function'>

windows 下的 python2.7 | 我将 mysql 连接添加到类中并使用多重处理,引发错误。

self.ispop 和 self.match_var 返回字典

sprawn_self_calcu() 和 unwrap_self_f() 是 Map_class 函数的代理

Map_class的函数需要self var。

我的代码是这样的:

 from analysis_conf.pop_config import pop_config
 import datetime
 import multiprocessing
 from functools import  partial
 from sqlalchemy import create_engine
 from multiprocessing import Pool as threadpool

 def sprawn_self_calcu(arg, **kwarg):
      return Map.mapCin(*arg, **kwarg)

 def unwrap_self_f(arg, **kwarg):
      return Map.mappalg(*arg, **kwarg)
 partial_unwrap = partial(unwrap_self_f)
 partial_sprawn = partial(sprawn_self_calcu)

 class Map:
    def __init__(self):
        self.ispop = pop_config()
        self.match_var = self.ispop.pop_match_var()
    def CreateSqlalchemyEngine(self,config):
        sigma = 'mysql+mysqldb://%s:%s@%s:%s/%s?charset=utf8'%(config['user'],config['passwd'],
                                                         config['ipaddr'],config['port'],config['dbname']
                                                         )
        return create_engine(sigma,pool_recycle=10,pool_timeout=10800)

    def …
Run Code Online (Sandbox Code Playgroud)

python pickle multiprocessing

4
推荐指数
1
解决办法
1万
查看次数

标签 统计

python ×2

multiprocessing ×1

pandas ×1

pickle ×1