小编pen*_*uin的帖子

在pandas 20.1中,使用区间类型,是否可以在一系列中找到中点,左侧或中间值.

例如:

1. 创建interval数据类型列,并在这些时间间隔内执行一些聚合计算:

   df_Stats = df.groupby(['month',pd.cut(df['Distances'], np.arange(0, 135,1))]).agg(aggregations)
   

   Run Code Online (Sandbox Code Playgroud)

这将返回带有interval column数据类型的df_Stats: df['Distances']

2. 现在我想使用一个系列函数将间隔的左端与这些聚合的结果相关联:

   df['LeftEnd'] = df['Distances'].left
   

   Run Code Online (Sandbox Code Playgroud)

但是,我可以明智地运行这个元素:

    df.loc[0]['LeftEnd'] = df.loc[0]['Distances'].left

这有效.思考？

如何在分组数据中插入 PySpark 数据帧？

例如：

我有一个包含以下列的 PySpark 数据框：

+--------+-------------------+--------+
|webID   |timestamp          |counts  |
+--------+-------------------+--------+
|John    |2018-02-01 03:00:00|60      |
|John    |2018-02-01 03:03:00|66      |
|John    |2018-02-01 03:05:00|70      |
|John    |2018-02-01 03:08:00|76      |
|Mo      |2017-06-04 01:05:00|10      |
|Mo      |2017-06-04 01:07:00|20      |
|Mo      |2017-06-04 01:10:00|35      |
|Mo      |2017-06-04 01:11:00|40      |
+--------+----------------- -+--------+

我需要在他们自己的时间间隔内每分钟将 John 和 Mo 的计数数据插入一个数据点。我对任何简单的线性插值持开放态度 - 但请注意，我的真实数据是每隔几秒一次，我想插值到每一秒。

所以结果应该是：

+--------+-------------------+--------+
|webID   |timestamp          |counts  |
+--------+-------------------+--------+
|John    |2018-02-01 03:00:00|60      |
|John    |2018-02-01 03:01:00|62      |
|John    |2018-02-01 03:02:00|64      |
|John    |2018-02-01 03:03:00|66      |
|John    |2018-02-01 03:04:00|68 …