小编Dmi*_* B.的帖子

为pandas数据透视表中的每个值列定义aggfunc

正在尝试生成具有多个"值"列的数据透视表.我知道我可以使用aggfunc以我想要的方式聚合值,但是如果我不想对两列进行求和或者平均而是我需要一列的总和而另一列的意思.那么使用熊猫是否可以这样做?

df = pd.DataFrame({
          'A' : ['one', 'one', 'two', 'three'] * 6,
          'B' : ['A', 'B', 'C'] * 8,
          'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 4,
          'D' : np.random.randn(24),
          'E' : np.random.randn(24)
})
Run Code Online (Sandbox Code Playgroud)

现在这将获得一个带有sum的数据透视表:

pd.pivot_table(df, values=['D','E'], rows=['B'], aggfunc=np.sum)
Run Code Online (Sandbox Code Playgroud)

这意味着:

pd.pivot_table(df, values=['D','E'], rows=['B'], aggfunc=np.mean)
Run Code Online (Sandbox Code Playgroud)

我怎样才能得到和的D意思E

希望我的问题很清楚.

python python-2.7 pandas

20
推荐指数
2
解决办法
2万
查看次数

使用PyCharm查看分析数据

有没有人知道是否有办法在PyCharm中打开外部.pstat文件进行查看?当我尝试时,我被要求选择文件类型,但似乎没有它的选项(即使那些视图用于内部生成的配置文件数据).

cprofile pycharm

20
推荐指数
2
解决办法
6375
查看次数

删除Python中的尾随空元素

是否有一种优雅的pythonian方法从列表中删除尾随的空元素.一种list.rstrip(无).所以

[1, 2, 3, None, 4, None, None]
Run Code Online (Sandbox Code Playgroud)

应该导致

[1, 2, 3, None, 4]
Run Code Online (Sandbox Code Playgroud)

我想这可以推广到删除任何特定值的尾随元素.


更新:我应该指定我希望将其作为单行(可读)表达式完成

python list

13
推荐指数
3
解决办法
7234
查看次数

用于检测空序列的更好的for循环语法?

是否有更好的方法来编写以下内容:

   row_counter = 0
   for item in iterable_sequence:
      # do stuff with the item

      counter += 1

   if not row_counter:
      # handle the empty-sequence-case
Run Code Online (Sandbox Code Playgroud)

请记住,我不能使用len(iterable_sequence),因为1)并非所有序列都具有已知长度; 2)在某些情况下,调用len()可能会触发将序列的项加载到内存中(与sql查询结果一样).

我问的原因是,我只是好奇是否有办法让上面更简洁和惯用.我正在寻找的是:

for item in sequence:
   #process item
*else*:
   #handle the empty sequence case
Run Code Online (Sandbox Code Playgroud)

(假设"else"在这里仅适用于空序列,我知道它没有)

python syntax for-loop

11
推荐指数
1
解决办法
2731
查看次数

python unicode处理print和sys.stdout.write之间的差异

我首先要说的是,我已经看过这篇文章:使用unicode进行奇怪的python打印行为,但是那里提供的解决方案(使用PYTHONIOENCODING)对我来说不起作用.

这是我的问题:

Python 2.6.5 (r265:79063, Apr  9 2010, 11:16:46)
[GCC 4.1.2 20080704 (Red Hat 4.1.2-44)] on linux2
>>> a = u'\xa6'
>>> print a 
¦
Run Code Online (Sandbox Code Playgroud)

但是工作得很好:

>>> sys.stdout.write(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa6' in position 0: ordinal not in range(128)
Run Code Online (Sandbox Code Playgroud)

抛出错误.我在顶部链接的帖子表明这是因为默认的控制台编码是'ascii'.但是,就我而言,它不是:

>>> sys.stdout.encoding
'UTF-8'
Run Code Online (Sandbox Code Playgroud)

那么对这里有什么工作以及如何解决这个问题的想法呢?

感谢:D.

python unicode stdout python-2.7

9
推荐指数
1
解决办法
3246
查看次数

使用异步 Node.JS 处理 HTTP 请求

我已经成功编写了一些 Nodejs HTTP 处理程序来提供数据以响应 HTTP 请求。但是,我编写的所有内容都使用 *Sync 版本的函数。我现在很快就遇到了这种方法的局限性。

但是,我不知道如何在 HTTP 请求上下文中正确使用异步函数。如果我尝试异步调用,处理很快就会失败并返回,而不会给代码处理数据的机会。

正确的做法是什么?我还没有找到任何好的例子,所以任何有关文献的指示都值得赞赏。除此之外,还有一个 GET 请求处理程序的示例,该请求扫描本地目录,然后返回文件名和相应行数的 json 列表(或者实际上是上述显示正确技术的任何存根代码) 。

node.js

6
推荐指数
1
解决办法
3062
查看次数

Linux文件IO - 多线程性能 - 写入不同的文件

我目前正在开发一种音频录制应用程序,它可以从网络中获取多达8个音频流并将数据保存到磁盘上(简化;)).现在,每个流都由一个线程处理 - >同一个线程也在磁盘上进行保存工作.

这意味着我有8个不同的线程在同一个磁盘上执行写操作,每个都写入不同的文件.

如果所有的写入工作都由一个公共线程完成(这会将数据写入特定文件),您认为磁盘I/O性能会有所提高吗?

OS是嵌入式Linux,"磁盘"是CF卡,应用程序是用C语言编写的.

谢谢你的想法尼克

file-io multithreading embedded-linux

5
推荐指数
1
解决办法
2377
查看次数

pandas:在groupby组内对观察进行排序

根据pandas group的答案,在组内进行排序,为了对每组中的观察进行排序,需要对第一组groupby的结果做一秒钟groupby.为什么需要一秒groupby?我会一直认为观察运行后的第一个已配置为组groupby和所有将需要是列举这些群体(和运行方式applyorder).

python pandas

5
推荐指数
1
解决办法
1万
查看次数

pandas:按组大小和数据值过滤

对数据进行分组后,我想从仅包含单个观察值低于某个阈值的结果组中删除。

初始数据:

df = pd.DataFrame(data={'Province' : ['ON','QC','BC','AL','AL','MN','ON'], 
                            'City' :['Toronto','Montreal','Vancouver','Calgary','Edmonton','Winnipeg','Windsor'],
                            'Sales' : [13,6,16,8,4,3,1]})

        City Province  Sales
0    Toronto       ON     13
1   Montreal       QC      6
2  Vancouver       BC     16
3    Calgary       AL      8
4   Edmonton       AL      4
5   Winnipeg       MN      3
6    Windsor       ON      1
Run Code Online (Sandbox Code Playgroud)

现在对数据进行分组:

df.groupby(['Province', 'City']).sum()

                    Sales
Province City
AL       Calgary        8
         Edmonton       4
BC       Vancouver     16
MN       Winnipeg       3
ON       Toronto       13
         Windsor        1
QC       Montreal       6
Run Code Online (Sandbox Code Playgroud)

现在我无法弄清楚的部分是如何删除只有一个城市(或通常为 N 个观察值)且总销售额小于 10 的省份。预期输出应该是:

                    Sales
Province City
AL       Calgary        8
         Edmonton …
Run Code Online (Sandbox Code Playgroud)

python pandas

5
推荐指数
2
解决办法
5428
查看次数

计算熊猫系列趋势线的斜率

是否有一种惯用的方法来获取列中线性趋势线拟合值的斜率DataFrame?数据用DateTime索引编制索引。

python numpy pandas

5
推荐指数
1
解决办法
5704
查看次数