小编Ami*_*mir的帖子

如何在 Python 中禁用第三方模块的 INFO 日志记录

我正在使用 Python 查询 Serf 集群,但我想抑制INFO来自 Serf 的数据。我试图覆盖它,以便它只打印WARNING消息,但它拒绝遵守它。

输出:

01-04 14:57 root         INFO     Connecting to cluster
01-04 14:57 serf-rpc-client INFO     will connect to [('myhost.localdomain.local', 7373, {})]
01-04 14:57 serf-rpc-client INFO     trying to connect to myhost.localdomain.local:7373
01-04 14:57 serf-rpc-client INFO     connected to myhost.localdomain.local:7373
01-04 14:57 serf-rpc-client INFO     trying to request command: <RequestHandshake: handshake, 0, {'Version': 1}>
01-04 14:57 serf-rpc-client INFO     trying to request command: <RequestAuth: auth, 1, {'AuthKey': 'thundercats'}>
01-04 14:57 serf-rpc-client INFO     trying to request command: <RequestMembers: …
Run Code Online (Sandbox Code Playgroud)

python suppress-warnings

5
推荐指数
1
解决办法
4635
查看次数

在 python 枕头中堆叠多个图像

我正在尝试在 python 枕头中进行一些图像堆叠。我想做的是拍摄大量图像(比如 10 张),然后对于每个像素,取这样的中值:http : //petapixel.com/2013/05/29/a-look-at -减少照片中的噪点-使用中值混合/

现在,我可以以令人难以置信的蛮力方式(使用 getpixel 和 put pixel)来完成它,但这需要很长时间。

这是我到目前为止所拥有的:

import os
from PIL import Image
files = os.listdir("./")
new_im = Image.new('RGB', (4000,3000))
ims={}
for i in range(10,100):
    ims[i]={}           
    im=Image.open("./"+files[i])
    for x in range(400):
        ims[i][x]={}            
        for y in range(300):
            ims[i][x][y]=im.getpixel((x,y))

for x in range(400):
    for y in range(300):
        these1=[]
        these2=[]
        these3=[]
        for i in ims:
            these1.append(ims[i][x][y][0])
            these2.append(ims[i][x][y][1])
            these3.append(ims[i][x][y][2])
        these1.sort()
        these2.sort()
        these3.sort()
        new_im.putpixel((x,y),(these1[len(these1)/2],these2[len(these2)/2],these3[len(these3)/2]))

new_im.show()
Run Code Online (Sandbox Code Playgroud)

python image pillow

5
推荐指数
1
解决办法
5020
查看次数

Pandas 数据框按日期移动列

我有一个按日期和 ID 索引的面板数据集,如下所示:

df = pd.DataFrame({'Date':['2005-12-31', '2006-03-31', '2006-09-30','2005-12-31', '2006-03-31', '2006-06-30', '2006-09-30'],
              'ID':[1,1,1,2,2,2,2],
              'Value':[14,25,34,23,67,14,46]})
Run Code Online (Sandbox Code Playgroud)

我试图按日期移动相同 ID 的值,并且日期可以是不连续的季度。groupby.shift 没有给我正确的东西,或者也许我错过了一些东西。这是我所做的:

df['pre_value'] = df.groupby('ID')['Value'].shift(1)
Run Code Online (Sandbox Code Playgroud)

这确实会移动相同 ID 的值,但它会忽略日期...请注意,对于ID==12006-06-30缺少 ,因此pre_value2006-09-30实际上应该是 NaN 。我还在研究多重索引或将数据集声明为面板,但这使我的其他计算变得复杂。有没有简单的方法可以使用数据框来做到这一点?

python dataframe pandas

5
推荐指数
1
解决办法
3768
查看次数

无法在Lambda中导入模块

我有一个简单的exports.js文件,我已压缩文件夹并将其上传到Lambda但在运行时它会出错:

"errorMessage": "Cannot find module 'exports'",
"errorType": "Error",
"stackTrace": 
[
"Function.Module._resolveFilename (module.js:338:15)",
"Function.Module._load (module.js:280:25)",
"Module.require (module.js:364:17)",
"require (module.js:380:17)"
]
Run Code Online (Sandbox Code Playgroud)

任何帮助,将不胜感激.谢谢

javascript aws-lambda

5
推荐指数
1
解决办法
3234
查看次数

Python多重处理-检查每个进程的状态

我想知道是否有可能检查每个过程花费多长时间。
例如,有四个工作人员,该工作不应超过10秒,但一个工作人员需要超过10秒。是否可以在10秒后且过程完成工作之前发出警报。
我最初的想法是使用管理器,但似乎我要等到过程完成。
非常感谢。

python process multiprocessing

5
推荐指数
2
解决办法
9216
查看次数

如何与子进程共享父进程的numpy随机状态?

我在程序开始时设置了numpy随机种子.在程序执行期间,我使用多次运行函数multiprocessing.Process.该函数使用numpy随机函数绘制随机数.问题是Process获取当前环境的副本.因此,每个进程都独立运行,它们都以与父环境相同的随机种子开始.

所以我的问题是如何在子环境中与父进程环境共享numpy的随机状态?请注意,我想Process用于我的工作,需要使用一个单独的类,并分别import numpy在该类中执行.我尝试使用multiprocessing.Manager共享随机状态,但似乎事情没有按预期工作,我总是得到相同的结果.此外,如果我将for循环移动到内部drawNumpySamples或将其留在其中并不重要main.py; 我仍然无法得到不同的数字,随机状态总是一样的.这是我的代码的简化版本:

# randomClass.py
import numpy as np
class myClass(self):
    def __init__(self, randomSt):
        print ('setup the object')
        np.random.set_state(randomSt)
    def drawNumpySamples(self, idx)
        np.random.uniform()
Run Code Online (Sandbox Code Playgroud)

并在主文件中:

    # main.py
    import numpy as np
    from multiprocessing import Process, Manager
    from randomClass import myClass

    np.random.seed(1) # set random seed
    mng = Manager()
    randomState = mng.list(np.random.get_state())
    myC = myClass(randomSt = randomState)

    for i in range(10):
        myC.drawNumpySamples() # this will …
Run Code Online (Sandbox Code Playgroud)

python numpy multiprocessing scipy python-3.x

5
推荐指数
1
解决办法
491
查看次数

在Theano的GPU上是否可以进行int操作?

所以我读过theano不能用gpu计算float64和存储整数作为共享变量在gpu上它们必须初始化为共享float32数据,然后重铸为int(如逻辑回归示例中的"小黑客" ). ..但是经过这样的重铸之后,theano能否对整数进行gpu计算?并且存储是计算的前提条件?换句话说,以下两种情况是否可能?

场景1.我想在两个大的int向量上做一个点积.因此,我将它们分享为float32并在dot产品之前将它们重新转换为int,然后在gpu上完成此点积(无论int类型)?

场景2.如果场景1是可能的,是否仍然可以在gpu上进行计算而不将它们首先存储为共享的float32?(我知道共享变量可能会缓解gpu-cpu通信,但是dot产品仍然可能吗?存储是计算gpu的先决条件吗?)

python gpu gpgpu theano

4
推荐指数
1
解决办法
496
查看次数

从网站上的文件夹下载所有文件

我的问题是在R如何下载网站上的所有文件?我知道怎么一个接一个地做,但不是一次一个.例如:

http://www2.census.gov/geo/docs/maps-data/data/rel/t00t10/

r download

4
推荐指数
2
解决办法
4766
查看次数

采用BPNN进行水质管理是否过度?

我正在开发一种淡水质量管理装置,可用于湖泊和河流等淡水体.该项目分为三个部分:

  1. 第一部分涉及获取pH,浊度等参数.
  2. 第二部分涉及根据参数采取纠正措施.例如,如果pH值太低,设备将注入碱性溶液以保持pH值为7-7.5.
  3. 现在,第三部分基于获得的参数(pH /浊度等)来预测湖泊的健康状况.预测算法应考虑参数并建立它们之间的相关性,以解释湖泊将持续多长时间.为实现这一目标,我目前偏向于使用反向传播神经网络(BPNN),因为我发现其他多个人/机构更喜欢NN进行水质管理.*

现在我担心的是,使用BPNN对于这个项目是否有点过分?如果是,我应该选择哪种方法/工具?

*1,23

machine-learning backpropagation neural-network

4
推荐指数
1
解决办法
198
查看次数

熊猫groupby切片的字符串

我有一个数据框,我想按ID字段的第一部分进行分组。例如,说我有以下内容:

>>> import pandas as pd
>>> df=pd.DataFrame(data=[['AA',1],['AB',4],['AC',5],['BA',11],['BB',2],['CA',9]], columns=['ID','Value'])
>>> df
   ID  Value
0  AA      1
1  AB      4
2  AC      5
3  BA     11
4  BB      2
5  CA      9
>>> 
Run Code Online (Sandbox Code Playgroud)

如何按ID字段的首字母分组?

我目前可以通过创建一个新列然后对其进行分组来做到这一点,但是我想有一种更有效的方法:

>>> df['GID']=df['ID'].str[:1]
>>> df.groupby('GID')['Value'].sum()
GID
A    10
B    13
C     9
Name: Value, dtype: int64
>>> 
Run Code Online (Sandbox Code Playgroud)

python dataframe pandas

4
推荐指数
1
解决办法
1099
查看次数