小编Vik*_*ngh的帖子

如何对芹菜队列加价?

我在芹菜文档中读到了这个:

Task.rate_limit http://celery.readthedocs.org/en/latest/userguide/tasks.html#Task.rate_limit

请注意,这是每个工作人员实例速率限制,而不是全局速率限制.要强制实施全局速率限制(例如,对于每秒最大请求数的API),必须限制到给定队列.

如何对芹菜队列进行限速?

谢谢你不要对这个问题进行投票.

celery

21
推荐指数
1
解决办法
8668
查看次数

如何在张量流中设置rmse代价函数

我在张量流中有成本函数.

activation = tf.add(tf.mul(X, W), b)
cost = (tf.pow(Y-y_model, 2)) # use sqr error for cost function
Run Code Online (Sandbox Code Playgroud)

我正在尝试这个例子.如何将其更改为rmse cost函数?

python tensorflow

13
推荐指数
5
解决办法
2万
查看次数

正则表达式替换需要花费数百万个文档的时间,如何使其更快?

我有这样的文件:

documents = [
    "I work on c programing.",
    "I work on c coding.",
]
Run Code Online (Sandbox Code Playgroud)

我有同义词文件,如:

synonyms = {
    "c programing": "c programing",
    "c coding": "c programing"
}
Run Code Online (Sandbox Code Playgroud)

我想替换我编写此代码的所有同义词:

# added code to pre-compile all regex to save compilation time. credits alec_djinn

compiled_dict = {}
for value in synonyms:
    compiled_dict[value] = re.compile(r'\b' + re.escape(value) + r'\b')

for doc in documents:
    document = doc
    for value in compiled_dict:
        lowercase = compiled_dict[value]
        document = lowercase.sub(synonyms[value], document)
    print(document)
Run Code Online (Sandbox Code Playgroud)

输出:

I work on c …
Run Code Online (Sandbox Code Playgroud)

python parallel-processing cpython word2vec

9
推荐指数
1
解决办法
2604
查看次数

sqlalchemy 关闭所有连接

我正在尝试使用 sqlalchemy 删除我的数据库:

def dropDb(self, dbName):
    self.closeConnection()
    self.selectDb(None)
    self.execute("drop database %s" % dbName)

def closeConnection(self):
    self._Session.close_all()
    self._engine.dispose()
    del self._Session
    del self._engine
Run Code Online (Sandbox Code Playgroud)

我用以下方法创建引擎:

sqlalchemy.create_engine(connection_string, poolclass = NullPool)
Run Code Online (Sandbox Code Playgroud)

但我收到以下错误:

详细 ProgrammingError: (ProgrammingError) ('42000', '[42000] [Microsoft][ODBC SQL Server Driver][SQL Server]无法删除数据库“test_db”,因为它当前正在使用中。(3702) (SQLExecDirectW)') '删除数据库 test_db'()

如何强制关闭所有连接?

python sqlalchemy

7
推荐指数
1
解决办法
5839
查看次数

为什么np.where比pd.apply更快

示例代码在这里

import pandas as pd
import numpy as np

df = pd.DataFrame({'Customer' : ['Bob', 'Ken', 'Steve', 'Joe'],
                   'Spending' : [130,22,313,46]})

#[400000 rows x 4 columns]
df = pd.concat([df]*100000).reset_index(drop=True)

In [129]: %timeit df['Grade']= np.where(df['Spending'] > 100 ,'A','B')
10 loops, best of 3: 21.6 ms per loop

In [130]: %timeit df['grade'] = df.apply(lambda row: 'A' if row['Spending'] > 100 else 'B', axis = 1)
1 loop, best of 3: 7.08 s per loop
Run Code Online (Sandbox Code Playgroud)

问题来自:https://stackoverflow.com/a/41166160/3027854

python numpy pandas

7
推荐指数
1
解决办法
1710
查看次数

scipy.stats 模块和 numpy.random 模块之间有什么区别,两个模块都有的类似方法之间有什么区别?

我正在研究 python 中的一些分布函数:

均匀分布、二项分布、伯努利分布、正态分布

我发现 scipy 和 numpy 中都存在几乎相同的功能。

>>> from scipy.stats import binom
>>> rv = binom(n, p)

>>> import numpy as np
>>> s = np.random.binomial(n, p, 1000)
Run Code Online (Sandbox Code Playgroud)

回顾我发现 scipy 在内部使用 numpy 的代码:

https://github.com/scipy/scipy/blob/master/scipy/stats/_discrete_distns.py

https://github.com/numpy/numpy/blob/master/numpy/random/mtrand/distributions.c

所以,我的问题是拥有 2 个相同分布函数的副本的主要动机是什么?

scipy 库提供了哪些 numpy 中没有的附加功能?

每个模块中方法的完整列表在这里:

Numpy 随机模块:https : //docs.scipy.org/doc/numpy/reference/routines.random.html

Scipy 统计模块:https ://docs.scipy.org/doc/scipy/reference/stats.html

我发现参考了两个模块之间的一些基本区别:Difference between random draws from scipy.stats....rvs and numpy.random

python numpy scipy

7
推荐指数
2
解决办法
1879
查看次数

带有Flask的子域名?

我如何使用Flask为我的网站实施子域名?

文档尽管非常好,但对此并不十分清楚.子域名不需要是动态的,我只会使用我自己选择的2或3.

我该如何路线?是否有可能以正常方式测试它们?(由Flask在当地提供)

python flask web

5
推荐指数
1
解决办法
5267
查看次数

如何在elasticsearch-dsl python中选择特定字段

我正在使用elasticsearch dsl搜索elasticsearch:https : //elasticsearch-dsl.readthedocs.org/en/latest/

进行搜索查询时如何过滤特定字段:

我知道它在Elasticsearch中受支持:https//www.elastic.co/guide/en/elasticsearch/reference/1.4/search-request-fields.html

只是不知道如何在Elasticsearch-dsl中做同样的事情

python elasticsearch elasticsearch-dsl

4
推荐指数
1
解决办法
3999
查看次数

如何计算与交叉熵相同的对数损失?

我正在阅读log_loss和交叉熵,似乎有两种计算方法

第一:

import numpy as np
from sklearn.metrics import log_loss
def cross_entropy(predictions, targets):
    N = predictions.shape[0]
    ce = -np.sum(targets*np.log(predictions))/N
    return ce

predictions = np.array([[0.25,0.25,0.25,0.25],
                        [0.01,0.01,0.01,0.97]])
targets = np.array([[1,0,0,0],
                   [0,0,0,1]])

x = cross_entropy(predictions, targets)
print(log_loss(targets, predictions), 'our_answer:', ans)
Run Code Online (Sandbox Code Playgroud)

输出:0.7083767843022996 our_answer: 0.71355817782,几乎相同。所以这不是问题。

在此处输入图片说明

资料来源:http : //wiki.fast.ai/index.php/Log_Loss

以上实现是等式的中间部分。

第二:计算方法是等式的RHS部分:

res = 0
for act_row, pred_row in zip(targets, np.array(predictions)):
    for class_act, class_pred in zip(act_row, pred_row):
        res += - class_act * np.log(class_pred) - (1-class_act) * np.log(1-class_pred)

print(res/len(targets))
Run Code Online (Sandbox Code Playgroud)

输出: 1.1549753967602232

不太一样。我用numpy尝试过相同的实现也没有用。我究竟做错了什么?

PS:我也很好奇,-y …

python metrics machine-learning scikit-learn cross-entropy

4
推荐指数
1
解决办法
6683
查看次数

如何在不使用由 gcloud auth login 创建的凭据文件的情况下初始化 GoogleCredentials 对象

要连接到 GCE,我可以使用由gcloud auth login创建的凭据文件。像这样:

from oauth2client.client import GoogleCredentials
from googleapiclient.discovery import build

credentials = GoogleCredentials.get_application_default()
compute = build('compute', 'v1', credentials=credentials)

def list_instances(compute, project, zone):
    result = compute.instances().list(project=project, zone=zone).execute()
    return result['items']

instances = list_instances(compute, 'project', 'zone')
Run Code Online (Sandbox Code Playgroud)

上面的代码使用存储在 ~/.config/gcloud 的凭据

我想通过直接在代码中设置值来初始化 GoogleCredentials 对象。像client_id,client_secret..

PS:以上代码来自此链接:https : //cloud.google.com/compute/docs/tutorials/python-guide#gettingstarted

python google-compute-engine

3
推荐指数
1
解决办法
7461
查看次数