小编And*_*rex的帖子

Dask 映射方法具有多个参数

我想将该Client.map方法应用于使用多个参数的函数,Pool.starmap就像multiprocessing. 这是一个例子

from contextlib import contextmanager

from dask.distributed import Client


@contextmanager
def dask_client(**kwargs):
    """some docs"""
    kwargs.setdefault("ip", "localhost:8786")
    client = Client(**kwargs)

    try:
        yield client
    except Exception:
        raise
    finally:
        client.close()


def f(x,y,z):
    return x+y+z
# Dummy function

if __name__ == "__main__":
    with dask_client() as client:
        client.map(f, (1,2,3), (1,2,3))

distributed.worker - WARNING - Compute Failed
Function:  f
args:      (1, 1)
kwargs:    {}
Exception: TypeError("f() missing 1 required positional argument: 'z'")

distributed.worker - WARNING - Compute Failed
Function: …
Run Code Online (Sandbox Code Playgroud)

python python-3.x dask dask-distributed

6
推荐指数
1
解决办法
1012
查看次数

Pipenv:我可以仅使用跳过锁定从 PyPI private 安装

我在 Azure 的私有 PyPI 中有 python 包。我想将其安装在其他项目中,但它仅适用于pipenv install --skip-lock. 这个最小的Pipfile应该可以正常工作

[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[[source]]
url = "https://${USERNAME}:${TOKEN}@MyUrl"
verify_ssl = true
name = "example"

[packages]
MyPackage = "*"

[requires]
python_version = "3.8"

Run Code Online (Sandbox Code Playgroud)

但是当我这样做时pipenv install,我收到此错误

pipenv.exceptions.ResolutionFailure]: Warning: Your dependencies could not be resolved. You likely have a mismatch in your sub-dependencies.
  You can use $ pipenv install --skip-lock to bypass this mechanism, then run $ pipenv graph to inspect …
Run Code Online (Sandbox Code Playgroud)

python pipenv

5
推荐指数
0
解决办法
1368
查看次数

将新列添加到 Numpy 数组作为行的函数

我有一个 2D Numpy 数组,我想对每一行应用一个函数,并用结果形成一个新列(新的第一列)。例如,让

M = np.array([[1,0,1], [0,0,1]])
Run Code Online (Sandbox Code Playgroud)

我想sum在每一行上应用该函数并得到

array([[2,1,0,1], [1,0,0,1]])
Run Code Online (Sandbox Code Playgroud)

所以第一列是[2,1]第一行和第二行的总和。

python numpy

4
推荐指数
1
解决办法
867
查看次数

弹性搜索分页

根据经验,使用 ES 进行分页的最佳方法是什么?目前,我正在开发一个后端使用 Elastic(通过 python)的 API,我的索引没有太多数据,所以默认情况下我们在 JavaScript(前端)中进行分页,我们没有问题。我想知道对于更大的索引,使用 Scroll API、切片或 search_after 进行分页的最佳方法是什么。

python elasticsearch

2
推荐指数
1
解决办法
7067
查看次数