小编PMe*_*nde的帖子

先前有一个问题（Docker Unknown标志--mount）面临着相同的错误，该错误是由于运行了最新版本的Docker所致。我正在运行最新版本的Docker。

我有以下内容Dockerfile：

FROM continuumio/miniconda3

RUN --mount=type=ssh pip install git+ssh://git@github.com/myrepo/myproject.git@develop
RUN conda install numpy
...

根据文档，我应该能够简单地运行docker build --ssh default .。但是，我收到以下错误：

Sending build context to Docker daemon  2.048kB
Error response from daemon: Dockerfile parse error line 3: Unknown flag: mount

输出docker version：

Client: Docker Engine - Community
 Version:           18.09.2
 API version:       1.39
 Go version:        go1.10.8
 Git commit:        6247962
 Built:             Sun Feb 10 04:12:39 2019
 OS/Arch:           darwin/amd64
 Experimental:      false

Server: Docker Engine …

我有一系列图像作为我的原始数据,我正在准备出版.这些图像随机出现了一系列白色斑点,我想用一些周围像素的平均值替换它们.

我无法发布图片,但以下代码应该生成一个PNG,它近似于我正在尝试纠正的问题:

import numpy as np
from scipy.misc import imsave

random_array = np.random.random_sample((512,512))

random_array[random_array < 0.999] *= 0.25

imsave('white_specs.png', random_array)

虽然这应该会产生一个图像,其原始数据中存在类似的斑点分布,但我的图像没有强度均匀的斑点,并且一些斑点的大小不止一个像素(尽管它们都不超过2).此外,也有我的图像斑点我不希望改变这种被故意提出当数据采集清晰的目的,在饱和:这些斑点直径约为10像素.

原则上,我可以写一些东西来寻找值超过某个阈值的像素,然后根据它们最近邻居的平均值来检查它们.但是,我认为我最终想要实现的并不是图像处理中不常见的动作,我非常怀疑有一些SciPy功能可以做到这一点而无需重新发明轮子.我的问题是我对图像处理的形式方面/词汇不够熟悉,才能真正了解我应该寻找什么.有人能指出我正确的方向吗？

我正在编写一个Python包，该包使用装饰器删除样板代码，同时对函数进行自省以获取默认的函数名。类似于以下内容：

def make_real_instance(func: Optional[Callable] = None,
                       *, func_name: Optional[str] = None):
    def make_wrapper(in_func):
        @functools.wraps(in_func)
        def wrapper(*args, **kwargs):
            nonlocal func_name
            # Use func_name if provided
            func_name = func_name or in_func.__name__
            # Construct params for new object from function and its inputs
            stuff = in_func(*args, **kwargs)
            # Process stuff commonly
            new_object = ObjectConstructor(processed_stuff, func_name)
            return new_object
        return wrapper

    if func:
        return make_wrapper(func)
    return make_wrapper

现在，我有这样的课程：

class ObjectConstructor:
    def __init__(self, ...):
        #do stuff

    @make_real_instance
    def add_foo(self, foo_length: float):
        stuff = ... # process …

我正在尝试计算 Spark 中的一些移动平均值，但遇到了倾斜分区的问题。这是我尝试执行的简单计算：

获取基础数据

# Variables
one_min = 60
one_hour = 60*one_min
one_day = 24*one_hour
seven_days = 7*one_day
thirty_days = 30*one_day

# Column variables
target_col = "target"
partition_col = "partition_col"


df_base = (
    spark
    .sql("SELECT * FROM {base}".format(base=base_table))
)

df_product1 = (
    df_base
    .where(F.col("product_id") == F.lit("1"))
    .select(
        F.col(target_col).astype("double").alias(target_col),
        F.unix_timestamp("txn_timestamp").alias("window_time"),
        "transaction_id",
        partition_col
    )
)
df_product1.persist()

计算运行平均值

window_lengths = {
    "1day": one_day,
    "7day": seven_days,
    "30day": thirty_days
}
# Create window specs for each type
part_windows = {
    time: Window.partitionBy(F.col(partition_col))
                .orderBy(F.col("window_time").asc())
                .rangeBetween(-secs, -one_min) …