小编Mih*_*iha的帖子

假设我有一个 pyspark 数据帧列表：[df1, df2, ...]，我想要的是将它们联合起来（所以实际上是这样做的df1.union(df2).union(df3)...。实现这一目标的最佳实践是什么？

我正在尝试使用scipy.optimize.fmin_bfgs()函数计算六驼峰驼峰函数的最小值.这是我的代码:

import numpy as np
import matplotlib.pyplot as plt
from scipy import optimize

def f(x,y):
    return (4 - 2.1*x**2 + x**4/3)*x**2 + x*y + (4*y**2 - 4)*y**2

x0 = [0,0]

optimize.fmin_bfgs(f, x0)

输出:

TypeError: f() missing 1 required positional argument: 'y'

我猜我传递x0的方式有问题吗？

我的文件如下所示：

1497484825;34425;-4,28,-14;-4,28,-14;-4,28,-14;-4,28,-14;-4,28,-14;-4,28,-14
1497484837;34476;-4,28,-14;-4,28,-14;-4,28,-14;-4,28,-14;-4,28,-14;-4,28,-14

我想使用 np.genfromtxt 将其导入 numpy 数组。最大的问题是它有“;” 和 ',' 作为分隔符。我的尝试：

import numpy as np
import io

s = io.StringIO(open('2e70dfa1.csv').read().replace(';',','))

data = np.genfromtxt(s,dtype=int,delimiter=',')

我收到错误：

类型错误：无法将“bytes”对象隐式转换为 str

怎么解决呢？我也愿意接受全新（更好）的想法。

我想实现异常值检测,它将使用一个窗口来检查下一个元素是否是异常值.假设我们在pd上使用长度为3的窗口.这样的系列:[0,1,2,3,4].我会在[0,1,2]上计算中位数和疯狂(或平均值和标准值)并检查3是否是异常值.
我实现了一个for循环解决方案,但它确实很慢.

我有很多专栏文章。我不想一一更改。比方说，tible看起来像这样：

df <- tibble(
  x = c(1,0,1,1,'a'), 
  y = c('A', 'B', 1, 'D', 'A'), 
  z = c(1/3, 4, 5/7, 100, 3)
)

我想根据其他标题中的值转换其列类型：

df_map <- tibble(
  col = c('x','y','z'), 
  col_type = c('integer', 'string', 'float')
)

什么是最合适的解决方案？

转换回由配方转换的列outcome（在本例中为）的最优雅的方法是什么？mpg该解决方案可以是通用的（如果存在或仅适用于log和normalize步骤（如下编码）。

可能有用的链接：此处
讨论了一般解决方案，但我认为它尚未实施。这里提供了 R 函数的解决方案，但我不确定在这种情况下是否可以提供帮助。
scale

library(recipes)

data <- tibble(mtcars) %>% 
    select(cyl, mpg)

rec <- recipe(mpg ~ ., data = data) %>%
    step_log(all_numeric()) %>%
    step_normalize(all_numeric()) %>%
    prep()

data_baked <- bake(rec, new_data = data)

# model fitting, predictions, etc...

# how to invert/transform back predictions (estimates) and true outcomes