小编use*_*993的帖子

为什么我们需要气流钩?

Doc 说:

Hooks 是外部平台和数据库的接口,如 Hive、S3、MySQL、Postgres、HDFS 和 Pig。Hooks 在可能的情况下实现一个公共接口,并充当操作符的构建块。参考

但是我们为什么需要它们?

我想从一个 Postgres 数据库中选择数据,然后存储到另一个。例如,我可以在由 python 操作员运行的 python 脚本中使用 psycopg2 驱动程序,或者气流出于某种原因应该知道我在脚本中到底在做什么,所以,我需要使用 PostgresHook 而不仅仅是 psycopg2 驱动程序?

python database airflow

9
推荐指数
2
解决办法
1169
查看次数

在 conda 环境中使用 pip 时出现 SSL 证书问题

OC:MS Windows 10 专业版

康达:4.7.11

点数:19.2.2

蟒蛇:3.7.4

CUDA:10.1.168

需要在隔离的 conda 环境中安装 pycuda。我在 conda docs 中创建了新的 env :

conda create -n cudaenv
conda install -n cudaenv cudatoolkit
Run Code Online (Sandbox Code Playgroud)

然后安装pip:

conda install -n cudaenv pip
conda activate cudaenv
Run Code Online (Sandbox Code Playgroud)

并尝试在其中安装 pycuda:

pip install pycuda-2019.1.2+cuda101-cp37-cp37m-win_amd64.whl
Run Code Online (Sandbox Code Playgroud)

...然后发生错误

(cudaenv) D:\Downloads>**pip install pycuda-2019.1.2+cuda101-cp37-cp37m-win_amd64.whl**f
WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
Processing d:\downloads\pycuda-2019.1.2+cuda101-cp37-cp37m-win_amd64.whl
Collecting appdirs>=1.4.0 (from pycuda==2019.1.2+cuda101)
  WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken …
Run Code Online (Sandbox Code Playgroud)

python pip anaconda conda

5
推荐指数
0
解决办法
2544
查看次数

线性模型预测不一致

我有一些数据:

df_shuffled = shuffle(df, random_state=123)
X = scale(df_shuffled[df_shuffled.columns[:-1]])
y = df_shuffled["cnt"]
Run Code Online (Sandbox Code Playgroud)

然后我学会了简单的线性模型:

from sklearn.linear_model import LinearRegression
regr = LinearRegression()
regr.fit(X, y)
Run Code Online (Sandbox Code Playgroud)

我知道我不应该使用学习样本来验证模型,但我只是想知道如果我理解它是如何工作的.

我有很好的预测,使用该模型:

regr.predict(X)[:5]
array([ 5454.26166397,  3943.78784705,  2125.27231678,  2967.02153671,
    4474.29945607])
Run Code Online (Sandbox Code Playgroud)

这与原始数据非常接近:

y[:5]
488    6421
421    3389
91     2252
300    3747
177    4708
Name: cnt, dtype: int64
Run Code Online (Sandbox Code Playgroud)

另外,我有coefs:

list(zip(df.columns, regr.coef_))
[('season', 570.86663333510262),
 ('yr', 1021.9670828146905),
 ('mnth', -141.30042168132388),
 ('holiday', -86.757534933339258),
 ('weekday', 137.22544688027938),
 ('workingday', 56.39322955869352),
 ('weathersit', -330.23017254975974),
 ('temp', 367.45598306317618),
 ('atemp', 585.57493105545359),
 ('hum', -145.60889630046199),
 ('windspeed(mph)', 12457254171589.174),
 ('windspeed(ms)', -12457254171787.625)]
Run Code Online (Sandbox Code Playgroud)

我们知道,我们可以使用这样的学习模型进行预测: y = Xw,其中y是预测值向量,X是数据矩阵,w是coef向量(regr.coef_).但是威士忌不起作用!

np.dot(X, regr.coef_)[:5] …
Run Code Online (Sandbox Code Playgroud)

python machine-learning linear-regression scikit-learn

1
推荐指数
1
解决办法
96
查看次数