Doc 说:
Hooks 是外部平台和数据库的接口,如 Hive、S3、MySQL、Postgres、HDFS 和 Pig。Hooks 在可能的情况下实现一个公共接口,并充当操作符的构建块。参考
但是我们为什么需要它们?
我想从一个 Postgres 数据库中选择数据,然后存储到另一个。例如,我可以在由 python 操作员运行的 python 脚本中使用 psycopg2 驱动程序,或者气流出于某种原因应该知道我在脚本中到底在做什么,所以,我需要使用 PostgresHook 而不仅仅是 psycopg2 驱动程序?
OC:MS Windows 10 专业版
康达:4.7.11
点数:19.2.2
蟒蛇:3.7.4
CUDA:10.1.168
需要在隔离的 conda 环境中安装 pycuda。我在 conda docs 中创建了新的 env :
conda create -n cudaenv
conda install -n cudaenv cudatoolkit
Run Code Online (Sandbox Code Playgroud)
然后安装pip:
conda install -n cudaenv pip
conda activate cudaenv
Run Code Online (Sandbox Code Playgroud)
并尝试在其中安装 pycuda:
pip install pycuda-2019.1.2+cuda101-cp37-cp37m-win_amd64.whl
Run Code Online (Sandbox Code Playgroud)
...然后发生错误
(cudaenv) D:\Downloads>**pip install pycuda-2019.1.2+cuda101-cp37-cp37m-win_amd64.whl**f
WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
Processing d:\downloads\pycuda-2019.1.2+cuda101-cp37-cp37m-win_amd64.whl
Collecting appdirs>=1.4.0 (from pycuda==2019.1.2+cuda101)
WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken …Run Code Online (Sandbox Code Playgroud) 我有一些数据:
df_shuffled = shuffle(df, random_state=123)
X = scale(df_shuffled[df_shuffled.columns[:-1]])
y = df_shuffled["cnt"]
Run Code Online (Sandbox Code Playgroud)
然后我学会了简单的线性模型:
from sklearn.linear_model import LinearRegression
regr = LinearRegression()
regr.fit(X, y)
Run Code Online (Sandbox Code Playgroud)
我知道我不应该使用学习样本来验证模型,但我只是想知道如果我理解它是如何工作的.
我有很好的预测,使用该模型:
regr.predict(X)[:5]
array([ 5454.26166397, 3943.78784705, 2125.27231678, 2967.02153671,
4474.29945607])
Run Code Online (Sandbox Code Playgroud)
这与原始数据非常接近:
y[:5]
488 6421
421 3389
91 2252
300 3747
177 4708
Name: cnt, dtype: int64
Run Code Online (Sandbox Code Playgroud)
另外,我有coefs:
list(zip(df.columns, regr.coef_))
[('season', 570.86663333510262),
('yr', 1021.9670828146905),
('mnth', -141.30042168132388),
('holiday', -86.757534933339258),
('weekday', 137.22544688027938),
('workingday', 56.39322955869352),
('weathersit', -330.23017254975974),
('temp', 367.45598306317618),
('atemp', 585.57493105545359),
('hum', -145.60889630046199),
('windspeed(mph)', 12457254171589.174),
('windspeed(ms)', -12457254171787.625)]
Run Code Online (Sandbox Code Playgroud)
我们知道,我们可以使用这样的学习模型进行预测: y = Xw,其中y是预测值向量,X是数据矩阵,w是coef向量(regr.coef_).但是威士忌不起作用!
np.dot(X, regr.coef_)[:5] …Run Code Online (Sandbox Code Playgroud)