Cor*_*ide 1 python regression categorical-data dummy-variable
在Jupyter笔记本中使用 Python 3 。我正在尝试创建一个回归模型(方程?)来预测Eng as % of Followers变量。我会得到Media Type, Hour Created, 和Day of Week。这些都应该被视为分类变量。
这是我过去的一些数据。
Media Type Eng as % of Followers Hour Created Day of Week
0 Video 0.0136 23 Tuesday
1 Video 0.0163 22 Wednesday
2 Video 0.0163 22 Tuesday
3 Video 0.0196 22 Friday
4 Video 0.0179 20 Thursday
5 Photo 0.0087 14 Wednesday
Run Code Online (Sandbox Code Playgroud)
我已经创建了dummy variablesusing pd.get_dummies,但我不确定我做对了 - 问题特别在于Hour Created变量。它们是数字,但我希望它们被视为类别。例如,第 22 小时可能是一个性能助推器,但这不应暗示第 21 或 23 小时的任何内容。
我也很好奇我是否可以在Day of Week和之间的交互中使用我的模型因素Hour Created(也许 22 小时在大多数日子里是一个提升,但 22 周五会导致下降)就像我在 patsy 上看到的那样......但这可能是我变得贪婪。
这是我创建虚拟变量的方式,这使我面临将其Hour Created作为定量变量而不是定性变量的问题。此外,我现在要使用的 Vars 数据框没有我想要预测的东西。这可能是对的吗?
Vars = Training[['Hour Created','Day of Week','Media Type']]
Result = Training['Eng as % of Followers']
Vars = pd.get_dummies(data=Vars, drop_first=True)
Run Code Online (Sandbox Code Playgroud)
如果有人可以帮助解决 Hour Created 问题,那将是一个很好的开始......然后,不知道从哪里开始。我见过人们在这种情况下使用 ols 功能。或者来自 sklearn 的 linear_model。我正在努力解释如何解释两者的结果,尤其是如何将这 3 个自变量的数据框插入该模型中。如果有人可以提出建议,我会尝试执行它。
编辑:包括我尝试创建此模型的几种方法。这是第一个,我假设它错误地使用了我的小时数据。而且由于我传递给它的数据帧甚至没有将 Eng 作为关注者的百分比作为列标题,我什至不确定它试图预测什么......
Vars_train, Vars_test, Result_train, Result_test = train_test_split(Vars, Result, test_size = .20, random_state = 40)
regr = linear_model.LinearRegression()
regr.fit(Vars_train, Result_train)
predicted = regr.predict(Vars_test)
Run Code Online (Sandbox Code Playgroud)
当我尝试按如下方式使用 ols 方法时,出现无效语法错误。我尝试了不同的变化无济于事。
fit1 = ols('Eng as % of Followers ~ C(Day of Week) + C(Hour Created) + C(Media Type)', data=Training).fit()
Run Code Online (Sandbox Code Playgroud)
确保正确进行虚拟编码的一种方法是将列转换为str类型。在您的情况下,您希望将其Hour Created视为分类,尽管它本质上是数字,因此最好在进行虚拟编码之前将它们转换为字符串。
为了捕捉之间的互动Day of Week和Hour Created做一个功能的工程和乘以创建自己的特色Day of Week,并Hour Created和饲料它作为输入到模型。
为了理解/解释您的模型,您可以查看不同特征的权重/系数,从而了解每个特征如何正面或负面地影响您的目标变量。
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
df
Media Type Eng_as_%_of_Followers Hour_Created Day_of_Week
0 0 Video 0.0136 23 Tuesday
1 1 Video 0.0163 22 Wednesday
2 2 Video 0.0163 22 Tuesday
3 3 Video 0.0196 22 Friday
4 4 Video 0.0179 20 Thursday
5 5 Photo 0.0087 14 Wednesday
df["Hour_Created"] = df["Hour_Created"].astype(str)
df["Interaction"] = df["Hour_Created"] + "_" +df["Day_of_Week"]
X = df.drop("Eng_as_%_of_Followers", axis=1)
Y = df["Eng_as_%_of_Followers"]
X_encoded = pd.get_dummies(X)
X_train, X_test, y_train, y_test = train_test_split(
X_encoded, Y, test_size=0.33, random_state=42)
reg = LinearRegression().fit(X_train, y_train)
coef_dict = dict(zip(X_encoded.columns, reg.coef_))
coef_dict
{'Day_of_Week_Friday': 0.0012837455830388678,
'Day_of_Week_Thursday': 0.0007424028268551229,
'Day_of_Week_Tuesday': -0.0008084805653710235,
'Day_of_Week_Wednesday': -0.0012176678445229678,
'Hour_Created_14': -0.0012176678445229678,
'Hour_Created_20': 0.0007424028268551229,
'Hour_Created_22': 0.0004752650176678456,
'Hour_Created_23': 0.0,
'Interaction_14_Wednesday': -0.0012176678445229678,
'Interaction_20_Thursday': 0.0007424028268551229,
'Interaction_22_Friday': 0.0012837455830388678,
'Interaction_22_Tuesday': -0.0008084805653710235,
'Interaction_22_Wednesday': 0.0,
'Interaction_23_Tuesday': 0.0,
'Media': -0.0008844522968197866,
'Type_Photo': -0.0012176678445229708,
'Type_Video': 0.0012176678445229685}
Run Code Online (Sandbox Code Playgroud)
当然,这里的结果可能不是很有趣,因为我只是在处理 6 个数据点。
回答您的问题
你可以找到y_intercept使用reg.intercept_
是的,您可以为 x 插入新值并使用 获取目标变量reg.predict(x),其中 x 是您的新输入。
由OLS和完成的回归sklearn是一回事。OLS 只不过是一种解决我们在回归中遇到的优化问题的方法。
希望这可以帮助!