如何解决Get_dummies引起的内存错误

Question

我正在使用 Python，并且我的数据集包含大约 100 万条记录和大约 50 列

其中一些列具有不同的类型（例如 IssueCode 列可以有 7000 个不同的代码，另一列 SolutionCode 可以有 1000 个代码）

我正在尝试建立一个预测模型。

因此我必须使用 get_dummies 转换数据

但这导致了这个错误内存错误

文件“C：\ Users \ am \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ pandas \ core \ reshape \ reshape.py”，第963行，在_get_dummies_1d dummy_mat = np.eye（number_of_cols，dtype = dtype ).take(代码，轴=0)

内存错误

我尝试了另一种解决方案，保留列而不进行单热编码

现在我在尝试构建模型时收到此错误

ValueError：无法将字符串转换为浮点数：'ABC'

我检查了这个解决方案

get_dummies python 内存错误

我将所有列转换为 int8 但仍然出现相同的错误

df = pd.concat([df.drop('IssueCode', 1), pd.get_dummies(df['IssueCode'],prefix = 'IssueCode_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('SolutionCode', 1), pd.get_dummies(df['SolutionCode'],prefix = 'SolutionCode_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('Col1', 1), pd.get_dummies(df['Col1'],prefix = 'Col1_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('Col2', 1), pd.get_dummies(df['Col2'],prefix = 'Col2_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('Col3', 1), pd.get_dummies(df['Col3'],prefix = 'Col3_').astype(np.int8)], axis=1)

由于内存错误，我无法 get_dummies，并且由于字符串浮动错误，我无法 Not get_dummies

如何解决这个问题

这是我的代码

from sklearn.model_selection import cross_val_predict
import pymssql
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
import datetime
import random
from sklearn.ensemble import RandomForestRegressor


pd.set_option('display.max_rows', 5000)
pd.set_option('display.max_columns', 5000)
pd.set_option('display.width', 10000)


TaskTime = 900
RunTime = 120
sFolder = "/mnt/c/temp/"

def Lead0(value): 
        return "0" + str(value) if value < 10 else str(value)

dNow = datetime.datetime.now()
sNow = Lead0(dNow.year) + Lead0(dNow.month) + Lead0(dNow.day) + Lead0(dNow.hour) + Lead0(dNow.minute) + Lead0(dNow.second) 

print(sNow)

conn = pymssql.connect(server="MyServer", database="MyDB", port="1433", user="***", password="*****")
df = pd.read_sql("SELECT   *  FROM MyTable where MyDate between '1 jul 2018' and '30 jun 2019'", conn)
conn.close()


#df = pd.get_dummies(df)
#When I uncomment this I get Memory Error


mdl = RandomForestRegressor(n_estimators = 500) 

y_pred = cross_val_predict(mdl, X, y, cv=5)
#This is causing error String to float

Answer 1

您可能想做的第一件事是为数据帧列指定适当的数据类型，以减少加载的数据帧的内存使用量（参见https://www.dataquest.io/blog/pandas-big-data/）。

对于 one-hot 编码，内存问题的一种直接解决方案是使用稀疏数据类型而不是常规数据类型（更多详细信息请参阅文档）。这可以通过这样的事情来实现：

df = pd.get_dummies(df, columns=["IssueCode", "SolutionCode", "Col1", "Col2", "Col3"], 
                    sparse=True, axis=1)

我不确定pandas稀疏表示是否能很好地工作sklearn。如果它不起作用，您可以尝试使用sklearnOneHotEncoder ，它默认也提供稀疏表示。

还有其他分类特征的编码技术，可以减少维度（以及内存使用），但需要更多的工作，例如将分类特征的值合并到更大的组中。