我正在研究一个文本分类问题,其中多个文本特征需要构建一个模型来预测工资范围。请参考样本数据集 大多数资源/教程只处理一列的特征提取,然后预测目标。我了解文本预处理、特征提取(CountVectorizer 或 TF-IDF)以及应用算法等过程。
在这个问题中,我有多个输入文本功能。当涉及多个特征时如何处理文本分类问题?这些是我已经尝试过的方法,但我不确定这些方法是否正确。请提供您的意见/建议。
1) 分别对每个特征应用数据清理,然后是 TF-IDF,然后是逻辑回归。在这里我试着看看我是否可以只使用一个特征进行分类。
2) 分别对所有列应用数据清洗,然后对每个特征应用 TF-IDF,然后合并所有特征向量以仅创建一个特征向量。最后是逻辑回归。
3) 分别对所有列应用数据清理并合并所有清理过的列以创建一个特征“merged_text”。然后在这个合并的文本上应用 TF-IDF,然后进行逻辑回归。
所有这 3 种方法在交叉验证和测试集上都给了我大约 35-40% 的准确率。我期望在未提供的测试集上至少有 60% 的准确度。
另外,我不明白如何使用文本数据来使用“company_name”和“experience”。company_name 中大约有 2000 多个唯一值。请提供有关如何处理文本分类问题中的数字数据的输入/指针。