Weka J48 分类器：无法处理数字类？

Question

我现在正在尝试使用 Weka 在我的训练数据上构建 J48 (C4.5) 分类器模型。

首先我这样做，这似乎没问题：

java -Xmx10G -cp /weka/weka.jar weka.core.converters.TextDirectoryLoader -dir /home/test/cats > /home/test/cats.arff

这似乎也正常：

java -Xmx10G -cp /weka/weka.jar weka.filters.unsupervised.attribute.StringToWordVector -i /home/test/cats.arff -o /home/test/cats-vector.arff

这不正常：

java -Xmx10G -cp /weka/weka.jar weka.classifiers.trees.J48 -t /home/test/cats-vector.arff -d /home/test/cats.model

它给出了以下错误：

weka.core.UnsupportedAttributeTypeException: weka.classifiers.trees.j48.C45Prune                 ableClassifierTree: Cannot handle numeric class!
        at weka.core.Capabilities.test(Capabilities.java:954)
        at weka.core.Capabilities.test(Capabilities.java:1110)
        at weka.core.Capabilities.test(Capabilities.java:1023)
        at weka.core.Capabilities.testWithFail(Capabilities.java:1302)
        at weka.classifiers.trees.j48.C45PruneableClassifierTree.buildClassifier                 (C45PruneableClassifierTree.java:116)
        at weka.classifiers.trees.J48.buildClassifier(J48.java:236)
        at weka.classifiers.Evaluation.evaluateModel(Evaluation.java:1076)
        at weka.classifiers.Classifier.runClassifier(Classifier.java:312)
        at weka.classifiers.trees.J48.main(J48.java:948)

所以我然后尝试了这个：

java -Xmx10G -cp /weka/weka.jar weka.classifiers.trees.J48 -t /home/test/cats.arff -d /home/test/cats.model

这也给出了错误：

weka.core.UnsupportedAttributeTypeException: weka.classifiers.trees.j48.C45PruneableClassifierTree: Cannot handle string attributes!
        at weka.core.Capabilities.test(Capabilities.java:980)
        at weka.core.Capabilities.test(Capabilities.java:869)
        at weka.core.Capabilities.test(Capabilities.java:1085)
        at weka.core.Capabilities.test(Capabilities.java:1023)
        at weka.core.Capabilities.testWithFail(Capabilities.java:1302)
        at weka.classifiers.trees.j48.C45PruneableClassifierTree.buildClassifier(C45PruneableClassifierTree.java:116)
        at weka.classifiers.trees.J48.buildClassifier(J48.java:236)
        at weka.classifiers.Evaluation.evaluateModel(Evaluation.java:1076)
        at weka.classifiers.Classifier.runClassifier(Classifier.java:312)
        at weka.classifiers.trees.J48.main(J48.java:948)

显然，我以某种方式准备了错误的数据（顺便说一句，输入是子目录中的文本文件，这些文件以我想要的类别命名）。但我以为我是按照 Weka Wiki 上的说明进行操作的： Weka Wiki Categorizing Text Files Weka Wiki Primer

那么我做错了什么？我想使用 J48，因为它在测试中对我的数据具有很高的准确性。那么我该如何处理我的数据才能让 J48 分类器接受它呢？还是我需要使用不同的分类器？

请帮忙！

Answer 1

可以像这样将词向量转换为二进制：

java -Xmx4G -cp /weka/weka.jar weka.filters.unsupervised.attribute.NumericToBinary -i /home/test/cats-vector.arff -o /home/test/cats-binary.arff

尽管这会增加您正在训练的数据类型的偏差。这意味着非常接近彼此的二进制字符串被视为与距离很远的字符串更相似。如果你想消除这种偏见并将每个字符串视为一个完全独特的实体，那么使用@attribute class {ABC, DEF, GHI, etc}Then it works！

如果您真的想传达这些功能很重要且根本不相关，请为每个字符串创建一整列，其中当一行具有该类别时其值为“1”，而当它不具有时为 0。这会创建非常稀疏的数据，但随后学习算法会倾向于扫描该数据以获得信息增益。