小编Sea*_*anB的帖子

获取java.lang.IllegalArgumentException:从java应用程序调用Sparks MLLIB StreamingKMeans时需求失败

我是Spark和MLlib的新手,我正试图从我的java应用程序调用StreamingKMeans,我得到一个我似乎不理解的异常.这是我转换训练数据的代码:

JavaDStream<Vector> trainingData = sjsc.textFileStream("/training")
            .map(new Function<String, Vector>() {
                public DenseVector call(String line) throws Exception {
                    String[] lineSplit = line.split(",");

                    double[] doubleValues = new double[lineSplit.length];
                    for (int i = 0; i < lineSplit.length; i++) {
                        doubleValues[i] = Double.parseDouble(lineSplit[i] != null ? !""
                                .equals(lineSplit[i]) ? lineSplit[i] : "0" : "0");
                    }
                    DenseVector denseV = new DenseVector(doubleValues);
                    if (denseV.size() != 16) {
                        throw new Exception("All vectors are not the same size!");
                    }
                    System.out.println("Vector length is:" + denseV.size());
                    return denseV;
                }
            });
Run Code Online (Sandbox Code Playgroud)

这里是我调用trainOn方法的代码: …

java bigdata apache-spark hadoop2 spark-streaming

5
推荐指数
1
解决办法
7234
查看次数

标签 统计

apache-spark ×1

bigdata ×1

hadoop2 ×1

java ×1

spark-streaming ×1