小编Abh*_*ary的帖子

异常:无法在 pyspark 上打开套接字

每当我尝试在 pyspark 中执行简单处理时,它都无法打开套接字。

>>> myRDD = sc.parallelize(range(6), 3)
>>> sc.runJob(myRDD, lambda part: [x * x for x in part])
Run Code Online (Sandbox Code Playgroud)

上面抛出异常 -

port 53554 , proto 6 , sa ('127.0.0.1', 53554)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Volumes/work/bigdata/spark-custom/python/pyspark/context.py", line 917, in runJob
    return list(_load_from_socket(port, mappedRDD._jrdd_deserializer))
  File "/Volumes/work/bigdata/spark-custom/python/pyspark/rdd.py", line 143, in _load_from_socket
    raise Exception("could not open socket")
Exception: could not open socket

>>> 15/08/30 19:03:05 ERROR PythonRDD: Error while sending iterator
java.net.SocketTimeoutException: Accept timed out
    at …
Run Code Online (Sandbox Code Playgroud)

sockets apache-spark pyspark

5
推荐指数
1
解决办法
7200
查看次数

如何在整个Swing UI应用程序中更改Font

我做了一个摇摆应用程序.现在我想更改整个Swing应用程序的Font,以便添加的任何组件都应该只跟随该Font.有没有办法实现同样的目标?

java fonts swing

4
推荐指数
1
解决办法
2402
查看次数

添加0和1是java中的备用数组单元格

我有任何值为0,0,0,0,0,0,0,0,1,1,1的数组现在我的所需输出应该像每个零将在奇数索引中,1将在偶数和如果0之后离开它应该在1之后复制而反之亦然.意味着输出将是0,1,0,1,0,1,0,0,0,0,0 .... 但是上面的操作必须在单个数组传递中完成

  • 所以我创建了一个大小相同的数组,
  • 然后我开始遍历主数组,一个0被激活我设置一个计数器来设置奇数索引中的值,反之亦然
  • 最后当索引超过创建的新数组的长度时,我开始从后向以偶数模式将0添加到新单元格中.

什么是另一个更好的解决方案.

java algorithm data-structures

4
推荐指数
1
解决办法
1126
查看次数

如何在Apache Spark中执行LabelEncoding或分类值

我有数据集包含字符串列.如何编码基于字符串的列,就像我们在scikit-learn LabelEncoder中所做的那样

scikit-learn apache-spark

4
推荐指数
2
解决办法
2141
查看次数

如何在Eclipse中检测视图的大小调整

当我们双击eclipse中的任何视图或者我们调整它的大小时,如何在代码中检测场景.目前我的代码片段正在扩展ViewPart,现在如何在视图中检测调整大小.

eclipse eclipse-plugin

3
推荐指数
1
解决办法
1790
查看次数

如何在eclipse插件开发中加载IFile并修改它

我有一个IFile显示绝对路径为

/dynamic/WebContent/testing.html

我想在上面的testing.html中进行一些更改.这意味着我需要加载文件,然后需要修改它然后保存它.在eclipse插件开发中执行上述步骤的过程是什么.

eclipse eclipse-plugin eclipse-rcp

3
推荐指数
1
解决办法
3297
查看次数

以编程方式保存Eclipse编辑器

我正在开发一个插件.

单击按钮,我想调用Eclipse的save方法或调用Eclipse工具栏上的save按钮.

这样做的方法是什么?

java eclipse-plugin eclipse-rcp

3
推荐指数
1
解决办法
2755
查看次数

TreeSet Custom Comparator Algo .. String Comparision

从提供的输入字符串:

{"200,400,7,1","100,0,1,1","200,200,3,1","0,400,11,1","407,308,5,1","100,600,9,1" },

我在TreeSet中添加相同的内容并希望它按第3个元素顺序排序,因此预期的输出将是:

(100,0,1,1)(200,200,3,1)(407,308,5,1)(200,400,7,1)(100,600,9,1)(0,400,11,1)

但我的实际输出是:

(100,0,1,1)(0,400,11,1)(200,200,3,1)(407,308,5,1)(200,400,7,1)(100,600,9,1)

但由于11的字符串比较小于9,但就整数而言,11> 9.我的预期产量变得不同了.建议我解决同样的问题.

import java.util.Comparator;
import java.util.TreeSet;

public class TreeSetComparator {

    public static void main(String[] args) {
        Comparator<String> comparator = new Comparator<String>() {
            @Override
            public int compare(String a, String b) {
                String aStr = a;
                String bStr = b;
                String[] splitA = aStr.split(",");
                String[] splitB = bStr.split(",");

                return splitA[2].compareTo(splitB[2]);
            }
        };

        String[] arr = { "200,400,7,1", "100,0,1,1", "200,200,3,1",
                "0,400,11,1", "407,308,5,1", "100,600,9,1" };

        TreeSet<String> ts = new TreeSet<String>(comparator);
        for (String str : arr) {
            ts.add(str); …
Run Code Online (Sandbox Code Playgroud)

java comparator treeset

3
推荐指数
1
解决办法
1万
查看次数

究竟是Java中的线程池在做什么?

线程池像任何ExecutorServices一样,我们定义了一个大小为3的newFixedPool.现在我有一个大约10000个可运行任务的队列.为了执行上述过程,我有这些疑虑 -

  1. 要执行上述过程,执行程序是否只允许任务中的3个线程一次运行?

  2. 池将携带3个线程,这3个线程将只负责执行所有10000个任务.如果它是正确的,单个线程如何运行不同的可运行任务,因为最终这些任务也是线程本身,并且在运行任何作业/任务的过程中,您可以为池线程分配新的职责.

java multithreading threadpool

3
推荐指数
1
解决办法
586
查看次数

使用数据框R中行的最后一列的最后一个值添加每列

我想在R的行的最后一列添加每一列数据框.我的数据框 -

L   E   B1  P   B2  M   Value
5   5   0   20  2   5   100
10  6   0   40  15  2   150
6   15  0   50  6   10  160
1   10  0   55  5   20  160
0   20  0   80  0   20  200
10  1   20  80  10  10  250
8   2   40  30  5   10  300
5   3   60  30  5   20  350
5   4   30  75  5   20  400
1   0   50  80  0   10  400
2 …
Run Code Online (Sandbox Code Playgroud)

r dataframe

3
推荐指数
1
解决办法
183
查看次数