小编Hac*_*g J的帖子

Spark.executor.allowSparkContext 的用例

我正在研究spark-core,发现了一个未记录的配置,即spark.executor.allowSparkContext自3.0.1 起可用。我无法在 Spark 官方文档中找到详细信息。在代码中,有对此配置的简短描述

如果设置为 true,则可以在执行器中创建 SparkContext。

但我想知道,如何SparkContext在执行器中创建?据我所知,SparkContext是在驱动程序上创建的,执行程序是由资源管理器分配的。所以SparkContext总是在执行者之前创建。此配置的用例是什么?

apache-spark pyspark

7
推荐指数
1
解决办法
2885
查看次数

scala 中令人困惑的包命名约定

我正在学习 scala,我正在查看 scala 风格指南的官方文档。但我很困惑为什么同样的表达同时是鼓励和劝阻。
根据Scala 风格指南,第一个package coolness是错误的,但在package coolness示例中间的第二个是正确的。

// wrong! this is definitely wrong
package coolness

// right! puts only coolness._ in scope
package com.novell.coolness

// right! puts both novell._ and coolness._ in scope
package com.novell
package coolness //but why is it OK?

// right, for package object com.novell.coolness
package com.novell
/**
 * Provides classes related to coolness
 */
package object coolness {
}
Run Code Online (Sandbox Code Playgroud)

已解决:我不知道超过 2 行的包声明与用点分隔的一行声明相同。

说起来 package com.novell.coolness都一样package com.novell; …

scala sun-coding-conventions

3
推荐指数
1
解决办法
519
查看次数

在Scala vs Java中导入类优先级

由于导入类问题,我被卡住了。就我而言,我的类与Apache Common有依赖关系StringUtils,并且StringUtils在同一包中有一个相同的名称class()。(Main类与Apache Common的依赖StringUtils,并且与Main类在同一包中有一个StringUtils。但这是编译错误)

在此处输入图片说明

StringUtils用导入语法指定了apache common ,但是似乎被同一包的遮盖了StringUtils。是scala的语言规范吗?

在Java中,没有问题。它与Apache common的StringUtils一起使用。 在此处输入图片说明

java scala

2
推荐指数
2
解决办法
77
查看次数

Apache Ignite应用程序部署而不重新平衡

我正在使用Apache Ignite,它嵌入在spring应用程序中(使用tomcat)作为rest api服务器.

就我而言,所有节点都是服务器作为数据网格.它们在内存中提供特定数据.每个物理服务器只有一个应用程序,它们由apache点燃聚类.

但我有一个问题.

如果我发现该API存在严重错误,我需要修复和部署.

所以我必须部署所有应用程序服务器.在那个时候,我应该重启tomcat每个服务器,然后发生重新平衡.它会在重新平衡期间降低响​​应性能,因此有时My API将无法使用.

我的问题是,我应该在部署应用程序时始终重新平衡数据吗?
如果那时,如果群集由数千个节点组织,我应该进行数千次重新平衡吗?或者还有其他想法吗?

希望对你有所帮助,谢谢.

java rest spring ignite

1
推荐指数
1
解决办法
270
查看次数

Scala中的头字段值或方法?

我正在学习Scala.

我很困惑scala不可变List中的head是方法或字段值.

列表声明如下.

sealed abstract class List[+A] extends .... {
  def isEmpty: Boolean
  def head: A //I think it is field value not a function or method
  def tail: List[A]
Run Code Online (Sandbox Code Playgroud)

但是,intelliJ说这是方法.

究竟是什么?

scala

1
推荐指数
1
解决办法
136
查看次数

Scala App的特点和主要内部工作原理如何?

嗨,我是斯卡拉的新手.

据我所知,在scala中有2路进入入口点,一个是使用object定义main方法,另一个是扩展App trait.

我想知道App trait是如何工作的,所以我检查了App trait 的来源,但是有很多令人困惑的代码......

该代码表示​​App具有从App trait 扩展的initCodes,并且这些initCit是从DelayedInit继承的delayedInit方法中添加的.另外,应用程序特点主要有方法,这将是切入点.

但令我困惑的是

  1. 谁打电话给delayedInit?是在调用main方法之前调用的吗?(我猜是的)
  2. 为什么initCodesListBuffer而不是元素?我认为应用程序中只有一个入口点,所以我认为它不应该是复数.
  3. 我在哪里可以查看这些知识?我试图在文档中搜索,但我不能

scala

0
推荐指数
1
解决办法
325
查看次数