有一种方法可以打印特定组件的布局信息.我知道有一种方法,但我忘记了名字.
当您为Swing组件调用该方法时,它会像dumpstacktrace调用一样详细显示该组件的布局信息.
任何的想法？这个方法名称是什么？我在一本书中读到它但却忘记了.或者让我知道调试Java Swing布局的一些好方法.
您好我正在尝试通过遵循sql查询进行弹性搜索查询,我想使用Java API实现相同的逻辑
select dttime, avg(cpu) from table cpustats where server="X" and dttime="Y" group by dttime,cpu
现在我有以下Java代码但它没有返回预期的输出
SearchResponse response = client.prepareSearch("cpuindex")
.setTypes("cputype")
.setQuery(QueryBuilders.matchAllQuery())
.addAggregation(AggregationBuilders.terms("cpu_agg")
.field("cpu").size(100))
.execute().actionGet();
请指导我是Elastic search的新手.提前致谢.
我收到以下代码，试图将 DataFrame 保存到提供的路径
df.write.mode(SaveMode.Append).parquet("/path/year=2018")
使用上述代码时出现以下异常。我正在使用 Spark 2.2.0。我是 Spark 的新手。
org.apache.spark.SparkException: Task failed while writing rows at
org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:270)
at
org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$apply$mcV$sp$1.apply(FileFormatWriter.scala:189)
at
org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$apply$mcV$sp$1.apply(FileFormatWriter.scala:188)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87) at
org.apache.spark.scheduler.Task.run(Task.scala:108) at
org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:338) at
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.NullPointerException at
org.apache.spark.sql.SparkSession$$anonfun$3.apply(SparkSession.scala:468)
at
org.apache.spark.sql.SparkSession$$anonfun$3.apply(SparkSession.scala:468)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:409) at
scala.collection.Iterator$$anon$11.next(Iterator.scala:409) at
org.apache.spark.sql.execution.datasources.FileFormatWriter$SingleDirectoryWriteTask.execute(FileFormatWriter.scala:324)
at
org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:256)
at
org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:254)
at
org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1371)
at
org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:259)
我已经将Spark发行版中的SparkR软件包安装到R库中.我可以调用以下命令,它似乎正常工作:library(SparkR)
但是,当我尝试使用以下代码获取Spark上下文时,
sc <- sparkR.init(master="local")
一段时间后,它会因以下消息而失败:
Error in sparkR.init(master = "local") :
JVM is not ready after 10 seconds
我已经设置了JAVA_HOME,我有一个工作的RStudio,我可以访问其他软件包,如ggplot2.我不知道为什么它不起作用,我甚至不知道在哪里调查这个问题.
嗨,我有一个有序的Spark DataFrame,我想在使用下面的代码迭代它时改变几行,但似乎没有任何方法来更新Row对象
orderedDataFrame.foreach(new Function1<Row,BoxedUnit>(){
@Override
public BoxedUnit apply(Row v1) {
//how to I change Row here
//I want to change column no 2 using v1.get(2)
//also what is BoxedUnit how do I use it
return null;
}
});
上面的代码也提供编译错误说"myclassname is not abstract and it does not override abstract method apply$mcVj$sp(long) in scala Function 1"
请指导.我是Spark的新手.我正在使用1.4.0版本.
嗨我写了Spark工作,似乎工作了好近一个小时,然后执行器开始因为超时而丢失我在日志声明中看到以下内容
15/08/16 12:26:46 WARN spark.HeartbeatReceiver: Removing executor 10 with no recent heartbeats: 1051638 ms exceeds timeout 1000000 ms
我没有看到任何错误,但我看到上面的警告,因为它执行器被YARN删除,我看到Rpc客户端解除了错误和IOException连接被拒绝和FetchFailedException
删除执行程序后,我看到它再次被添加并开始工作,其他一些执行程序再次失败.我的问题是遗嘱执行人丢失是正常的吗？失去执行者的任务正在发生什么？我的Spark工作继续运行,因为它长了大约4-5个小时我拥有非常好的集群,具有1.2 TB内存和良好的CPU内核.为解决上述超时问题,我试图将时间spark.akka.timeout增加到1000秒,但没有运气.我使用以下命令来运行我的Spark工作请指导我是Spark的新手.我正在使用Spark 1.4.1.提前致谢.
./spark-submit --class com.xyz.abc.MySparkJob --conf "spark.executor.extraJavaOptions=-XX:MaxPermSize=512M" --driver-java-options -XX:MaxPermSize=512m --driver-memory 4g --master yarn-client --executor-memory 25G --executor-cores 8 --num-executors 5 --jars /path/to/spark-job.jar
根据官方文档我们无法将Spark 特定的hive分区添加到DataFrame
Till Spark 1.5以下用于工作,数据框将具有实体列和数据,如下所示 -
DataFrame df = hiveContext.read().format("orc").load("path/to/table/entity=xyz")
但是,这在Spark 1.6中不起作用.
如果我给出如下所示的基本路径,它不包含我想要在DataFrame中的实体列,如下所示 -
DataFrame df = hiveContext.read().format("orc").load("path/to/table/")
如何在数据框中加载特定的配置单元分区？删除此功能的驱动因素是什么？
我相信它很有效率.Spark 1.6中是否有替代方案？
根据我的理解,Spark 1.6加载所有分区,如果我过滤特定分区它效率不高,它会因为数千个分区加载到内存而不是特定分区而中断内存并抛出GC(垃圾收集)错误.
请指导.提前致谢.
我怀疑,如果在同步非静态方法中调用静态方法,我们是否需要将其作为同步？
例如
class Test
{
public static void m2()
{
}
public synchronized void m1()
{
Test.m2();
----
----
}
在上面的情况下,我是否需要使m2同步以避免竞争条件或我应该保持原样.
}
我正在尝试用Java进行休息服务调用.我是网络和休息服务的新手.我有休息服务,返回json作为响应.我有以下代码,但我认为它不完整,因为我不知道如何使用json处理输出.
public static void main(String[] args) {
try {
URL url = new URL("http://xyz.com:7000/test/db-api/processor");
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setDoOutput(true);
connection.setInstanceFollowRedirects(false);
connection.setRequestMethod("PUT");
connection.setRequestProperty("Content-Type", "application/json");
OutputStream os = connection.getOutputStream();
//how do I get json object and print it as string
os.flush();
connection.getResponseCode();
connection.disconnect();
} catch(Exception e) {
throw new RuntimeException(e);
}
}
请帮忙.我是新来的休息服务和json.非常感谢提前.
嗨,我是图形世界的新手.我已经被分配到图形处理工作,现在我知道Apache Spark因此想到使用它来处理大图.然后我遇到了Gephi提供了很好的GUI来操作图形.Graphx是否有这样的工具或主要是并行图处理库.我可以将来自Gephi的json图形数据导入graphx吗？请指导.我知道这是基本但有效的问题.提前致谢.