小编Gya*_*edi的帖子

什么是Hive:从org.apache.hadoop.hive.ql.exec.MapRedTask返回代码2

我正进入(状态:

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
Run Code Online (Sandbox Code Playgroud)

尝试使用hive控制台中的命令创建分区表的副本​​时:

CREATE TABLE copy_table_name LIKE table_name;
INSERT OVERWRITE TABLE copy_table_name PARTITION(day) SELECT * FROM table_name;
Run Code Online (Sandbox Code Playgroud)

我最初得到一些语义分析错误,不得不设置:

set hive.exec.dynamic.partition=true
set hive.exec.dynamic.partition.mode=nonstrict
Run Code Online (Sandbox Code Playgroud)

虽然我不确定上面的属性是做什么的?

蜂巢控制台的全部输出:

Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set …
Run Code Online (Sandbox Code Playgroud)

hadoop hive mapreduce

55
推荐指数
2
解决办法
17万
查看次数

如何仅列出HDFS中的文件名

我想知道是否有任何命令/表达式只能获取hadoop中的文件名.我只需要获取文件名,当我这样做时hadoop fs -ls 会打印整个路径.

我试过下面,但只是想知道是否有更好的方法来做到这一点.

hadoop fs -ls <HDFS_DIR>|cut -d ' ' -f17 
Run Code Online (Sandbox Code Playgroud)

shell hadoop

27
推荐指数
3
解决办法
3万
查看次数

迁移到Openshift Online Stuck

我正在迁移我的播客网站,但是构建正在等待一个多小时.

oc get events                                                ? 19:09:02

LASTSEEN   FIRSTSEEN   COUNT     NAME                     KIND          SUBOBJECT   TYPE      REASON                         SOURCE                                                 MESSAGE
50m        50m         1         opendevpodcast-1-build   Pod                       Normal    Scheduled                      default-scheduler                                      Successfully assigned opendevpodcast-1-build to ip-172-31-61-152.us-west-2.compute.internal
1m         48m         7         opendevpodcast-1-build   Pod                       Warning   FailedSync                     kubelet, ip-172-31-61-152.us-west-2.compute.internal   Error syncing pod
9m         47m         6         opendevpodcast-1-build   Pod                       Normal    SandboxChanged                 kubelet, ip-172-31-61-152.us-west-2.compute.internal   Pod sandbox changed, it will be killed and re-created.
50m        50m         1         opendevpodcast           BuildConfig               Warning   BuildConfigInstantiateFailed   buildconfig-controller                                 gave up on Build for BuildConfig opendev/opendevpodcast (0) due to fatal error: the …
Run Code Online (Sandbox Code Playgroud)

migration openshift openshift-3

11
推荐指数
0
解决办法
210
查看次数

如何在Eclipse中配置Java注释处理器?

我已经使用Java 8通过命令提示符编译成功运行了CLASS级别保留注释的注释处理器.

但是,当我尝试在eclipse中配置注释处理器并尝试使用"-proc:only"选项运行它时,它没有生效.

我已将包含自定义注释处理器类文件的Jar文件包含在Project Properties -> Annotation Processing -> Factory Path.我还提供了-proc:only选项Project Properties -> Annotation Processing -> Processor Options,当执行包含我的注释的类时,仍然没有调用注释处理器.

请帮我识别所需的设置或错误或通过eclipse运行注释处理器的附加步骤.

java eclipse annotations annotation-processor

6
推荐指数
2
解决办法
2万
查看次数

同一 tomcat 服务器内 WAR 之间的通信 - JNDI 与 REST API

我有一个要求,前端应用程序(用 Spring MVC 编写)需要与另一个后端应用程序通信。这两个应用程序都将在同一个 tomcat 实例中运行 WAR。为了便于理解,我们将其命名为 frontend.war 和 backend.war。

我浏览了各个论坛上的许多帖子,发现了许多不同的策略,其中一些如下:

1)使用 EJB - 排除这种情况,EJB 是维护开销,我们没有计划创建专用的 EAR 来完成此任务;因为我们计划添加更多不同的 forntend wars(应用程序模块),它们将与相同的 backend.war 进行通信。

2)使用JNDI:看起来很有希望,但需要进行一场战争才能了解第二次战争所暴露的“接口”,即它的签名。因此,它使其彼此紧密耦合。未来服务合同的变更可能会成为噩梦。

3)使用 REST API:这看起来是一种理想的方法,只有一个警告是通过 HTTP 调用进行通信,因此可能会很慢。

其他方法如常见的parentContext(在Spring中)。应用程序内的上下文切换确实有其自身的问题。

我越来越倾向于使用 REST API 方法来实现此解决方案;因为它更清洁且易于维护。此外,http 协议已经成熟,并且拥有大量可用于未来开发的专业知识。

我的疑问: A)是否有可能让 Tomcat 知道特定的 Web 服务调用确实是对运行相同 JVM/服务器(某种“内部”)的应用程序的调用;而不是“外部”网络服务调用?

B)如果我使用像“ http://localhost:8080/rest/ ...”这样的url(请注意,backend.war不适用于外部世界,因此不需要域名);它会起作用吗?

我正在寻找一种方法,它可以为我提供 JNDI(同一 JVM 内的通信)的性能和 REST 的灵活性(只要公共 URL 完好无损,您就可以随时更改任何内容)。

java rest tomcat jndi

5
推荐指数
1
解决办法
3174
查看次数

HBase:使用与现有表相同的模式创建表

我尝试在论坛上搜索,在那里我可以从现有的hbase表架构创建一个新的空hbase表,但无法找到.

更确切地说,假设我有一个包含多个列族的表,并且在这些族中有许多列限定符.

现在我必须使用相同的模式创建另一个空表.我们是否像在RDBMS中那样创建表.

Create table new_table as
select * from existing_table where 1=2;
Run Code Online (Sandbox Code Playgroud)

现有表具有复杂的结构,因此create table指定列族和列限定符的常规hbase 命令不是一个选项.

仅供参考我正在使用Mapr HBase 0.98.12-mapr-1506,我没有选择切换到任何高级版本或其他发行版.

hadoop hbase mapr

5
推荐指数
2
解决办法
6890
查看次数

在 Maven Web 应用程序的单元测试期间 beans.xml 的位置

我使用 Deltaspike CdiControl 为我的单元测试启动 CDI 容器。这工作正常,但有一个问题:如果我对 Maven Web 应用程序使用这种方法,beans.xml最终会在src/main/webapp/WEB-INF. 这意味着META-INF在单元测试期间它不在目标文件夹中的目录中。

由于单元测试本身不是webappJava SE 运行,因此该WEB-INF目录被忽略。我可以通过添加第二解决这个问题beans.xml,以META-INF和/或复制现有beans.xml向右文件夹单元测试。但这意味着我必须手动将其从战争中排除,因此它看起来有点不切实际。

把一个beans.xmlsrc/test/resources/META-INF不起作用,因为它仅允许在CDI组件target/test-classes被检测到。

这似乎是一个普遍的问题,我认为之前一定有人遇到过这个问题?或者每个人都有一个单独的 Maven 模块用于组件和/或单元测试?

java maven cdi weld deltaspike

5
推荐指数
0
解决办法
522
查看次数

带有"NoSuchMethodError"的Spring MVC错误

我得到了以下错误.

请给我一些建议.

我在用spring sts.

SEVERE: StandardWrapper.Throwable java.lang.NoSuchMethodError: org.springframework.web.context.ConfigurableWebApplicationContext.getEnvironment()Lorg/springframework/web/context/ConfigurableWebEnvironment;
at org.springframework.web.servlet.FrameworkServlet.configureAndRefreshWebApplicationContext(FrameworkServlet.java:641)
at org.springframework.web.servlet.FrameworkServlet.createWebApplicationContext(FrameworkServlet.java:598)
at org.springframework.web.servlet.FrameworkServlet.createWebApplicationContext(FrameworkServlet.java:661)
at org.springframework.web.servlet.FrameworkServlet.initWebApplicationContext(FrameworkServlet.java:517)
at org.springframework.web.servlet.FrameworkServlet.initServletBean(FrameworkServlet.java:458)
at org.springframework.web.servlet.HttpServletBean.init(HttpServletBean.java:138)
at javax.servlet.GenericServlet.init(GenericServlet.java:158)
at org.apache.catalina.core.StandardWrapper.initServlet(StandardWrapper.java:1241)
at org.apache.catalina.core.StandardWrapper.loadServlet(StandardWrapper.java:1154)
at org.apache.catalina.core.StandardWrapper.allocate(StandardWrapper.java:827)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:135)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106)
at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:501)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:142)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79)
at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:610)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:537)
at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1085)
at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:658)
at org.apache.coyote.http11.Http11NioProtocol$Http11ConnectionHandler.process(Http11NioProtocol.java:222)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1556)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1513)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.run(Thread.java:745)
Run Code Online (Sandbox Code Playgroud)

java spring spring-mvc spring-security

1
推荐指数
1
解决办法
8142
查看次数

关于ArrayList的问题

我需要使用一个ArrayList,但我不知道如何做一些普通数组可能做的事情.

1)这个:

int[][] example1 = new int[10][20];
Run Code Online (Sandbox Code Playgroud)

(具有两个参数(10,20)的数组)可以使用普通数组,但是如何使用ArrayList.)

2)如何将列表中的int值增加1,如下所示:

example2[3][4] ++;
Run Code Online (Sandbox Code Playgroud)

java

0
推荐指数
1
解决办法
118
查看次数