小编use*_*227的帖子

使用Hadoop 2.0 Apis读取和编写Sequencefile

我正在寻找一个使用新API读取和编写序列文件的示例.

实际上,我需要知道如何使用这些功能

 createWriter(Configuration conf, org.apache.hadoop.io.SequenceFile.Writer.Option... opts) 
Run Code Online (Sandbox Code Playgroud)

旧定义对我不起作用:

SequenceFile.createWriter( fs, conf, path, key.getClass(), value.getClass());
Run Code Online (Sandbox Code Playgroud)

同样,我需要知道读取Sequence文件的代码是什么,因为不推荐使用以下内容:

SequenceFile.Reader(fs, path, conf);
Run Code Online (Sandbox Code Playgroud)

以下是使用相同的方法 -

    String uri = args[0];
    Configuration conf = new Configuration();
    Path path = new Path( uri);

    IntWritable key = new IntWritable();
    Text value = new Text();

    CompressionCodec Codec = new GzipCodec();
    SequenceFile.Writer writer = null;
    Option optPath = SequenceFile.Writer.file(path);
    Option optKey = SequenceFile.Writer.keyClass(key.getClass());
    Option optVal = SequenceFile.Writer.valueClass(value.getClass());
    Option optCom = SequenceFile.Writer.compression(CompressionType.RECORD,  Codec);

        writer = SequenceFile.createWriter( conf, optPath, optKey, optVal, optCom);
Run Code Online (Sandbox Code Playgroud)

hadoop

18
推荐指数
2
解决办法
3万
查看次数

如何在齐柏林飞艇上添加一个罐子?

如何在Zeppelin中为%hive解释器添加一个jar?

我试过了

%z.dep('');
add jar <jar path>
Run Code Online (Sandbox Code Playgroud)

此外,zeppelin hive解释器抛出ClassNotFoundException

./interpreter/hive/add jar说找不到文件的同时添加了通过 thrift异常.

怎么做?我试图通过亚马逊添加jsonserde.jar来解析DynamoDB导入.

json hive jar amazon-emr apache-zeppelin

8
推荐指数
2
解决办法
1万
查看次数

Java Build Path包含无效值

单击Java Build路径会出现以下错误:

The currently displayed page contains invalid values
Run Code Online (Sandbox Code Playgroud)

Java构建路径错误

我在Windows 7上安装了Eclipse Luna.安装了JDK 7 C:\Program Files\Java\jdk1.7.0_67

窗口>首选项> Java>已安装的JRE会出现以下错误 -

在此输入图像描述

这与此问题有关 - 此环境中未提供编译器.也许您运行的是JRE而不是JDK?

这是workspace.metadata.log的摘录

!ENTRY org.eclipse.jface 4 2 2015-05-03 22:56:07.221
!MESSAGE Problems occurred when invoking code from plug-in: "org.eclipse.jface".
!STACK 0
java.lang.NullPointerException
    at org.eclipse.jdt.internal.debug.ui.jres.JREsPreferencePage.dispose(JREsPreferencePage.java:316)
    at org.eclipse.jface.preference.PreferenceNode.disposeResources(PreferenceNode.java:170)
    at org.eclipse.ui.internal.preferences.WorkbenchPreferenceExtensionNode.disposeResources(WorkbenchPreferenceExtensionNode.java:139)
    at org.eclipse.jface.preference.PreferenceDialog$2.run(PreferenceDialog.java:291)
    at org.eclipse.core.runtime.SafeRunner.run(SafeRunner.java:42)
    at org.eclipse.jface.preference.PreferenceDialog.close(PreferenceDialog.java:303)
    at org.eclipse.ui.internal.dialogs.FilteredPreferenceDialog.close(FilteredPreferenceDialog.java:723)
    at org.eclipse.ui.internal.dialogs.WorkbenchPreferenceDialog.close(WorkbenchPreferenceDialog.java:148)
    at org.eclipse.jface.preference.PreferenceDialog.cancelPressed(PreferenceDialog.java:270)
    at org.eclipse.jface.preference.PreferenceDialog.buttonPressed(PreferenceDialog.java:235)
    at org.eclipse.jface.dialogs.Dialog$2.widgetSelected(Dialog.java:619)
    at org.eclipse.swt.widgets.TypedListener.handleEvent(TypedListener.java:248)
    at org.eclipse.swt.widgets.EventTable.sendEvent(EventTable.java:84)
    at org.eclipse.swt.widgets.Display.sendEvent(Display.java:4353)
    at org.eclipse.swt.widgets.Widget.sendEvent(Widget.java:1061)
    at org.eclipse.swt.widgets.Display.runDeferredEvents(Display.java:4172)
    at org.eclipse.swt.widgets.Display.readAndDispatch(Display.java:3761)
    at org.eclipse.jface.window.Window.runEventLoop(Window.java:827)
    at org.eclipse.jface.window.Window.open(Window.java:803)
    at org.eclipse.ui.internal.dialogs.WorkbenchPreferenceDialog.open(WorkbenchPreferenceDialog.java:221) …
Run Code Online (Sandbox Code Playgroud)

java eclipse windows maven

6
推荐指数
0
解决办法
1562
查看次数

scala.MatchError:<SomeStringvalue>(类java.lang.String)

我收到了错误:

Exception in thread "main" scala.MatchError: SomeStringValue (of class java.lang.String)
Run Code Online (Sandbox Code Playgroud)

我发现这是因为"SomeStringValue"在任何情况下都不存在:

val test = "SomeStringValue"
test match {
  case "Name" => println("Name")
  case "Age"  => println("Age")
  case "Sex"  => println("Sex")
}
Run Code Online (Sandbox Code Playgroud)

当我添加了else case:_它正确运行如下.

val test = "SomeStringValue"
test match {
  case "Name" => println("Name")
  case "Age"  => println("Age")
  case "Sex"  => println("Sex")
  case _      => println("Nothing Matched!!")
}
Run Code Online (Sandbox Code Playgroud)

问题:Scala中的case构造中应该始终存在匹配值的原因是什么?

scala

1
推荐指数
1
解决办法
8580
查看次数

在 Mac 上运行可执行文件,而不向所有身份不明的开发人员授予权限

Mac 不允许用户运行来自身份不明的开发者的文件以拯救用户。但现在如果您知道它是由您的同事构建的,那么您就可以运行它。

实现此目的的方法之一是允许应用程序从身份不明的开发人员运行 此权限将使您容易受到攻击

或者,您可以每次通过单击“允许”来运行它 - 当您从脚本运行它时,这是无法完成的!

security permissions macos xattr

-2
推荐指数
1
解决办法
2038
查看次数