Apache Arrow Java API文档

Question

我正在寻找Apache Arrow API的有用文档或示例.有人能指出一些有用的资源吗？我只能找到一些博客和JAVA文档(这并没有多说).

根据我的阅读,它是用于快速分析的标准内存柱状数据库.是否可以将数据加载到箭头存储器并进行操作？

Answer 1

您应该使用箭头作为两个需要使用传递对象进行通信的应用程序之间的中间人。

\n\n

\n

Arrow 不是一个独立的软件，而是一个组件，用于加速特定系统内的分析并允许支持 Arrow 的系统以较低的开销交换数据。

\n

\n\n

例如，Arrow 提高了集群内数据移动的性能。

\n\n

查看测试示例。

\n\n

  @Test\n  public void test() throws Exception {\n    BufferAllocator allocator = new RootAllocator(Integer.MAX_VALUE);\n    File testInFile = testFolder.newFile("testIn.arrow");\n    File testOutFile = testFolder.newFile("testOut.arrow");\n\n    writeInput(testInFile, allocator);\n\n    String[] args = {"-i", testInFile.getAbsolutePath(), "-o", testOutFile.getAbsolutePath()};\n    int result = new FileRoundtrip(System.out, System.err).run(args);\n    assertEquals(0, result);\n\n    validateOutput(testOutFile, allocator);\n}\n

\n\n

还有阿帕奇镶木地板使用它。有从/到箭头对象的转换示例：

\n\n

MessageType parquet = converter.fromArrow(allTypesArrowSchema).getParquetSchema();\n\nSchema arrow = converter.fromParquet(supportedTypesParquetSchema).getArrowSchema();\n

\n