标签: hoodie

我目前正在使用Grunt,Karma,Jasmine和Protractor在AngularJS上运行我的测试套件.我正在使用的数据库是hood.ie,它是CouchDB之上的一个库.我在我的Gruntfile中使用以下代码启动hood.ie:

hoodie: {
  start: {
    options: {
      callback: function(config) {
        grunt.config.set('connect.proxies.0.port', config.stack.couch.port);
      }
    }
  }
},

但是,我想有一个单独的数据库来运行测试,之后会自动重置.这样,生产数据不会与测试冲突.

我该怎么做呢？我认为有一种标准的方式可以做到这一点,因为我可以想象其他人遇到了同样的问题,但我无法在互联网上找到任何东西.

我使用 Spark 将 json 数据写入 s3。但是，我不断收到以下错误。我们使用 apache hudi 进行更新。这只发生在某些数据上，其他一切都正常。

Caused by: org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 
 in file s3a://<path to parquet file>
at org.apache.parquet.hadoop.InternalParquetRecordReader.nextKeyValue(InternalParquetRecordReader.ja va:251)

App > at org.apache.parquet.hadoop.ParquetReader.read(ParquetReader.java:132)

App > at org.apache.parquet.hadoop.ParquetReader.read(ParquetReader.java:136)

 App > at com.uber.hoodie.func.ParquetReaderIterator.hasNext(ParquetReaderIterator.java:45)

App > at com.uber.hoodie.common.util.queue.IteratorBasedQueueProducer.produce(IteratorBasedQueueProducer.java:44)

App > at com.uber.hoodie.common.util.queue.BoundedInMemoryExecutor.lambda$null$0(BoundedInMemoryExecutor.java:94)

App > at java.util.concurrent.FutureTask.run(FutureTask.java:266)

 App > at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)

App > ... 4 more

App > Caused by: java.lang.UnsupportedOperationException:org.apache.parquet.avro.AvroConverters$FieldLongConverter

我无法理解。我跟踪了几个线程并在我的 Spark confs 中设置 --conf "spark.sql.parquet.writeLegacyFormat=true" 。但即使这样也无济于事。