嗨,我设置了一个ec2实例,我可以ping实例,但无法通过浏览器访问它.
httpd正在运行,我的端口配置如下.
ICMP
Port (Service) Source Action
ALL 0.0.0.0/0 Delete
TCP
Port (Service) Source Action
22 (SSH) 0.0.0.0/0 Delete
80 (HTTP) 0.0.0.0/0 Delete
443 (HTTPS) 0.0.0.0/0 Delete
8080 (HTTP*) 0.0.0.0/0 Delete
UDP
Port (Service) Source Action
53 (DNS) 0.0.0.0/0 Delete
你能帮我解决一下我在这里缺少的东西......看起来很奇怪,因为我的其他实例设置方式相同,就像魅力一样
我使用 Spark 将 json 数据写入 s3。但是，我不断收到以下错误。我们使用 apache hudi 进行更新。这只发生在某些数据上，其他一切都正常。
Caused by: org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0
in file s3a://<path to parquet file>
at org.apache.parquet.hadoop.InternalParquetRecordReader.nextKeyValue(InternalParquetRecordReader.ja va:251)
App > at org.apache.parquet.hadoop.ParquetReader.read(ParquetReader.java:132)
App > at org.apache.parquet.hadoop.ParquetReader.read(ParquetReader.java:136)
App > at com.uber.hoodie.func.ParquetReaderIterator.hasNext(ParquetReaderIterator.java:45)
App > at com.uber.hoodie.common.util.queue.IteratorBasedQueueProducer.produce(IteratorBasedQueueProducer.java:44)
App > at com.uber.hoodie.common.util.queue.BoundedInMemoryExecutor.lambda$null$0(BoundedInMemoryExecutor.java:94)
App > at java.util.concurrent.FutureTask.run(FutureTask.java:266)
App > at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
App > ... 4 more
App > Caused by: java.lang.UnsupportedOperationException:org.apache.parquet.avro.AvroConverters$FieldLongConverter
我无法理解。我跟踪了几个线程并在我的 Spark confs 中设置 --conf "spark.sql.parquet.writeLegacyFormat=true" 。但即使这样也无济于事。
有人在 Pyspark 环境中使用过 Apache Hudi 吗？如果可能的话，有可用的代码示例吗？