我正在使用Spark 1.6.1并写入HDFS。在某些情况下，似乎所有工作都由一个线程完成。这是为什么？
另外，我需要parquet.enable.summary-metadata将镶木地板文件注册到Impala。
Df.write().partitionBy("COLUMN").parquet(outputFileLocation);
同样，所有这些似乎都发生在执行器的一个cpu中。
16/11/03 14:59:20 INFO datasources.DynamicPartitionWriterContainer: Using user defined output committer class org.apache.parquet.hadoop.ParquetOutputCommitter
16/11/03 14:59:20 INFO mapred.SparkHadoopMapRedUtil: No need to commit output of task because needsTaskCommit=false: attempt_201611031459_0154_m_000029_0
16/11/03 15:17:56 INFO sort.UnsafeExternalSorter: Thread 545 spilling sort data of 41.9 GB to disk (3 times so far)
16/11/03 15:21:05 INFO storage.ShuffleBlockFetcherIterator: Getting 0 non-empty blocks out of 0 blocks
16/11/03 15:21:05 INFO storage.ShuffleBlockFetcherIterator: Started 0 remote fetches in 1 ms
16/11/03 15:21:05 INFO datasources.DynamicPartitionWriterContainer: Using user defined output committer …我在网上看了很多.我认为Paperclip可能是我最大的希望.但我不知道如何使用它将图像文件从Rails 4上传到MySQL数据库.是的我知道将它加载到文件夹中更好,但我需要将其加载到数据库中.所以,如果你能帮助我,我将不胜感激.
谢谢