小编lU5*_*5er的帖子

我是R和统计学的新手.请在这个问题上忍受我.

我想从1:8找到数字的四分位数和IQR.我计算得出Q2 =(4 + 5)/ 2 = 4.5 Q1 =(2 + 3)/ 2 = 2.5和Q3 =(6 + 7)/ 2 = 6.5

IQR = 6.5-2.5 = 4

但是R给出了一些不同的值.我无法理解我错在哪里.

> quantile(1:8)
  0%  25%  50%  75% 100%
1.00 2.75 4.50 6.25 8.00

> IQR(1:8)
[1] 3.5

如果有人能够指出我的错误,那就太好了.

我对 PySpark 很陌生。我正在构建一个 tfidf 并希望将其作为中间结果存储在磁盘中。现在，IDF 评分为我提供了 SparseVector 表示。

然而，当尝试将其保存为 Parquet 时，我遇到了 OOM。我不确定它是否在内部将 SparseVector 转换为 Dense，因为在这种情况下，它将导致大约 25k 列，并且根据此线程，以列格式保存如此大的数据可能会导致 OOM。

那么，您知道会发生什么情况吗？我的执行程序内存为 8g，并在 2g CSV 文件上运行。

我应该尝试增加内存还是将其保存为 CSV 而不是 Parquet？任何帮助表示赞赏。提前致谢。

更新1

正如所指出的，Spark 执行延迟评估，该错误可能是由于上游阶段造成的，我在写入之前尝试了显示和收集。他们似乎运行良好，没有抛出错误。那么，这仍然是与 Parquet 相关的问题还是我需要一些其他调试？

我对 PySpark 很陌生。

我正在 Jupyter Notebook 中运行一个脚本（主要是创建一个 tfidf 并用它预测 9 个分类列）。手动执行所有单元格需要大约 5 分钟。当从 spark-submit 运行相同的脚本时，它需要大约 45 分钟。怎么了？

如果我从终端使用 python 运行代码，也会发生同样的事情（多余的时间）。

我还将脚本中的配置设置为

conf = SparkConf().set('spark.executor.memory', '45G').set('spark.driver.memory', '80G').set('spark.driver.maxResultSize', '20G')

任何帮助表示赞赏。提前致谢。

我的书说的答案是x。

但是那怎么可能呢？我只是从计数信号量和二进制信号量之间的差异中学到的，计数信号量具有正值，因此多个进程可以访问关键部分。因此，在那种情况下-怎么可以说x个进程正在等待，因为到达0时，下一个等待信号将忙于等待一个进程，并且信号量永远不能小于0。

现在，我认为可能还有第二种情况。就像将计数信号量初始化为1一样。现在，当一个进程访问它时，它变为0。

while(s <= 0);

然后下一个过程将其设为-1。因此，单个进程等待使信号量值为-1。

因此，我可以得出结论，对于-x，x个进程正在等待！

有人可以澄清我是对还是错？任何帮助表示赞赏。提前致谢。

我正在尝试扫描csv文件.这是代码.

    FILE *fp;
    float pts[1000][2];
    char line[1000];
    int n = 0;
    fp = fopen("abc.csv","r");
    n = 0;
    while(fgets(line, sizeof line, fp))
    {
        sscanf(line,"%f,%f",&pts[n][0],&pts[n][1]);
        n++;
    }
    for(i=0;i<n;i++)
        printf("%f, %f\n",pts[i][0],pts[i][1]);

假设abc.csv包含

11.654,22.332
11.654,22.332
11.654,22.332

当我打印时,我输出为,

11.654000, 22.332001
11.654000, 22.332001
11.654000, 22.332001

额外的.000001来自哪里？

任何帮助表示赞赏.提前致谢.