小编Har*_*rma的帖子

PySpark:使用过滤函数后取平均值

我使用以下代码来获得薪水大于某个阈值的人的平均年龄.

dataframe.filter(df['salary'] > 100000).agg({"avg": "age"})
Run Code Online (Sandbox Code Playgroud)

列的年龄是数字(浮点数),但我仍然收到此错误.

py4j.protocol.Py4JJavaError: An error occurred while calling o86.agg. 
: scala.MatchError: age (of class java.lang.String)
Run Code Online (Sandbox Code Playgroud)

您是否知道在不使用groupBy函数和SQL查询的情况下获得平均等的任何其他方法.

python apache-spark apache-spark-sql pyspark pyspark-sql

16
推荐指数
1
解决办法
3万
查看次数

AV_SAMPLE_FMT_S16P和AV_SAMPLE_FMT_S16有什么区别?

从AV_SAMPLE_FMT_S16P转换到AV_SAMPLE_FMT_S16时会发生什么?AVFrame结构如何包含平面和非平面数据?

audio ffmpeg transcoding libav

15
推荐指数
1
解决办法
1万
查看次数

阶段在火花日志中意味着什么?

当我使用spark运行一个作业时,我得到以下日志?

[Stage 0:> (0 + 32) / 32]

这里32对应于我要求的rdd的分区数.

但是我不明白为什么有多个阶段以及每个阶段到底发生了什么.

每个阶段显然需要很多时间.是否有可能在更少的阶段完成?

mapreduce apache-spark apache-spark-sql pyspark

9
推荐指数
1
解决办法
1999
查看次数

当你想要计算梯度和目标函数时,如何使用scipy.optimize.minimize函数?

scipy.optimize.minimze接受objjac充当输入.我相信它会在需要时单独调用它们.但是,我们经常遇到目标函数,其梯度计算与目标函数共享大量计算.所以,我非常希望来计算obj,并grad同时进行.但这个图书馆的情况似乎并非如此?如果一个人仍然想要使用它,那么处理它的方法scipy.optimize.minimze是什么?

python scipy scikit-learn

9
推荐指数
1
解决办法
3586
查看次数

numpy svd:有没有办法只找到第一个奇异向量而不是进行完整的 svd?

numpy.linalg.svd 函数给出输入矩阵的完整 svd。不过我只想要第一个奇异向量。

我想知道 numpy 中是否有任何函数或者 python 中的任何其他库?

python numpy scipy svd scikit-learn

5
推荐指数
1
解决办法
1893
查看次数

如何使用mediainfo以秒或其他格式查找视频文件的持续时间?

如何以毫秒为单位查找视频文件的持续时间,即以确定的方式以整数形式查找.我使用ffprobe来获取持续时间,但它没有给出所有文件格式的持续时间.

video multimedia ffmpeg mediainfo ffprobe

4
推荐指数
2
解决办法
1万
查看次数

如何统计neo4j中关系的总数?

我正在尝试以下查询,

start n=node(*) match (n)-[r]->(m) return count(r)

我不确定这个查询是否正确。

neo4j graph-databases cypher

3
推荐指数
1
解决办法
2259
查看次数

如何使用 libavcodec 对 AAC-LC、AAC-HE-V1、AAC-HE-V2 中的音频进行编码?

我正在尝试使用 libavcodec/ffmpeg API 对 AAC-LC、AAC-HE-V1、AAC-HE-V2 中的音频进行编码。

但是当我使用以下配置和 API 调用时。它显示“无效的 AAC 配置文件”。

AVCodecContext *encoder_ctx;
encoder_ctx->codec_id           =   AV_CODEC_ID_AAC;
encoder_ctx->sample_fmt         =   AV_SAMPLE_FMT_S16; 
encoder_ctx->profile            =   FF_PROFILE_AAC_HE;

encoder = avcodec_find_encoder(encoder_ctx->codec_id);
avcodec_open2(encoder_ctx, encoder, NULL);
Run Code Online (Sandbox Code Playgroud)

您能解释一下这有什么问题吗?

audio ffmpeg transcoding libavcodec libav

2
推荐指数
1
解决办法
2万
查看次数

将2D numpy矩阵转换为2D numpy数组

Numpy中的某些函数返回2d矩阵作为输出.但我希望它们是二维数组形式.将2d矩阵转换为2d数组的最有效(内存和CPU)方法是什么?

python numpy

1
推荐指数
1
解决办法
2348
查看次数