小编Boy*_*ang的帖子

Spark如何查看RDD每个部分的数据

我现在希望自己测试repartition()和的行为,特别是在保持不变的不太常见的情况下,我希望看到具有相同分区号的重新分区调用仍然会对所有数据进行完全洗牌。然后我意识到我缺乏检查每个分区的确切内容的措施。我只是使用 paralyzed-list 作为我的示例 RDD。有什么方法可以检查每个分区的内容,以便我可以验证我的怀疑吗?哦,也许还有其他更新的 API 可以满足这个目标?提前致谢。coalesce()numsPartion

partition apache-spark rdd

3
推荐指数
1
解决办法
938
查看次数

动态规划在实词编程中的应用

我发现动态编程有点技巧性和要求。但是由于我希望自己成为一名合格的软件工程师,所以我想知道DP会在哪些开发场景中大量使用,或者换句话说,在基于现代计算机的开发中是否有实际用途?

如果您考虑在 spring 框架中广泛使用的代理模式和动态代理等设计模式,DP 似乎只在技术面试中有用。

此外,并行计算和分布式系统的应用似乎并不容易在现代计算机环境中赋能 DP。

是否有一些不罕见的场景,DP 以非常实用的方式被广泛使用?请原谅我的无知,因为我没有在真正的生产级开发中遇到DP,这让我怀疑深入DP的意义。

algorithm dynamic-programming

-1
推荐指数
1
解决办法
1015
查看次数