小编Dom*_*ler的帖子

np.array的np.array的深拷贝

我有一个不同numpy数组的numpy数组,我想制作数组的深层副本.我发现了以下内容:

import numpy as np

pairs = [(2, 3), (3, 4), (4, 5)]
array_of_arrays = np.array([np.arange(a*b).reshape(a,b) for (a, b) in pairs])

a = array_of_arrays[:] # Does not work
b = array_of_arrays[:][:] # Does not work
c = np.array(array_of_arrays, copy=True) # Does not work
d = np.array([np.array(x, copy=True) for x in array_of_arrays])

array_of_arrays[0][0,0] = 100
print a[0][0,0], b[0][0,0], c[0][0,0], d[0][0,0]
Run Code Online (Sandbox Code Playgroud)

这是最好的方法吗?我错过了深层复制功能吗?在这个不同大小的数组中,每个元素的最佳交互方式是什么?

python arrays numpy

10
推荐指数
4
解决办法
2万
查看次数

使用stable/beta时忽略基准测试

我有一个带有一些基准测试和测试的文件,并希望测试稳定,测试版和夜间测试.但是,要么我不使用基准测试或稳定/ beta投诉.有没有办法在使用stable/beta时隐藏所有基准测试部分?

作为示例,本书中的以下代码:

#![feature(test)]

extern crate test;

pub fn add_two(a: i32) -> i32 {
    a + 2
}

#[cfg(test)]
mod tests {
    use super::*;
    use test::Bencher;

    #[test]
    fn it_works() {
        assert_eq!(4, add_two(2));
    }

    #[bench]
    fn bench_add_two(b: &mut Bencher) {
        b.iter(|| add_two(2));
    }
}
Run Code Online (Sandbox Code Playgroud)

我正在使用rustup并希望使用相同的文件来处理所有构建,调用类似于:

rustup run nightly cargo bench --bin bench --features "bench"
rustup run nightly cargo test --bin bench --features "bench"
rustup run beta cargo test --bin bench
rustup run stable cargo test --bin bench
Run Code Online (Sandbox Code Playgroud)

我可以隐藏#![feature(test)] …

benchmarking rust

8
推荐指数
3
解决办法
1639
查看次数

Spark Dataframe到Java类的数据集

我想将作为Json读入的Dataframe转换为给定类的数据集.到目前为止,当我能够编写自己的案例类时,这非常有效.

case class MyCaseClass(...)
val df = spark.read.json("path/to/json")
val ds = df.as[MyCaseClass]

def myFunction(input: MyCaseClass): MyCaseClass = {
    // Do some validation and things
    input
}

ds.map(myFunction)
Run Code Online (Sandbox Code Playgroud)

但是,现在我被绑定到外部Java类(特别是由thrift创建的类).所以这里有一个自定义类的更具体的例子:

JSON:

{"a":1,"b":"1","wrapper":{"inside":"1.1", "map": {"k": "v"}}}
{"a":2,"b":"2","wrapper":{"inside":"2.1", "map": {"k": "v"}}}
{"a":3,"b":"3","wrapper":{"inside":"3.1", "map": {"k": "v"}}}
Run Code Online (Sandbox Code Playgroud)

类:

class MyInnerClass(var inside: String, var map: Map[String, String]) extends java.io.Serializable {
  def getInside(): String = {inside}
  def setInside(newInside: String) {inside = newInside}
  def getMap(): Map[String, String] = {map}
  def setMap(newMap: Map[String, String]) {map = newMap}
}

class MyClass(var …
Run Code Online (Sandbox Code Playgroud)

java scala apache-spark

7
推荐指数
1
解决办法
2129
查看次数

标签 统计

apache-spark ×1

arrays ×1

benchmarking ×1

java ×1

numpy ×1

python ×1

rust ×1

scala ×1