小编dan*_*nde的帖子

维度不可知(通用)笛卡尔积

我希望生成相对大量阵列的笛卡尔积,以跨越高维网格.由于高维度,不可能将笛卡尔积计算的结果存储在存储器中; 而是它将被写入硬盘.由于这种约束,我需要在生成中间结果时访问它们.到目前为止我一直在做的是:

for x in xrange(0, 10):
    for y in xrange(0, 10):
        for z in xrange(0, 10):
            writeToHdd(x,y,z)
Run Code Online (Sandbox Code Playgroud)

除了非常讨厌之外,它不可扩展(即它需要我编写与维度一样多的循环).我试图使用这里提出的解决方案,但这是一个递归解决方案,因此很难在生成时动态获取结果.除了每个维度有一个硬编码循环之外,还有什么"整洁"的方法吗?

python arrays numpy cartesian-product

5
推荐指数
1
解决办法
275
查看次数

加入Google BigQuery行

我在Google BigQuery中有一个巨大的表(即300万行).结构是这样的:

name1    attribute1
name2    attribute2
name1    attribute2
Run Code Online (Sandbox Code Playgroud)

我现在想要获得他们拥有的每个属性名称的列表.所以对于上面的例子,我想要这样的东西:

name1    attribute1, attribute2
name2    attribute2
Run Code Online (Sandbox Code Playgroud)

这是否可以使用BigQuery(因此无需编写任何代码,只是纯粹作为SQL查询)?

sql google-bigquery

3
推荐指数
1
解决办法
221
查看次数

Python 类似队列的数据结构

我正在研究一个偶尔会收到新元素的列表。添加这些新元素后,我想对这些元素执行计算(准确地说,估计 KDE)。我很快意识到,如果这个列表无限增长,KDE 函数的计算将花费非常长的时间,所以我认为队列将是一个很好的数据结构。标准 Python 队列 ( https://docs.python.org/2/library/queue.html ) 不允许访问单个队列元素而不将它们从队列中“弹出”。还有其他选择吗?

换句话说:是否有一些Python库允许我获取队列元素而不弹出它?(或者允许对队列元素进行类似数组的索引?)

python queue data-structures

2
推荐指数
1
解决办法
4136
查看次数