小编nic*_*ine的帖子

从Mongo运行Map/Reduce数据的最佳方法是什么?

我在云中托管了一个庞大的Mongo数据库(100GB)(MongoLab或MongoHQ).我想在数据上运行一些Map/Reduce任务来计算一些昂贵的统计数据,并且想知道完成这项工作的最佳工作流程是什么.理想情况下,我想使用亚马逊的Map/Reduce服务,这样做而不是维护我自己的Hadoop集群.

将数据从数据库复制到S3是否有意义.然后运行Amazon Map/Reduce吗?或者有更好的方法来完成这项工作.

此外,如果进一步下线,我可能想要经常像每天运行查询,所以S3上的数据需要反映Mongo中的内容会使事情变得复杂吗?

任何建议/战争故事都会非常有用.

hadoop mapreduce amazon-s3 mongodb amazon-web-services

12
推荐指数
1
解决办法
3009
查看次数

如何删除所有Flask会话?

如何删除Flask/python应用程序设置的所有会话和cookie.因此,当用户返回时,他们必须重新登录.我希望每次将新版本的代码推送到生产时都这样做.

python session flask

12
推荐指数
1
解决办法
3836
查看次数

你如何用Python计算OpenCV中的汽车?

我正在尝试使用OpenCV和Python自动计算图像中的汽车数量.

在此输入图像描述

最初我认为我可以通过一些细分来做到这一点,但我没有取得多大成功.然后我认为霍夫变换可能有助于计算汽车周围的边界,但它只是真正选择了停车位线.我唯一能想到的就是开始训练一些关于汽车和非汽车模板的比赛,但我希望有更简单的东西在这里做得很好.我也试过边缘检测看起来很积极但不确定如何继续:

在此输入图像描述

python opencv image-processing

12
推荐指数
2
解决办法
4275
查看次数

如何计算Scipy中稀疏矩阵的列的方差?

我有一个大,scipy.sparse.csc_matrix并希望将其正常化.即从每个元素中减去列均值并除以列标准差(std)i.

scipy.sparse.csc_matrix有一个.mean()但是有一种有效的方法来计算方差或标准?

python numpy scipy

11
推荐指数
1
解决办法
4123
查看次数

部署Meteor应用程序时如何指定MongoHQ数据库?

我想使用我自己的MongoHQ数据库来使用时部署Meteor应用程序meteor deploy.该文档说明了在我控制的机器上部署和运行时如何执行此操作:

$ PORT=3000 MONGO_URL=mongodb://localhost:27017/myapp node bundle/main.js
Run Code Online (Sandbox Code Playgroud)

但是文档似乎有点稀疏,如何使用它meteor deploy.可能吗?

编辑:我尝试关注http://docs.meteor.com/#meteor_settings并添加了一个settings.json文件并放入其中:

{"MONGO_URL" : "mongodb://user:pass@mongohq.com:10000/mydatabase"} 
Run Code Online (Sandbox Code Playgroud)

然后部署

meteor deploy myappname.meteor.com --settings settings.json

但部署的版本似乎没有使用我的数据库

mongodb meteor

11
推荐指数
1
解决办法
1785
查看次数

如何在ng-dblclick上阻止在AngularJS中选择文本?

我有一个ng-dblclick='doSomthing()'工作正常的元素,但也有选择元素中的文本的丑陋副作用.有什么方法可以防止这种情况?

javascript angularjs

11
推荐指数
1
解决办法
3260
查看次数

如何让jenkins运行"pip install"?

我有一个git repo,想让jenkins克隆它然后运行

virtualenv venv --distribute
/bin/bash venv/source/activate
pip install -r requirements.txt
python tests.py
Run Code Online (Sandbox Code Playgroud)

jenkins的控制台输出是:

+ virtualenv venv --distribute
New python executable in venv/bin/python
Installing distribute..........................done.
Installing pip...............done.
+ /bin/bash venv/bin/activate
+ pip install -r requirements.txt
Downloading/unpacking flask (from -r requirements.txt (line 1))
  Running setup.py egg_info for package flask

SNIP

creating /usr/local/lib/python2.7/dist-packages/flask

error: could not create '/usr/local/lib/python2.7/dist-packages/flask': Permission denied

----------------------------------------
Command /usr/bin/python -c "import setuptools;__file__='/var/lib/jenkins/workspace/infatics-website/build/flask/setup.py';exec(compile(open(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --single-version-externally-managed --record /tmp/pip-hkdBAi-record/install-record.txt failed with error code 1
Storing complete log in …
Run Code Online (Sandbox Code Playgroud)

continuous-integration pip jenkins

10
推荐指数
1
解决办法
2万
查看次数

你能在matplotlib中绘制实时数据吗?

我正在一个线程中从套接字读取数据,并希望在新数据到达时绘制和更新绘图.我编写了一个小型原型来模拟事物,但它不起作用:

import pylab
import time
import threading
import random

data = []

# This just simulates reading from a socket.
def data_listener():
    while True:
        time.sleep(1)
        data.append(random.random())

if __name__ == '__main__':
    thread = threading.Thread(target=data_listener)
    thread.daemon = True
    thread.start()

    pylab.figure()

    while True:
        time.sleep(1)
        pylab.plot(data)
        pylab.show() # This blocks :(
Run Code Online (Sandbox Code Playgroud)

python matplotlib

10
推荐指数
1
解决办法
2万
查看次数

为什么numpy.ndarray是对象在我的简单python循环中不可调用

我加载了一个包含两列矩阵的文本文件(例如下面)

[ 1   3
  2   4
  3   5 
  2   0]
Run Code Online (Sandbox Code Playgroud)

我的计算只是对每一行求和,即1 + 3,2 + 4,3 + 5和2 + 0.我使用以下代码:

data=np.loadtxt(fname="textfile.txt")## to load the above two column
xy= data
for XY in xy:
   i=0  
   Z=XY(i,0)+XY(i,1)
   i=i+1      
   print (Z)
Run Code Online (Sandbox Code Playgroud)

但我收到一个错误说numpy.ndarray object is not callable.为什么会这样?我该怎么做这个简单的计算?谢谢.

python numpy

10
推荐指数
3
解决办法
13万
查看次数

我如何用函数逼近函数的雅可比和Hessian?

我有一个Python函数:

def f(x):
    return x[0]**3 + x[1]**2 + 7 
    # Actually more than this.
    # No analytical expression
Run Code Online (Sandbox Code Playgroud)

它是向量的标量值函数.

我怎样才能在numpy或scipy数字上近似Jacobian和Hessian这个函数?

numerical numpy scipy

9
推荐指数
1
解决办法
1万
查看次数