我知道有大量的numpy内存错误主题,所以我希望我没有重复任何东西.我正在尝试使用创建一个np数组np.zeros((500000,10000)).这在我的Mac上使用16G的内存工作正常,但在具有28G内存的Linux服务器上它立即失败Memory Error.我已经验证我正在运行64位版本的Ubuntu和Python,而我正在使用Numpy 1.9.3.我在系统之间注意到的唯一区别(除了显而易见的)是在运行时ulimit -a我得到:
Linux的: max locked memory (kbytes, -l) 64
苹果电脑: max locked memory (kbytes, -l) unlimited
这可能是我无法运行此命令的原因吗？如果没有,是否有其他配置选项我不见了？
我正在尝试通过api将在Cloud Connect中制作/编辑的图表上传到GoodData.我一直试图使用这个电话:http://docs.gooddata.apiary.io/#cloudconnectprocesses
我正在制作的实际电话有json {"process": {"path": "/uploads/Bonobos_v6-1.grf", "name": "Bonobos Prod"}}
但是,当我尝试运行它时,它失败了
{
"error": {
"errorClass": "com.gooddata.msf.processes.InvalidProcessException",
"trace": "",
"message": "Can not read from file \"/uploads/Bonobos_v6-1.grf\"",
"component": "MSF",
"errorId": "83090caa-31c9-4ce2-bb79-040d5c4d2421",
"errorCode": "gdc1151",
"parameters": []
}
}
有没有一种特定的方法来创建一个需要上传到服务器的"流程"？我已经尝试了多个图形和单个.grf文件的zip文件,但无济于事.我也假设错误并不意味着GoodData看不到文件,但这肯定会解释一些事情.
我开始将一个夜间数据管道从视觉ETL工具移植到Luigi,我真的很高兴有一个可视化工具来查看工作状态.但是,我注意到在最后一个作业(命名MasterEnd)完成几分钟后,所有节点都从图表中消失,除了MasterEnd.这有点不方便,因为我希望看到白天/过去的一切都完整.
此外,如果在可视化工具中我直接转到最后一个作业的URL,它就找不到它运行的任何历史记录:Couldn't find task MasterEnd(date=2015-09-17, base_url=http://aws.east.com/, log_dir=/home/ubuntu/logs/).我已经证实它今天早上成功运行了.
有一点需要注意的是,我有一个cron,它每15分钟运行一次这个管道来检查S3上的文件.如果存在,则运行,否则停止.我不确定这是否导致从可视化工具中删除任务.我注意到它PID每次运行都会生成一个新的,但我找不到在文档中持续一个PID /天的方法.
所以,我的问题:是否可以在可视化工具中保留当天完成的图表？有没有办法看到过去发生的事情？
感谢所有的帮助