我开始冒险进入分布式代码,我很难根据所有的东西找出适合我需求的解决方案.基本上我有一个python的数据列表,我需要用一个函数处理.此函数具有一些嵌套for循环,但对于列表中的每个项目不会花费太长时间(大约一分钟).我的问题是列表非常大(3000多项).我正在考虑多处理,但我想我想尝试多服务器处理它(因为理想情况下,如果数据变大,我希望能够选择在作业期间添加更多服务器以使其更快地运行) .
我基本上都在寻找可以分发这个数据列表的东西(而不是超级需要但是如果我也可以通过它分发我的代码库那将会很好)
所以我的问题是,我可以使用什么包来实现这一目标？我的数据库是hbase所以我已经运行了hadoop(虽然从未使用过hadoop,只是将它用于数据库).我看着芹菜也扭曲了,但我很困惑哪个适合我的需要.
有什么建议？
我开始玩hadoop(但是没有访问群集,所以只能在独立游戏中玩).我的问题是,一旦它在集群设置中,如何分配任务并将代码库转移到新节点？
理想情况下,我想运行大型批处理作业,如果我需要更多容量,可以向集群添加新节点,但我不确定是否必须复制本地运行的相同代码或执行特殊操作,以便批处理作业正在运行我可以添加容量.我以为我可以将我的代码库存储在HDFS上并在每次需要时将其拉到本地运行,但这仍然意味着我需要在服务器上使用某种初始脚本并且需要先手动运行它.
如果可能的话,任何建议或意见都会很棒!
谢谢.
更新:为了帮助澄清我的要求,我已经发布了一些可以解决问题的java代码.
前段时间我问一个问题,如何得到一个算法,打破了一组数字,当时的想法是给它编号列表(1,2,3,4,5)和共(10),它会找出每个将增加数的所有倍数达到总数('1*10'或' 1*1,1*2,1*3,1*4'或' 2*5'等等).这是我做过的第一次编程练习,所以它花了我一段时间才开始工作,但现在我想试着看看我是否可以扩展它.原问题中的人说它是可扩展的,但我对如何做到这一点感到困惑.递归部分是我在缩放组合所有结果的部分时遇到的区域(它所指的表是不可扩展的但是应用缓存我能够使它快速)
我有以下算法(伪代码):
//generates table
for i = 1 to k
for z = 0 to sum:
for c = 1 to z / x_i:
if T[z - c * x_i][i - 1] is true:
set T[z][i] to true
//uses table to bring all the parts together
function RecursivelyListAllThatWork(k, sum) // Using last k variables, make sum
/* Base case: If we've assigned all the variables correctly, list …对不起,如果这是愚蠢但我只是想我应该试一试.假设我有一个巨大的图表(例如,1000亿个节点).Neo4J支持32亿,其他支持或多或少相同,所以说我不能同时在数据库中拥有整个数据集,如果它是有向图(无循环)和每组节点连接,我可以在其上运行pagerank到下一组节点(因此不会向后创建新链接,只会为新数据集创建新链接).
有没有办法我可以以某种方式获取以前的pagerank分数并将它们应用于新的数据集(我只关心最新数据集的pagerank但需要先前的set的pagerank来导出最后的数据集)？
那有意义吗？如果是这样,有可能吗？
我正在开始学习Cuda的日记.我正在玩一些你好的世界型cuda代码,但它不起作用,我不知道为什么.
代码非常简单,需要两个整数并将它们添加到GPU上并返回结果,但无论我将数字更改为什么,我都得到相同的结果(如果数学以这种方式工作,我会在主题上做得比我实际上做了).
这是示例代码:
// CUDA-C includes
#include <cuda.h>
#include <stdio.h>
__global__ void add( int a, int b, int *c ) {
*c = a + b;
}
extern "C"
void runCudaPart();
// Main cuda function
void runCudaPart() {
int c;
int *dev_c;
cudaMalloc( (void**)&dev_c, sizeof(int) );
add<<<1,1>>>( 1, 4, dev_c );
cudaMemcpy( &c, dev_c, sizeof(int), cudaMemcpyDeviceToHost );
printf( "1 + 4 = %d\n", c );
cudaFree( dev_c );
}
输出似乎有点偏: 1 + 4 = -1065287167
我正在设置我的环境,只是想知道代码是否有问题,否则可能是我的环境.
更新:我试图添加一些代码来显示错误,但我没有得到输出,但数字更改(是输出错误代码而不是答案？即使我没有在内核做任何工作,除了分配一个变量我仍然得到simlair结果).
// CUDA-C includes …我对Web开发有点新意,想要了解如何处理我的项目.
我们有一个庞大的mysql,它有一个相当大的数据集,我们希望人们可以使用它.有没有办法使用某种基于Web的电子表格,除了进行正常的电子表格计算外,还可以查询数据库并下载内容？我们有关于我们研究的公司的利基静态信息,理想情况下,用户可以访问我们的网站,并能够访问我们的数据,同时添加他们自己的逻辑(数学运算符),使其与他们更相关.
我们不想创建一个api来连接他们的桌面(还),并希望完全通过网络完成这项工作.
任何有关您使用的方法或工具的帮助将不胜感激.
提前致谢
编辑:我找到了一个很好的工具,用于使用phpexcel的drupal"Sheetnode"....我将研究它,我不完全确定它是否允许在单元格中添加mysql查询.
我有一个我在python中编写的脚本,它工作正常,但我很好奇,看看我是否可以加快它.它基本上是递归脚本.
如果我在普通的python 2.7中运行它,大约需要30秒.当我使用pypy运行相同的东西比我得到以下错误:
RuntimeError: maximum recursion depth exceeded
我不确定pypy做什么不同,因为我没有修改脚本.
任何人都可以帮我理解发生了什么吗？
更新:好吧我明白了.增加限制有帮助,但我认为我运行了错误的文件.我在bin目录下找到了一个名为py.py的文件并正在使用它.我不确定文件是做什么的,但它比普通的python慢.我不得不搜索并发现'pypy-c'似乎现在正常工作.
我很尴尬地问这个问题,但是我花了半个多小时试图找出如何在eclipse中运行一个特定的源文件而没有运气.
我创建了一个c ++项目,然后创建了一个源文件夹和一个c ++源文件.该文件工作正常,但当我在文件夹中添加第二个文件时,它似乎没有运行.我知道这是因为'hello world'正在输出,这是第一个源文件.奇怪的是如果我的第二个文件中有错误然后我得到错误但是在我纠正它们之后我仍然只得到第一个文件的输出.
是否可以运行当前在eclipse中打开的源文件(有点像Java的用法)？我的目标是为我工作的c ++书的每次练习创建一个新的源文件,让它们彼此独立地运行,而不必为每个练习创建新项目.
我正在尝试学习Cuda,它非常有趣但是我在创建代码时遇到了问题而没有IDE的帮助.我知道Java/Python,但我不熟悉C/C++所以我一直在使用eclipse和Xcode来帮助我查找命令和查找(通过代码完成代码).我似乎无法为CUDA获得这些选项？
我已经看过示例并且可以构建它们(nvcc正在工作)但是没有IDE来帮助我捕获一些错误我只是在文本编辑器中编辑代码有点失落.我发现了一个用于eclipse的工具包插件,但是虽然它似乎安装了我认为它适用于较旧版本的eclipse,因为说明书中的大多数选项与我的版本(Indigo)不匹配.Nvidia只在他们的网站上有一个Visual Studio插件(我宁愿不在我的Mac上安装Windows来使用Cuda).
我很抱歉,如果这听起来很糟糕,但我很好奇人们如何在Mac上开发cuda.我不关心我使用什么IDE,只要它能帮助我看到选项并警告我,如果我有语法问题等等.(我不是最好的程序员,但是切换IDE对我来说只是一个发现的问题事情是这样的,所以我对任何解决方案都很好,只要它能帮助我,因为我正在学习).
我刚刚开始使用C++并且正在学习如何使用QT创建器作为IDE,因此我怀疑这可能非常简单,但我可能会遗漏一些东西.我安装了apollo MQ并安装了apache CMS(C++消息服务),因此我可以用C++与服务器进行交互.问题是,我不知道我在做什么:-)(还),并且我不确定为什么我在使用这些例子时遇到上述错误.
我很确定这些示例很好,因为它们包含在source的示例文件夹中,所以它让我怀疑项目的配置是不正确的(因为它是我唯一真正影响的事情).
这是.pro文件:
TEMPLATE = app
CONFIG += console
CONFIG -= qt
SOURCES += main.cpp
INCLUDEPATH += /usr/local/include/activemq-cpp-3.4.2/
INCLUDEPATH += /opt/local/lib/
这是我指向的文件夹内容(我想要的文件都在那里的子目录中):
drwxr-xr-x 13 root admin 442 May 11 19:09 activemq
drwxr-xr-x 48 root admin 1632 May 11 19:09 cms
drwxr-xr-x 9 root admin 306 May 11 19:09 decaf
这是我得到的错误:
20:54:22: Running build steps for project stackexchangeexample...
20:54:22: Configuration unchanged, skipping qmake step.
20:54:22: Starting: "/usr/bin/make" -w
make: Entering directory `/Users/lostsoul/Dropbox/qt_cuda/stackexchangeexample-build-desktop-Desktop_Qt_4_8_1_for_GCC__Qt_SDK__Debug'
/Users/lostsoul/QtSDK/Desktop/Qt/4.8.1/gcc/bin/qmake -spec ../../../QtSDK/Desktop/Qt/4.8.1/gcc/mkspecs/macx-g++ CONFIG+=declarative_debug -o …