标签: parallel-processing

是否可以在浏览器中并行运行JavaScript代码？我愿意牺牲一些浏览器支持(IE,Opera,其他任何东西)来获得一些优势.

我正在用JavaScript编写一个高度可并行化的搜索功能,并在大量数据集上运行.数据集存储在JS对象的树中,可以通过将搜索分区为Web worker来实现.

有人知道产品和/或研究做类似的事情吗？我想阅读一些在实施路径上走得太远的经验,但谷歌搜索已经完全没有用了.

是否foreach保证按照定义从第一个到最后一个(除非意外中断)元素顺序迭代主题集合(如果它定义顺序)？是不是有任何编译器优化开关可以制动它(洗牌顺序)或计划foreach在未来版本中进行普通并行？

我的公司被共生伙伴关系所诅咒变成了寄生虫.为了从寄生虫获取我们的数据,我们必须使用非常缓慢的odbc连接.我最近注意到,虽然我可以通过并行运行查询来获得更多的吞吐量(即使在同一个表上).

有一个特别大的表,我想从中提取数据并将其移动到我们的本地表中.并行运行查询我可以更快地获取数据,但我也想象这可能会导致尝试将多个查询中的数据一次写入同一个表时出现问题.

您可以给我什么建议,以便最好地处理这种情况,以便我可以利用并行使用查询的速度提高？

编辑:我在这里得到了一些很好的反馈,但我想我并不完全清楚我通过链接服务器(使用odbc驱动程序)提取数据.换句话说,这意味着我可以运行正常的INSERT语句,我相信这将提供比SqlBulkCopy或BULK INSERT更好的性能(实际上,我不相信BULK INSERT甚至可以选择).

我有一个基于Perl的测试套件,有10,000多个测试,我想让它运行得更快.我已经使用了-j标志进行了测试prove,我发现大多数但并非所有的测试都准备好并行运行.

虽然我可以努力使其余的测试"并行友好",但我希望总有一些测试不是.管理这个的好方法是什么？我希望能够有效地运行整套测试,并且如果需要的话,可以很容易地将测试标记为"非并行就绪".

以下是我看到的一些选项:

1. 证明可以修补以支持一些非并行准备的测试
2. Jenkins被用来管理测试套件运行.我可以将非并行测试分解为自己的运行.换句话说,放弃并使用两次测试运行.
3. 也许有一种方法可以将两个TAP我尚未恢复的结果流合并在一起.

我不太关心如何管理例外列表.要么我可以将列表作为测试工具基础结构的一部分保存在文件中,要么我可以在每个测试标题中放置一些标记它的内容,并且我们的测试工具可以动态地确定异常列表.

(测试套件部分基于Test :: Class,我也会看看Test :: Class :: Load来加速它.)

我对于在代码的并行部分中指定线程数的方法感到很困惑.我知道我可以用:

1. 环境变量OMP_NUM_THREADS
2. function omp_set_num_threads(int)
3. num_threads(int)in #pragma omp parallel for num_threads(NB_OF_THREADS)

到目前为止我收集的前两个是等价的.但是第三个呢？有人可以提供更详细的差异说明,我无法在互联网上找到有关1/2和3之间差异的任何信息.

是否可以直接从GPU(CUDA/openCL)访问硬盘/闪存盘并直接从GPU的内存加载/存储内容？

我试图避免将内容从磁盘复制到内存,然后将其复制到GPU的内存中.

我读到了有关Nvidia GPUDirect但不确定它是否符合我上面解释的内容.它谈到远程GPU内存和磁盘,但我的情况下的磁盘是GPU的本地磁盘.

基本思想是加载内容(类似于dma) - >执行一些操作 - >将内容存储回磁盘(再次以dma方式).

我试图尽可能少地涉及CPU和RAM.

请随时提供有关设计的任何建议.

我有以下Julia代码,我想并行化它.

using DistributedArrays

function f(x)
    return x^2;
end
y = DArray[]
@parallel for i in 1:100
    y[i] = f(i)
end
println(y)

输出是DistributedArrays.DArray[].我希望y的值如下:y=[1,4,9,16,...,10000]

我有一个包含PDF文件(图像)的大型目录,如何有效地从目录中的所有文件中提取文本？到目前为止,我试图:

import multiprocessing
import textract

def extract_txt(file_path):
    text = textract.process(file_path, method='tesseract')

p = multiprocessing.Pool(2)
file_path = ['/Users/user/Desktop/sample.pdf']
list(p.map(extract_txt, file_path))

但是,它不起作用......需要花费很多时间(我有一些文件有600页).另外:a)我不知道如何有效地处理目录转换部分.b)我想添加页面分隔符,让我们说:<start/age = 1> ... page content ... <end/page = 1>但我不知道如何做到这一点.

因此,如何将该extract_txt函数应用于.pdf以另一个目录但以.txt格式结尾并以相同文件返回的目录的所有元素,并添加带有OCR文本提取的页面分隔符？

此外,我很好奇使用谷歌文档来完成这项任务,是否有可能以编程方式使用谷歌文档解决上述文本提取问题？

UPDATE

关于"添加页面分隔符"问题(<start/age = 1> ... page content ... <end/page = 1>)在阅读了Roland Smith的回答后,我尝试:

from PyPDF2 import PdfFileWriter, PdfFileReader
import textract


def extract_text(pdf_file):
    inputpdf = PdfFileReader(open(pdf_file, "rb"))
    for i in range(inputpdf.numPages):
        w = PdfFileWriter()
        w.addPage(inputpdf.getPage(i))
        outfname = 'page{:03d}.pdf'.format(i)
        with …

我无法理解为什么并行流和流为完全相同的语句提供不同的结果.

    List<String> list = Arrays.asList("1", "2", "3");
    String resultParallel = list.parallelStream().collect(StringBuilder::new,
            (response, element) -> response.append(" ").append(element),
            (response1, response2) -> response1.append(",").append(response2.toString()))
            .toString();
    System.out.println("ResultParallel: " + resultParallel);

    String result = list.stream().collect(StringBuilder::new,
            (response, element) -> response.append(" ").append(element),
            (response1, response2) -> response1.append(",").append(response2.toString()))
            .toString();

    System.out.println("Result: " + result);

ResultParallel:1,2,3

结果:1 2 3

有人可以解释为什么会发生这种情况以及如何让非并行版本得到与并行版本相同的结果？