小编Col*_*lin的帖子

如何更快地遍历此文本文件?

我有一个包含这种格式的许多部分的文件:

section_name_1 <attribute_1:value> <attribute_2:value> ... <attribute_n:value> {
    field_1 finish_num:start_num some_text ;
    field_2 finish_num:start_num some_text ;
    ...
    field_n finish_num:start_num some_text;
};

section_name_2 ...
... and so on
Run Code Online (Sandbox Code Playgroud)

该文件可以长达数十万行.每个部分的属性和字段数可以不同.我想构建一些字典来保存这些值.我有一个单独的字典,它包含所有可能的'属性'值.

import os, re
from collections import defaultdict

def mapFile(myFile, attributeMap_d):
        valueMap_d = {}
        fieldMap_d = defaultdict(dict)

        for attributeName in attributeMap_d:
            valueMap_d[attributeName] = {}

        count = 0
        with open(myFile, "rb") as fh:
            for line in fh:
                # only look for lines with <
                if '<' in line:
                    # match all attribute:value pairs inside <> …
Run Code Online (Sandbox Code Playgroud)

python parsing dictionary

6
推荐指数
1
解决办法
224
查看次数

3D 游戏中的 CPU 和 GPU:谁在做什么?

我对应用程序(CPU 端)与 GPU 端之间的界限感到困惑。有人可以帮助我了解应用程序在游戏中通常负责什么吗?

我的理解是应用程序提交帧供GPU渲染,这个过程涉及顶点着色器、光栅化和像素着色器(最基本的渲染形式)。这让我相信 GPU 不知道帧与帧之间发生了什么。

这是否意味着应用程序正在跟踪所有对象在世界空间中的位置?例如,如果用户移动角色,应用程序是否会确定新位置并因此向 GPU 提交新转换?

这很令人困惑,特别是因为我读到顶点着色器可用于变形之类的事情,这基本上是基于两个静态姿势随着时间的推移对模型进行动画处理。

3d shader animation

4
推荐指数
1
解决办法
853
查看次数

将CSV文件拆分成相等的部分?

我有一个大的CSV文件,我想分成一个等于系统中CPU核心数的数字.我想然后使用多进程让所有核心一起处理文件.但是,我甚至无法将文件拆分成部分.我看了整整一遍google,我发现了一些看似符合我想要的示例代码.这是我到目前为止:

def split(infilename, num_cpus=multiprocessing.cpu_count()):
    READ_BUFFER = 2**13
    total_file_size = os.path.getsize(infilename)
    print total_file_size
    files = list()
    with open(infilename, 'rb') as infile:
        for i in xrange(num_cpus):
            files.append(tempfile.TemporaryFile())
            this_file_size = 0
            while this_file_size < 1.0 * total_file_size / num_cpus:
                files[-1].write(infile.read(READ_BUFFER))
                this_file_size += READ_BUFFER
        files[-1].write(infile.readline()) # get the possible remainder
        files[-1].seek(0, 0)
    return files

files = split("sample_simple.csv")
print len(files)

for ifile in files:
    reader = csv.reader(ifile)
    for row in reader:
        print row
Run Code Online (Sandbox Code Playgroud)

这两个打印显示正确的文件大小,它被分成4个部分(我的系统有4个CPU内核).

但是,打印每个部分中所有行的代码的最后一部分给出了错误:

for row in reader:
_csv.Error: line contains NULL byte
Run Code Online (Sandbox Code Playgroud)

我尝试打印行而不运行split函数,它正确打印所有值.我怀疑split函数在生成的4个文件中添加了一些NULL字节,但我不确定原因. …

python csv null byte split

2
推荐指数
1
解决办法
3090
查看次数

标签 统计

python ×2

3d ×1

animation ×1

byte ×1

csv ×1

dictionary ×1

null ×1

parsing ×1

shader ×1

split ×1