标签: python-itertools

python中的高效列表映射

我有以下输入:

input = [(dog, dog, cat, mouse), (cat, ruby, python, mouse)]
Run Code Online (Sandbox Code Playgroud)

并尝试输出以下内容:

outputlist = [[0, 0, 1, 2], [1, 3, 4, 2]]

outputmapping = {0:dog, 1:cat, 2:mouse, 3:ruby, 4:python, 5:mouse}
Run Code Online (Sandbox Code Playgroud)

关于如何处理可读性的任何提示(var输入可能变得非常大).

python mapping dictionary list python-itertools

4
推荐指数
1
解决办法
1290
查看次数

将迭代列表传递给 itertools 函数

我正在使用 itertools.product 功能。我有一个 2-deep 嵌套列表,它是一个可迭代列表。我想将此传递给产品功能不知道如何正确格式化它。

说清楚,我想要

In [37]: [k for k in product([1,2],['a','b'])]
Out[37]: [(1, 'a'), (1, 'b'), (2, 'a'), (2, 'b')]
Run Code Online (Sandbox Code Playgroud)

但从这样的嵌套列表输入生成

nested_list = [[1,2],['a','b']]
Run Code Online (Sandbox Code Playgroud)

但我得到了

In [36]: [k for k in product(nested_list)]
Out[36]: [([1, 2],), (['a', 'b'],)]
Run Code Online (Sandbox Code Playgroud)

python python-itertools

4
推荐指数
1
解决办法
758
查看次数

如何使用itertools模块构建"矢量化"构建块?

该配方段的itertools文档开始这样的文字:

扩展工具提供与底层工具集相同的高性能.通过一次处理一个元素而不是将整个迭代一次性地存储到存储器中来保持优异的存储器性能.通过以功能样式链接工具来保持代码量很小,这有助于消除临时变量.通过使用for循环和生成器而不是使用"矢量化"构建块来保留高速度,这会产生解释器开销.

问题是,如何构建发电机以避免开销?你能提供一些具有这种开销的构造不良的块的例子吗?

当我回答这个问题时,我决定问我在哪里无法确切地说是否chain(sequence, [obj])有超支chain(sequence, repeat(obj,1)),我应该更喜欢后者.

python vectorization python-itertools

4
推荐指数
1
解决办法
374
查看次数

与Python代码相比,库itertools的性能

作为我的问题的答案找到两个列表相同的基于1的位置我得到了使用C库itertools来加快速度的提示.

要验证我使用cProfile编写了以下测试:

from itertools import takewhile, izip

def match_iter(self, other):
    return sum(1 for x in takewhile(lambda x: x[0] == x[1],
                                        izip(self, other)))

def match_loop(self, other):
    element = -1
    for element in range(min(len(self), len(other))):
        if self[element] != other[element]:
            element -= 1
            break
    return element +1

def test():
    a = [0, 1, 2, 3, 4]
    b = [0, 1, 2, 3, 4, 0]

    print("match_loop a=%s, b=%s, result=%s" % (a, b, match_loop(a, b)))
    print("match_iter a=%s, b=%s, result=%s" % (a, b, match_iter(a, …
Run Code Online (Sandbox Code Playgroud)

python performance python-itertools cprofile

4
推荐指数
2
解决办法
3265
查看次数

为什么python的itertools排列有很多重复的元素?

我试图找到字符串"0000111"的不同排列.所有不同的字符串包含三个1和4个0.这是我的代码:

p = itertools.permutations("0000111")
l = list(p)
print len(l) #5040
print len(set(l)) #35
Run Code Online (Sandbox Code Playgroud)

怎么了?还有更好的方法吗?

python permutation python-itertools

4
推荐指数
1
解决办法
290
查看次数

这是一种使用 itertools.cycle() 了解索引的方法吗?

我需要遍历一个列表并在到达最后一个项目时返回到第一个元素。

在cycle从对象itertools是专为这一点。

myList = [1,2,3,4,5,6,7,8,9]

i = 0
for item in cycle(myList):
    index = i%9
    print (index)
    i += 1
Run Code Online (Sandbox Code Playgroud)

除了使用i变量还有其他方法吗?

python indexing cycle python-itertools

4
推荐指数
1
解决办法
2287
查看次数

Python:将列表分解为所有可能的子列表

让我们假设我有一个整数列表:

mylist = [101, 102, 103, 104, 105, 106]
Run Code Online (Sandbox Code Playgroud)

现在我需要创建每个可能的子列表分区(保留顺序):

sublists = [([101], [102, 103, 104, 105, 106]),
            ([101, 102], [103, 104, 105, 106]),
            ([101, 102, 103], [104, 105, 106]),
            ...
            ([101, 102], [103, 104], [105, 106]),
            ...
            ([101], [102, 103, 104], [105], [106]),
            ...
            ([101], [102], [103], [104], [105], [106])]
Run Code Online (Sandbox Code Playgroud)

任何的想法?将itertools是有益的?

python combinations list python-itertools

4
推荐指数
1
解决办法
688
查看次数

许多巨大的csv文件的高效合并

我有一个脚本,它获取目录中的所有 csv 文件并使用外部联接将它们并排合并。问题是当我尝试在我需要加入的文件上使用它时,我的计算机窒息(MemoryError)(大约两打文件,每个 6-12 Gb)。我知道 itertools 可用于提高循环效率,但我不清楚它是否或如何应用于这种情况。我能想到的另一种选择是安装 mySQL,学习基础知识,然后在那里执行此操作。显然,如果可能的话,我宁愿在 Python 中执行此操作,因为我已经在学习它。基于 R 的解决方案也是可以接受的。

这是我的代码:

import os
import glob
import pandas as pd
os.chdir("\\path\\containing\\files")

files = glob.glob("*.csv")
sdf = pd.read_csv(files[0], sep=',')

for filename in files[1:]:
    df = pd.read_csv(filename, sep=',')
    sdf = pd.merge(sdf, df, how='outer', on=['Factor1', 'Factor2'])
Run Code Online (Sandbox Code Playgroud)

关于如何处理对于我的计算机内存来说太大的文件的任何建议将不胜感激。

python merge python-itertools large-files pandas

4
推荐指数
1
解决办法
7475
查看次数

ValueError: islice() 的停止参数必须是 None 或整数:0 <= x <= sys.maxsize on topic coherence

我正在关注本教程https://towardsdatascience.com/evaluate-topic-model-in-python-latent-dirichlet-allocation-lda-7d57484bb5d0并找到问题。所以我对这段代码的目的是在主题、alpha 和 beta 参数值的范围内对其进行迭代。所以我可以从 alpha 和 beta 生成的一致性分数中确定最佳主题数

def compute_coherence_values(corpus, dictionary, k, a, b):

lda_model = gensim.models.LdaMulticore(corpus=corpus,
                                       id2word=id2word,
                                       num_topics=10, 
                                       random_state=100,
                                       chunksize=100,
                                       passes=10,
                                       alpha=a,
                                       eta=b,
                                       per_word_topics=True)

coherence_model_lda = CoherenceModel(model=lda_model, texts=data_lemmatized, dictionary=id2word, coherence='c_v')

return coherence_model_lda.get_coherence()
Run Code Online (Sandbox Code Playgroud)

进而

import numpy as np
import tqdm
grid = {}
grid['Validation_Set'] = {}
# Topics range
min_topics = 2
max_topics = 11
step_size = 1
topics_range = range(min_topics, max_topics, step_size)
# Alpha parameter
alpha = list(np.arange(0.01, 1, 0.3))
alpha.append('symmetric')
alpha.append('asymmetric')
# Beta parameter
beta = …
Run Code Online (Sandbox Code Playgroud)

python python-itertools python-3.x long-integer topic-modeling

4
推荐指数
1
解决办法
3331
查看次数

python列表中的内存泄漏问题

身份列表包含大约57000 张图像的大数组。现在,我正在借助itertools.product(). 这将整个列表存储在内存中,这非常昂贵,并且我的系统在 4 分钟后挂起。

如何优化以下代码并避免节省内存?`

for i in range(0, len(idendities) - 1):
    for j in range(i + 1, len(idendities)):
        cross_product = itertools.product(samples_list[i], samples_list[j])
        cross_product = list(cross_product)

        for cross_sample in cross_product:
            negative = []
            negative.append(cross_sample[0])
            negative.append(cross_sample[1])
            negatives.append(negative)
            print(len(negatives))

negatives = pd.DataFrame(negatives, columns=["file_x", "file_y"])
negatives["decision"] = "No"

negatives = negatives.sample(positives.shape[0])
Run Code Online (Sandbox Code Playgroud)

内存9.30会越来越高,有一点系统已经完全挂了。

我还根据他的回答实现了以下答案并修改了代码。

for i in range(0, len(idendities) - 1):
    for j in range(i + 1, len(idendities)):
        for cross_sample in itertools.product(samples_list[i], samples_list[j]):
            negative = [cross_sample[0], cross_sample[1]]
            negatives.append(negative)
            print(len(negatives)) …
Run Code Online (Sandbox Code Playgroud)

python optimization product list python-itertools

4
推荐指数
1
解决办法
339
查看次数