相关疑难解决方法(0)

什么是相似的Python字典,但在Bash中(应该适用于OS X和Linux).

如何找到唯一的行并从文件中删除所有重复项？我的输入文件是

1
1
2
3
5
5
7
7

我希望结果如下:

2
3

sort file | uniq不会做这个工作.将显示所有值1次

我有一个包含 2800 万个字符串的 JSON 文件，大小约为 15 GB。有些字符串是重复的，因此我需要创建一个仅包含唯一字符串的新 JSON 文件。我猜其中有 2.4 亿个是独一无二的，但我需要找出确切的数字。这些字符串均小于 100 个字符。以下是数据示例：

[
    '4zWMS2IHAKcsrVtrUBFXIFjkwvbiCyiK',
    'btFqRsglI1Dh81jpgmnRhKPGIBbe2cU7',
    '8Us6mE6zWfyOpjhXsJssE65LrOFc7yr6',
    ...
]

我的第一个方法是创建一个 JavaScript 对象并将该对象的所有键设置为字符串。然后我会检查密钥的长度，这将是我的唯一计数。不幸的是，我遇到了限制，JavaScript 对象只能有大约 8M 个键。

我的下一个方法是在 JavaScript 中创建一个新数组，然后迭代我的字符串，然后使用.indexOf方法查看是否已将字符串添加到数组中。不幸的是，这太慢了。

谁能想到一种方法可以在 JavaScript 中做到这一点？如果这不是适合这项工作的工具，我也可以切换到其他语言。

如何通过linux工具完全删除重复的行,如grep,sort,sed,uniq？

这个问题真的很难写,因为我看不出任何能给它带来意义的东西.但这个例子显然是直截了当的.如果我有这样的文件:

1
2
2
3
4

在解析删除重复行的文件之后,变成这样:

1
3
4

我知道python或其中的一些,这是我写的一个python脚本来执行它.创建一个名为的文件clean_duplicates.py并将其运行为:

import sys

#
# To run it use:
# python clean_duplicates.py < input.txt > clean.txt
#
def main():

    lines = sys.stdin.readlines()

    # print( lines )
    clean_duplicates( lines )

#
# It does only removes adjacent duplicated lines, so your need to sort them
# with sensitive case before run it.
# 
def clean_duplicates( lines ):

    lastLine    = lines[ 0 ]
    nextLine    = None
    currentLine = None …