标签: duplicates

.NET框架(3.5)中是否有一个集合(除了字典),在添加副本时会抛出异常？

HashSet不会抛出异常:

HashSet<string> strings = new HashSet<string>();
strings.Add("apple");
strings.Add("apple");

而词典确实:

Dictionary<string, string> dict = new Dictionary<string, string>();
dict.Add("dude", "dude");
dict.Add("dude", "dude"); //throws exception

编辑:有没有(键,值)的集合这样做？如果可能的话我也想要AddRange ......

我推出了自己的:

public class Uniques<T> : HashSet<T>
{

    public Uniques()
    { }

    public Uniques(IEnumerable<T> collection)
    {
        AddRange(collection);
    }

    public void Add(T item)
    {
        if (!base.Add(item))
        {
            throw new ArgumentException("Item already exists");
        }
    }


    public void AddRange(IEnumerable<T> collection)
    {
        foreach (T item in collection)
        {
            Add(item);
        }
    }
}

我正在研究最大公因数和最小公共多项任务,我必须列出常见因素.Intersection()不起作用,因为它会删除重复项.Contains()将无法工作,因为如果它在第二个列表中看到int,则返回第一个列表中的所有匹配的int.有没有办法做一个不明显的交叉路口？

编辑:抱歉没有提供示例,这就是我的意思:

如果我有套:

{1, 2, 2, 2, 3, 3, 4, 5}
{1, 1, 2, 2, 3, 3, 3, 4, 4}

我想要输出

{1, 2, 2, 3, 3, 4}

我有一个接收一串标签的函数.为了单独保存标记,该函数将字符串转换为数组:

this.tags = listToArray(this.tags, ", ");

如果存在重复值,如何删除重复值？

是否有工具或库可根据可实施的特定标准在集合中查找重复条目？

为了使自己清楚:我想根据具体标准相互比较条目.所以我觉得Predicate回归只是true还是false不够.

我不能用equals.

我知道我的标题不是很明显,但让我试着在这里解释一下.

我有一个文件名test.txt,有一些重复的行.现在,我想要做的是删除那些重复的行,同时删除update test.txt新的内容.

的test.txt

AAAA
BBBB
AAAA
CCCC

我知道我可以sort -u test.txt用来删除重复项但是用新内容更新文件如何将它的输出重定向到同一个文件.以下命令不起作用.

sort -u test.txt > test.txt

那么,为什么上面的命令不起作用并且方法是否正确？

还有其他任何方式

sort_and_update_file test.txt

它可以对文件进行排序和自动更新,而无需重定向.

我有这个菜单的问题,图标使用bootstrap和字体真棒,格式较少,并在运行时使用JavaScript编译.

黑色和蓝色都同时出现!

代码:

<div class="well sidebar-nav">
    <ul class="nav nav-list">
        <li class="nav-header">Relatórios</li>
          <li><a href="#"><i class="icon-facebook-sign"></i> Acessos na s-Commerce</a></li>
          <li><a href="#"><i class="icon-shopping-cart"></i> Acessos para a loja</a></li>
    </ul>
</div>

浏览器输出:

我正在尝试识别在矩阵中表示两次或更多次的所有行.

例如:

m <- matrix(c(1,2,1,3,1,4,1,2,2,3,2,3,1,2,5), ncol = 3)
m
duplicated(m[,1])

输出:

     [,1] [,2] [,3]
[1,]    1    4    2
[2,]    2    1    3
[3,]    1    2    1
[4,]    3    2    2
[5,]    1    3    5

[1] FALSE FALSE  TRUE FALSE  TRUE

但是,我不想要那个输出.我想要:

[1] TRUE FALSE TRUE FALSE TRUE

因为行[1,1]的值在m的第1列中出现3次.

我有一个data.table(data在下面)有10列(C1, ..., C10),我想删除重复的行.

我不小心使用了setkey(data,C1),所以现在当我运行时unique(data)我只获得基于列的唯一行C1,而我只想删除一行,如果它与所有列上的另一行相同C1, ..., C10.
有没有办法撤消setkey()操作？我发现了这个问题,但它没有帮助解决我的问题.

PS:我可以通过设置我的data.table键中的所有列来解决问题setkeyv(data, paste0("C", 1:10)),但这根本不是一个优雅/实用的解决方案.

这是阵列

Array ( 
   [EM Debt] => http://globalevolution.gws.fcnws.com/fs_Overview.html?isin=LU0616502026&culture=en-GB 
   [EM Local Debt] => Will be launched shortly 
   [EM Blended Debt] => Will be launched shortly 
   [Frontier Markets] => http://globalevolution.gws.fcnws.com/fs_Overview.html?isin=LU0501220262 
   [Absolute Return Debt and FX] => Will be launched shortly 
   [Em Debt] => http://globalevolution.gws.fcnws.com/fs_Overview.html?isin=LU0501220262 
) 

如果我使用array_unique()它也会Will be launched shortly从数组中过滤掉.

我只想过滤重复的网址,而不是文字.

更新:

我需要将Array顺序保持不变,只需过滤dupl即可

我正在研究一个包含大约1600万行和85列的13.9 GB csv文件.我知道可能有几十万行是重复的.我运行此代码来删除它们

import pandas

concatDf=pandas.read_csv("C:\\OUT\\Concat EPC3.csv")
nodupl=concatDf.drop_duplicates()
nodupl.to_csv("C:\\OUT\\Concat EPC3- NoDupl.csv",index=0)
low_memory=False  

然而,这让我陷入了MemoryError.我的公羊是16克,不能再高了.是否有一种更有效的方法来删除重复项,如果没有我不得不将csv文件分解为更小的文件？