标签: duplicates

我怎样才能检测到(最好用Python)可以用不同比特率编码的重复MP3文件(但它们是同一首歌)和可能不正确的ID3标签？

我知道我可以对文件内容进行MD5校验和,但这对于不同的比特率不起作用.我不知道ID3标签是否对生成MD5校验和有影响.我应该重新编码具有不同比特率的MP3文件,然后我可以进行校验和吗？您有什么推荐的吗？

在Mathematica我有一个列表:

x = {1,2,3,3,4,5,5,6}

如何制作包含重复项的列表？喜欢:

{3,5}

我一直在将Lists视为集合,如果列表中有Except []之类的内容,那么我可以这样做:

unique = Union[x]
duplicates = MyExcept[x,unique]

(当然,如果X将具有两个以上的重复-说,{1,2,2,2,3,4,4-},存在输出将是{2,2,4},但附加的联盟[]会解决这个问题.)

但是没有那样的东西(如果我确实理解了那里的所有功能).

那么,该怎么做？

我有一个很大的表,有19 000 000条记录,我有重复行的问题.即使在这里也有很多类似的问题,但是它们似乎都没有给我一个满意的答案.有些要考虑的要点:

• 行唯一性由两列确定,location_id并且datetime.
• 我想尽可能快地保持执行时间(<1小时).
• 复制表不太可行,因为表的大小是几千兆字节.
• 无需担心关系.

如上所述,每个location_id只能有一个不同的datetime,我想删除所有重复的实例.由于数据相同,它们中的哪一个存活无关紧要.

有任何想法吗？

我有一个包含以下列的大型数据框:

ID, time, OS, IP

该数据帧的每一行对应一个条目.在该数据帧中,对于某些ID,存在多个条目(行).我想摆脱那些多行(显然,对于相同的ID,其他属性会有所不同).或者说不同:我只想为每个ID输入一个条目(行).

当我unique在ID列上使用时,我只接收级别(或每个唯一ID),但我也想保留其他属性.我试过用apply(x,2,unique(data$ID)),但这也行不通.

我最近通过Properties-> Application-> Assembly Information按钮向一组C#项目(dll)添加了一些版权信息.我在一个解决方案中有几个这样的项目.编译后,我收到类型的错误消息:

错误CS0579:复制'XXX'属性

其中'XXX'是我指定的其中一个属性的名称(例如AssemblyFileVersionAttribute)

谷歌搜索我发现,在从Attribute类派生的类的情况下,可以使用以下方法允许重复:

[System.AttributeUsage(System.AttributeTargets.All, AllowMultiple=true)]
class NewAttribute : System.Attribute { }

但就我而言,我已经通过属性对话框添加了这些属性并且有语句(在每个项目的AssemblyInfo.cs中),例如:

[assembly: AssemblyCompanyAttribute("My Company")]
[assembly: AssemblyProductAttribute("My Product")]
[assembly: AssemblyCopyrightAttribute("© 2012 My Company, All Rights Reserved.")]
[assembly: AssemblyVersionAttribute("13.0.0.0")]
[assembly: AssemblyFileVersionAttribute("1.0.0.0")]

并且没有任何手动派生的属性类我可以附加任何限定符.

如何解决此重复问题？

我的一些数据看起来像:

date, name, value1, value2, value3, value4
1/1/2001,ABC,1,1,,
1/1/2001,ABC,,,2,
1/1/2001,ABC,,,,35

我试图达到可以运行的程度

data.set_index(['date', 'name'])

但是,随着数据的原样,当然有重复(如上所示),所以我不能这样做(我不希望索引有重复,我不能简单地drop_duplicates(),因为这会丢失数据).

我希望能够将具有相同[日期,名称]值的行强制为单个行,如果它们可以基于某些值NaN成功收敛(类似于combine_first()的行为).例如,上述内容将最终结束

date, name, value1, value2, value3, value4
1/1/2001,ABC,1,1,2,35

如果两个值不同且一个不是NaN,那么这两行不应该收敛(这可能是我需要跟进的错误).

(为了扩展上面的例子,实际上可能有任意数量的行 - 给定任意数量的列 - 应该能够汇聚成一行.)

这感觉就像是一个应该通过熊猫解决的问题,但我无法找到一个优雅的解决方案.

我已经在一些不同的类中,在它们的.m文件中声明了一个具有相同名称的常量,这样:

@implementation MyViewController
const NSInteger numberOfItems = 6;
...
@end

但是在尝试构建项目时出现"重复符号"错误.我发现了几个关于extern或全局常量这个问题的帖子,但我想要的只是声明一些常量属于他们的类,我该怎么做？

谢谢

我有一个人表,插入了不同身份的重复人.我想删除名称重复的人,只保留具有最小ID的人.对于eG,应保留具有ID 18398的Absalon记录,并删除所有其他重复记录.

我有一个问题,并希望有人可以帮助我.

我的问题是每当我在"MainFile"中运行代码时,它会输出它添加了条目的两个ID,但是当我查看我的数据库时,我有六个条目而不是两个...有人可以告诉我为什么它可能会这样做？

注意:我只提供了类中代码的片段,因为提供完整的类将是太多的代码.这是唯一可以执行的代码.

编辑史上的代码

编辑:我已经在这篇文章的底部添加了一个调试日志,验证我只为每个查询执行一次SQL代码.

编辑:我不再使用序列化方法,因为存储此类数据显然不是一个好主意.但是,即使我的新代码将每个单独的值存储在数据库中,我仍然会得到三个条目而不是一个条目.所以,这是同一个问题.什么？

编辑:经过几天的调试后,我已将其缩小到导致问题的这一行

Throwlite::$systemSQL->executeSql("INSERT into ".SQL_COMMENTTHREADS_TABLE." (id, sort_order) values (DEFAULT, '2')");

您可以在此处查看LiteSQL类以供参考:http://pastebin.com/a4C6fF4u

另外,作为参考,以下是用于创建表的代码:

"CREATE TABLE IF NOT EXISTS `" . SQL_COMMENTTHREADS_TABLE . "` (`id` int unsigned NOT NULL AUTO_INCREMENT, `sort_order` int NOT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;"

而且,即使我非常确定它应该没关系,这里是定义SQL_COMMENTTHREADS_TABLE的地方.

define( 'SQL_COMMENTTHREADS_TABLE', "tl_comment_threads");

我有一套套装:

L = [set([1, 4]), set([1, 4]), set([1, 2]), set([1, 2]), set([2, 4]), set([2, 4]), set([5, 6]), set([5, 6]), set([3, 6]), set([3, 6]), set([3, 5]), set([3, 5])]

(实际上在我的情况下是一个倒数元组列表的转换)

我想删除重复项来获取:

L = [set([1, 4]), set([1, 2]), set([2, 4]), set([5, 6]), set([3, 6]), set([3, 5])]

但如果我尝试:

>>> list(set(L))
TypeError: unhashable type: 'set'

要么

>>> list(np.unique(L))
TypeError: cannot compare sets using cmp()

如何获得具有不同集合的集合列表？