标签: duplicates

作为我正在进行的项目的一部分,我想清理一个我生成重复行条目的文件.然而,这些重复通常不会彼此靠近.我想出了一种在Java中这样做的方法(它基本上制作了文件的副本,然后使用嵌套的while语句将一个文件中的每一行与另一个文件中的其余部分进行比较).问题是,我生成的文件非常大而且文本很重(大约225k行文本,大约40兆).我估计我目前的流程需要63个小时!这绝对是不可接受的.

但是,我需要一个集成的解决方案.最好是Java.有任何想法吗？谢谢!

我在MATLAB中有这个单元格数组:

y = { 'd' 'f' 'a' 'g' 'g' 'a' 'w' 'h'}

我unique(y)用来摆脱重复,但它按字母顺序重新排列字符串:

>> unique(y)

ans =

'a'    'd'    'f'    'g'    'h'    'w'

我想删除重复项但保持相同的顺序.我知道我可以编写一个函数来做这个但是想知道是否有更简单的方法unique用于删除重复项,同时保持相同的顺序只删除重复项.

我希望它返回这个:

>> unique(y)

ans = 

'd'    'f'    'a'    'g'    'w'    'h'

我使用下面的代码行循环遍历数据库中的表:

$items_thread = $connection -> fetch_all($sql);

如果我打印出阵列:

print_r($items_thread);

我会得到这个:

Array
(
    [0] => Array
        (
            [RecipientID] => 3
            [RecipientScreenname] => Tom L
            [RecipientFirstname] => Thomas
            [RecipientEmail] => info@xx.com
        )

    [1] => Array
        (
            [RecipientID] => 3
            [RecipientScreenname] => Tom L
            [RecipientFirstname] => Thomas
            [RecipientEmail] => info@xx.com
        )

    [2] => Array
        (
            [RecipientID] => 1
            [RecipientScreenname] => Lau T
            [RecipientFirstname] => TK
            [RecipientEmail] => lau@xx.co.uk
        )

)

但我想摆脱数组中的重复项,所以我使用 array_unique

print_r(array_unique($items_thread));

我得到了下面的奇怪结果,这不是我想要的:

Array
(
    [0] => Array
        (
            [RecipientID] => 3
            [RecipientScreenname] …

我想检查我的数组是否有任何重复项并返回数组中的重复值.我希望这个尽可能高效.

Example :$array = array(1,2,2,4,5)
function returndup($array) should return 2 ;

if array is array(1,2,1,2,5);
it should return an array with 1,2

初始数组总是长5个位置

我从业务中得到了关于"实时"数据/统计数据的新要求.他们想要展示我们的系统如何实时运行.

我不知道怎么做,但这是我的想法:

我不认为每秒都能获得数据,因为cronjob至少每分钟运行一次.所以,在没有告诉他们的情况下,我说是的,这是可能的.

现在我的问题是如何运行一个cronjob来获取我们网站的统计数据(销售额,印象数,cpc等...)？

例:

从上午9点到早上9点02分,我有:

• 41对产品1的看法
• 1个订单
• 8个推荐点击来自客户
• 2添加到愿望清单

从上午9点到凌晨9点,我有:

• 关于产品1的57次观看
• 0个订单
• 13个推荐点击来自客户
• 0添加到愿望清单

总:

• 关于产品1的98次观看
• 1个订单
• 21推荐点击来自客户
• 2添加到愿望清单

如果由于某种原因数据库速度慢并且不按时处理信息,我如何确保不会计算重复项？

谢谢

编辑:该公司在3个不同的州有200名员工,包括销售,业务分析师,技术,会计和执行人员,这些人可以阅读这些报告.

在过去的一年里,我们雇用了20名员工,因此它会增长一点.对于流量数据,很难确切地说出我们每分钟获得的数据量.估计约为每分钟2.5k至10k.

我们刚刚订购了3台PowerEdge R510(Intel®Xeon®E5503,2.0Ghz,4M Cache,12GB内存(3x4GB),1333MHz双列,4 x 300GB 15K RPM串行连接SCSI 6Gbps RAID 5).

我有以下问题,并认为我可以使用机器学习但我不完全确定它将适用于我的用例.

我有一个大约一亿条记录的数据集,其中包含客户数据,包括姓名,地址,电子邮件,电话等,并希望找到一种方法来清理这些客户数据并识别数据集中可能存在的重复数据.

大多数数据都是使用没有验证的外部系统手动输入的,因此我们的许多客户在我们的数据库中最终得到了多个配置文件,有时每个记录中都有不同的数据.

对于实例我们可能为客户John Doe提供5个不同的条目,每个条目都有不同的联系方式.

我们还有这样的情况:代表不同客户的多个记录在电子邮件等关键字段上匹配.例如,当客户没有电子邮件地址但数据输入系统需要时,我们的顾问将使用随机电子邮件地址,导致许多不同的客户档案使用相同的电子邮件地址,同样适用于电话,地址等.

我们的所有数据都在Elasticsearch中编制索引并存储在SQL Server数据库中.我的第一个想法是使用Mahout作为机器学习平台(因为这是一个Java商店)并且可能使用H-base来存储我们的数据(仅仅因为它适合Hadoop生态系统,不确定它是否具有任何实际价值),但是我读到的越多,我对它的工作方式就越困惑,对于初学者我不知道我能使用哪种算法,因为我不确定这个问题在哪里,我可以使用聚类算法或分类算法吗？当然,必须使用某些规则来确定配置文件的唯一性,即哪些字段.

我们的想法是最初将其部署为客户资料重复数据删除服务,我们的数据输入系统可以使用这些服务在输入新的客户资料时验证和检测可能的重复项,并且将来可能将其发展为分析平台以进行收集洞察我们的客户.

任何反馈将不胜感激:)

谢谢.

我有一个数组:

[
    1029,
    1008,
    1040,
    1019,
    1030,
    1009,
    1041,
    1020,
    1031,
    1010,
    1042,
    1021,
    1030,
    1008,
    1045,
    1019,
    1032,
    1009,
    1049,
    1022,
    1031,
    1010,
    1042,
    1021,
]

现在我想从中删除所有重复项.NodeJ中是否有任何方法可以直接执行此操作.

我需要更新一个查询,以便在插入之前检查重复的条目是否存在.在MySQL中我可以使用INSERT IGNORE,这样如果找到重复的记录,它只是跳过插入,但我似乎找不到Oracle的等效选项.有什么建议？

给出这样的列表:

mylist = ["name", "state", "name", "city", "name", "zip", "zip"]

我想通过附加一个数字来重命名重复项,以获得以下结果:

mylist = ["name1", "state", "name2", "city", "name3", "zip1", "zip2"]

我不想改变原始列表的顺序.针对此相关Stack Overflow问题建议的解决方案对列表进行排序,我不想这样做.

drop_duplicates()来自极地的熊猫相当于什么？

import polars as pl\ndf = pl.DataFrame({"a":[1,1,2], "b":[2,2,3], "c":[1,2,3]})\ndf\n

输出：

shape: (3, 3)\n\xe2\x94\x8c\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x90\n\xe2\x94\x82 a   \xe2\x94\x86 b   \xe2\x94\x86 c   \xe2\x94\x82\n\xe2\x94\x82 --- \xe2\x94\x86 --- \xe2\x94\x86 --- \xe2\x94\x82\n\xe2\x94\x82 i64 \xe2\x94\x86 i64 \xe2\x94\x86 i64 \xe2\x94\x82\n\xe2\x95\x9e\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xa1\n\xe2\x94\x82 1   \xe2\x94\x86 2   \xe2\x94\x86 1   \xe2\x94\x82\n\xe2\x94\x9c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x94\xbc\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x94\xbc\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x94\xa4\n\xe2\x94\x82 1   \xe2\x94\x86 2   \xe2\x94\x86 2   \xe2\x94\x82\n\xe2\x94\x9c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x94\xbc\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x94\xbc\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x95\x8c\xe2\x94\xa4\n\xe2\x94\x82 2   \xe2\x94\x86 3   \xe2\x94\x86 3   \xe2\x94\x82\n\xe2\x94\x94\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x98\n

代码：

df.drop_duplicates(["a", "b"])\n

产生以下错误：

属性错误：未找到 drop_duplicates