标签: duplicate-data

这是一次冒险.我从上一个问题中的循环重复查询开始,但每个循环将覆盖所有1700万条记录,这意味着需要几周时间(仅运行*select count * from MyTable*需要我的服务器4:30分钟使用MSSQL 2005).我从这个网站和这篇文章中发现了一些信息.

并且已经到达下面的查询.问题是,对于任何类型的性能,这是在1700万条记录上运行的正确类型的查询吗？如果不是,那是什么？

SQL QUERY:

DELETE tl_acxiomimport.dbo.tblacxiomlistings
WHERE RecordID in 
(SELECT RecordID
    FROM tl_acxiomimport.dbo.tblacxiomlistings
    EXCEPT
    SELECT RecordID
    FROM (
        SELECT RecordID, Rank() over (Partition BY BusinessName, latitude, longitude,           Phone ORDER BY webaddress DESC, caption1 DESC, caption2 DESC ) AS Rank
    FROM tl_acxiomimport.dbo.tblacxiomlistings
    ) al WHERE Rank = 1)

我的印象是,使用#import只会在每次构建时导入一次文件,但在尝试在头文件中定义变量,然后在两个不同的源文件中导入该头文件后,我得到变量的重复符号链接器错误.这怎么可能？

我已经提供了解决方案,以从.NET 2.0中的通用列表<T>中删除重复项,如下所示:

List<CaseStudy> caseStudies = CaseStudyDAO.FindCaseStudiesByDate(DateTime.Now.Date, DateTime.Now.Date.AddDays(1));
caseStudies.RemoveAll(
        delegate(CaseStudy c)
        {
            return caseStudies.IndexOf(c) != caseStudies.FindIndex(
                delegate(CaseStudy f) { return c.Str == f.Str; });
        });

我的问题是:

有更有效的方法吗？只有.NET 2.0解决方案
上述解决方案的复杂性是什么？

谢谢,
jan2k10

我的查询总是产生重复的结果.我最好如何使用数据库> 100万行来解决此查询问题.

Select segstart
    ,segment
    ,callid
    ,Interval
    ,dialed_num
    ,FiscalMonthYear
    ,SegStart_Date
    ,row_date
    ,Name
    ,Xferto
    ,TransferType
    ,Agent
    ,Sup
    ,Manager
    ,'MyCenter' = Case Center
When 'Livermore Call Center' Then 'LCC'
When 'Natomas Call Center' Then 'NCC'
When 'Concord Call Center' Then 'CCC'
When 'Virtual Call Center' Then 'VCC'
When 'Morgan Hill Call Center' Then 'MHCC'
Else Center
End
    ,Xferfrom
    ,talktime
    ,ANDREWSTABLE.transferred
    ,ANDREWSTABLE.disposition
    ,dispsplit
    ,callid
    ,hsplit.starttime
    ,CASE
    WHEN hsplit.callsoffered > 0 
    THEN (CAST(hsplit.acceptable as DECIMAL)/hsplit.callsoffered)*100
    ELSE '0'
    END AS 'Service Level'
    ,hsplit.callsoffered
    ,hsplit.acceptable
FROM …

MySQL 5.1中有如下表:

+--------------+----------------+------+-----+---------+----------------+
| Field        | Type           | Null | Key | Default | Extra          |
+--------------+----------------+------+-----+---------+----------------+
| log_id       | int(11)        | NO   | PRI | NULL    | auto_increment |
| date         | datetime       | NO   | MUL | NULL    |                |
| date_millis  | int(3)         | NO   |     | NULL    |                |
| eib_address  | varchar(20)    | NO   |     | NULL    |                |
| ip_address   | varchar(15)    | NO   |     | NULL    |                |
| value        | decimal(20,10) | …

这是一个SQL查询问题.

如果您有这样的表格:

ID1         ID2
1709    1689
1689    1709
1934    1501
1501    1934

你想要像这样检索:

ID1         ID2
1709    1689
1934    1501

你会怎么做？请注意,(1709,1689)和(1689,1709)是相似的对,只是移位的ID.我的目的是从这些类似的元组中获得单个元组.

您想从我的核心数据db复制一个对象.现在我正在使用

        movement2 = [NSEntityDescription
                                     insertNewObjectForEntityForName:@"Movement" 
                                     inManagedObjectContext:self.managedObjectContext];

        movement2.name = movement.name;
        movement2.value = movement.value;
        movement2.date = movement.date;
        ... 

它的工作原理.但...

有没有办法复制的所有值movement到movement2,在一行代码？

我整晚都在思考这个问题：这是我的矩阵：

'a' '#' 3
'#' 'a' 3
 0  'I am' 2
'I am' 0 2

.....

我想像前两行一样对待行，因为它只是'a'和'#'的不同顺序。就我而言，我想删除此类行。玩具示例很简单，前两个相同，第三个和第四个相同。但在我的数据集中，我不知道“相同”行在哪里。

我正在用 R 写。谢谢。

这可以标记为重复但我在两个varchar字段上对Create Unqiue不区分大小写的约束时发现问题

我有一个表std_tbl,其中一列中有一些重复记录,如Column_One.

我在该列上创建了一个唯一约束

ALTER TABLE std_tbl            
ADD CONSTRAINT Unq_Column_One     
UNIQUE (Column_One) ENABLE NOVALIDATE;  

我使用了ENABLE NOVALIDATE,因为我想保留现有的重复记录并验证重复的未来记录.

但是在这里,constaint不会查找区分大小写的单词,比如Column_One的值是'abcd',它允许'Abcd'和'ABCD'插入表中.

我希望此行为不区分大小写,以便在验证数据时不应查找大小写.为此我想出了这个解决方案.

CREATE UNIQUE INDEX Unq_Column_One_indx ON std_tbl (LOWER(Column_One));

但它给了我错误:

ORA-01452:无法创建独特的索引; 找到重复的密钥

请帮帮我...

我想复制一行,当然不是键,而不是明确使用字段名称.
有SQL方法还是我必须通过代码枚举字段名称？

我不想明确使用字段名称,因为我想最小化代码和数据库依赖项.

我将在Ms Access 2003中使用它.如果不存在标准方法,我会提到它.

问题位于http://www.preownedweddingdresses.com/

我们底部有一个连衣裙滑块,选择显示不同连衣裙的标签.

在其他地方工作正常,但出于某种原因,在IE6中,字母"ls"(来自"最佳交易"标签)在内容中重复并导致渲染问题.

我还没有找到任何可以解决这个问题的事情,或者任何可以归咎于造成这种情况的事情.

我在最佳交易结束时更改了字母,重复的字母也发生了变化.

对任何建议开放.

我在DB.i有4个字段,设置它们变得无法重复输入.它们是:

1. Model     Varchar(14)     Unique
2. Serial    varchar(8)      Unique
3. Lot       varchar(5)      Unique
4. Line      char(5)         Unique


                    Model         Serial             Lot             Line
First data        remocon         x0001              033a            fa 01

如果我输入相同的数据则无法记录.

 remocon         x0001              033a            fa 01

但如果我输入如下,如何使这个数据成功输入:

remocon        x0002        033a            fa 01

我想要的结果如下:

 Model         Serial             Lot             Line
remocon         x0001             033a            fa 01
remocon         x0002             033a            fa 01

我正在编码的程序现在制作了一个非常庞大的数据项列表.

现在,我可以将此列表设置为全局(可用于其他模块中的其他功能),并可用于所有其他模块.或者,我也可以将它们作为模块中函数的函数参数传递.

请注意,我正在谈论的这个庞大的数组不会在其他模块的函数中被修改,它们只是读取数据并将其用于计算和数据统计等.

那么,两种内存消耗最少的方法呢？

如果通过传入函数,如果语言使得巨大列表的本地副本即使函数没有修改它......那将是内存消耗的倍增,这不是好事.如果发生这种情况,我可以将其全局化并使用它.我对python的内存管理有这个疑问,因为当我曾经写过一个玩具语言时,我包含了这个特殊的问题.即,只有在编辑过的时候,参数数据才会被复制.否则,它总是指向原始数据.