标签: duplicates

我是新手NOSQL的新手,最近对mongoDB很感兴趣.我正在从头开始创建一个新网站,并决定使用MONGODB/NORM(用于C#)作为我唯一的数据库.我一直在阅读很多关于如何正确设计文档模型数据库的内容,我认为在很大程度上我的设计运行得非常好.我大约6个月进入我的新网站,我开始看到我需要一遍又一遍地处理数据复制/同步的问题.从我读到的内容来看,这在文档模型中是可以预期的,并且对于性能而言是有意义的.IE将嵌入的对象粘贴到文档中,因此读取速度快 - 没有连接; 但是当然你不能总是嵌入,所以mongodb有这个DbReference的概念,它基本上类似于关系数据库中的外键.

所以这是一个例子:我有用户和事件; 两者都获得自己的文件,用户参加活动,活动有用户参加.我决定将有限数据的事件列表嵌入到User对象中.我还将用户列表嵌入到Event对象中作为"与会者".现在的问题是我必须使用户与同样嵌入在Event对象中的用户列表保持同步.正如我所读到的,这似乎是首选的方法,也是NOSQL做事的方式.检索很快,但回退是当我更新主用户文档时,我还需要进入Event对象,可能找到对该用户的所有引用并更新它.

所以我的问题是,这是人们需要处理的一个非常普遍的问题吗？在你开始说"可能NOSQL策略不适合我在这里尝试做的事情"之前,这个问题要发生多少？什么时候不必加入连接的性能优势变成了一个缺点,因为你很难在嵌入式对象中保持数据同步并对数据库执行多次读取操作？

我有大的(> Mil行)MySQL数据库被重复搞砸了.我认为它可能是填满它们的整个数据库的1/4到1/2.我需要快速摆脱它们(我的意思是查询执行时间).它的外观如下:
id(index)| text1 | text2 | text3
text1和text2组合应该是唯一的,如果有任何重复,则只保留与text3 NOT NULL的一个组合.例:

1 | abc | def | NULL  
2 | abc | def | ghi  
3 | abc | def | jkl  
4 | aaa | bbb | NULL  
5 | aaa | bbb | NULL  

...变为:

1 | abc | def | ghi   #(doesn't realy matter id:2 or id:3 survives)   
2 | aaa | bbb | NULL  #(if there's no NOT NULL text3, NULL will do)

新的ids冷酷无所谓,他们不依赖于旧桌子ids.
我尝试过这样的事情:

CREATE …

可能重复:
在javascript数组中查找重复值的最简单方法

如何检查数组是否具有重复值？

如果数组中的某些元素相同,则返回true.否则,返回false.

['hello','goodbye','hey'] //return false because no duplicates exist
['hello','goodbye','hello'] // return true because duplicates exist

R中复制的函数执行重复行搜索.如果我们想要删除重复项,我们只需要编写df[!duplicated(df),],重复项将从数据框中删除.

但是如何找到重复数据的索引呢？如果duplicated在某行上返回TRUE,则意味着这是数据帧中第二次出现这样的行,并且可以很容易地获得其索引.如何获得该行首次出现的索引？或者,换句话说,重复行与之相同的索引？

我可以在data.frame上做一个循环,但我认为这个问题有一个更优雅的答案.

我有一张data.table约250万行的表.有两列.我想删除两列中重复的任何行.以前对于data.frame,我会这样做: data.table但这不适用于data.table.我试过df -> unique(df[,c('V1', 'V2')])但它似乎仍然只在data.table的键上操作而不是整行.

有什么建议？

干杯,戴维

例

>dt
      V1   V2
[1,]  A    B
[2,]  A    C
[3,]  A    D
[4,]  A    B
[5,]  B    A
[6,]  C    D
[7,]  C    D
[8,]  E    F
[9,]  G    G
[10,] A    B

在上面的data.table中unique(df[,c(V1,V2), with=FALSE]),表键是哪里,只删除行4,7和10.

> dput(dt)
structure(list(V1 = c("B", "A", "A", "A", "A", "A", "C", "C", 
"E", "G"), V2 = c("A", "B", "B", "B", "C", "D", "D", "D", "F", 
"G")), .Names = c("V1", "V2"), …

我们有一张包含以下列的照片表:

id, merchant_id, url 

此表包含组合的重复值merchant_id, url.所以有一行可能会出现多次.

234 some_merchant  http://www.some-image-url.com/abscde1213
235 some_merchant  http://www.some-image-url.com/abscde1213
236 some_merchant  http://www.some-image-url.com/abscde1213

删除这些重复的最佳方法是什么？(我使用PostgreSQL 9.2和Rails 3.)

我正在尝试关注Ryan Bates RailsCast#196:嵌套模型表单第1部分.Ryans版本有两个明显的区别:1)我正在使用内置脚手架而不是他正在使用的漂亮,2)我正在运行rails 4(我真的不知道Ryans在他的演员阵容中使用的是什么版本,但它不是4).

所以这就是我做的

rails new survey2
cd survey2
bundle install
rails generate scaffold survey name:string
rake db:migrate
rails generate model question survey_id:integer content:text
rake db:migrate

然后我将关联添加到模型中

class Question < ActiveRecord::Base
  belongs_to :survey
end

所以

class Survey < ActiveRecord::Base
  has_many :questions
  accepts_nested_attributes_for :questions
end

然后我添加了嵌套视图部分

<%= form_for(@survey) do |f| %>
  <!-- Standard rails 4 view stuff -->

  <div class="field">
    <%= f.label :name %><br>
    <%= f.text_field :name %>
  </div>
  <div class="field">
    <%= f.fields_for :questions do |builder| %>
      <div>
        <%= …

你会如何标记缓冲区中与其他行完全重复的所有行？通过标记它们,我的意思是突出显示它们或添加角色或其他东西.我想保留缓冲区中行的顺序.

之前:

foo
bar
foo
baz

后:

foo*
bar
foo*
baz

我确信这是一个非常明显的问题,并且有一个函数正是这样做的,但我似乎无法找到它.在PHP中,我想知道我的数组是否有重复,尽可能高效.我不想像它那样删除它们array_unique,我并不特别想运行array_unique并将它与原始数组进行比较,看看它们是否相同,因为这看起来非常低效.就性能而言,"预期条件"是阵列没有重复.

我只是希望能够做类似的事情

if (no_dupes($array))
    // this deals with arrays without duplicates
else
    // this deals with arrays with duplicates

我有没有想到的任何明显的功能？
如何检测PHP数组中的重复值？
有正确的标题,是一个非常相似的问题,但如果你真的读过这个问题,他正在寻找array_count_values.

我正在使用这种方法http://jqueryui.com/demos/sortable/#connect-lists连接我拥有的两个列表.我希望能够从列表A拖动到列表B,但是当项目被删除时,我需要将原始列表保留在列表A中.我检查了选项和事件,但我相信没有类似的东西.任何方法？