标签: schemaless

如何将MongoDB集合中的所有记录导出到.csv文件中？

mongoexport --host localhost --db dbname --collection name --type=csv > test.csv

这要求我指定我需要导出的字段的名称.我可以直接导出所有字段而不指定字段名称吗？

我听过很多关于无架构(通常是分布式)数据库系统的讨论,比如MongoDB,CouchDB,SimpleDB等......

虽然我可以理解它们可能在某些方面很有价值,但在我的大多数应用程序中,我都试图持久化具有特定类型字段的对象,而我只是在关系模型中自动思考.我一直在考虑具有唯一整数id的行,null/not null字段,SQL数据类型和用于查找集的select查询.

虽然我被这些新系统的分布式特性和简单的JSON/RESTful接口所吸引,但我不明白松散类型的键/值哈希将如何帮助我进行开发.为什么松散类型的无架构系统能够保持干净的数据集？例如,我怎样才能找到日期介于x和y之间的所有项目？是否有任何加入的概念？

我知道很多系统都有自己的差异和优势,但我想知道范式的差异.我想这是一个开放式的问题,但也许社区的答案以及他们亲眼看到这些系统优势的方式将有助于启发我和其他人关于何时我想要使用这些(当然更髋关节)系统而不是传统的RDBMS.

在阅读了我的另一个问题,使用关系数据库获得无架构数据之后,我开始怀疑文件系统是否比关系数据库更适合存储和查询无模式数据.

而不是仅仅在MySQL之上构建文件系统,为什么不直接将数据保存到文件系统？需要弄清楚索引,但现代文件系统非常稳定,具有复制,快照和备份功能等强大功能,并且可以灵活地存储无模式数据.

但是,我找不到任何使用文件系统而不是数据库的人的例子.

在哪里可以找到有关如何将无模式(或"面向文档")数据库实现为文件系统顶层的更多资源？是否有人使用现代文件系统作为无模式数据库？

在阅读了Bret Taylor(FriendFeed的联合创始人,Facebook当前首席技术官)撰写的一篇令人震惊的文章之后,FriendFeed 如何使用MySQL来存储无模式数据,我开始怀疑是否有使用RDBMS的最佳实践,如Oracle,用于存储和查询无模式数据的MySQL或PostgreSQL？

当NoSQL成为新的热点时,很少有人愿意承认他们正在使用关系数据库,这使得很难找到关于该主题的好文章.如何将无模式(或"面向文档")数据库实现为关系数据库之上的层？

我有兴趣监控一些对象.我希望每15分钟获得大约10000个数据点.(也许不是一开始,但这是'一般球场').我还希望能够获得每日,每周,每月和每年的统计数据.将数据保持在最高分辨率(15分钟)超过两个月并不重要.

我正在考虑各种方法来存储这些数据,并且一直在查看经典的关系数据库,或者在无模式数据库(例如SimpleDB)上.

我的问题是,这样做的最佳方式是什么？我非常希望开源(和免费)解决方案成为专有的高成本解决方案.

小记:我正在用Python编写这个应用程序.

到目前为止,Django与几个RDBMS有很好的集成.NoSQL,无架构和面向文档的DBMS正在崛起.将这些流行时尚的DBMS与Django集成在一起的状态如何？是否有适用于Django的生产就绪或至少可立即使用的库？

到目前为止,我手头有这些:

• http://github.com/lethain/comfy-django-example
• http://nosql.mypopescu.com/post/276069660/nosql-libraries#mongodb-python

我听到很多关于couchdb的内容,但在阅读了一些关于它的文档之后,我仍然不明白为什么要使用它以及如何使用它.

你能为我澄清一下这个谜吗？

我正在玩弄RDF,特别是如何访问存储在rdf存储中的信息.与传统关系数据库的巨大差异在于缺少预定义的模式:在关系数据库中,您知道该表具有这些列,并且您可以在技术上将每行映射到类的实例.该类具有明确定义的方法和明确定义的属性.

在无模式系统中,您不知道哪些数据与给定信息相关联.这就像拥有一个具有任意而非预定义数量的列的数据库表,并且每行可以包含任意数量的这些列中的数据.

与ObjectRelational Mappers类似,有Object RDF映射器.RDFAlchemy和SuRF是我现在正在玩的两个.基本上,它们为您提供了一个Resource对象,其方法和属性是动态提供的.这有点意义......但是,它并不那么容易.在许多情况下,您更喜欢拥有一个定义良好的界面,并且可以更好地控制在模型对象上设置和获取数据时发生的事情.在某种意义上,拥有这样的通用访问会使事情变得困难.

我注意到的另一件事情(也是最重要的)是,即使在 一般的,无模式的数据预计将提供有关资源的任意信息,在实践中,你或多或少知道"类的信息"往往是在一起.当然,你不能排除附加信息的存在,但在某些情况下,这是例外,而不是常态,尽管这个例外对于严格的模式来说太明显了.在文章的rdf表示中(例如在RSS/ATOM提要中),您知道所描述资源的术语,并且可以将它们映射到定义良好的对象.如果提供其他信息,则可以定义扩展对象(从基础对象继承)以提供增强信息的访问者.因此,从某种意义上说,当您想要查看您感兴趣的特定附加信息时,可以通过"面向模式的对象"处理无模式数据.

我的问题与您对无架构数据存储的实际使用实践的体验有关.它们如何映射到面向对象的世界,以便您可以熟练地使用它而不必太接近无模式存储的"裸机"？(在RelDB术语中,不使用太多SQL并直接搞乱表结构)

访问注定是非常通用的(例如,SuRF"插入属性"是您可以访问数据的最高,最专业的级别),或者具有特定商定的方便模式的专用类也是一种很好的方法,然而引入有多种类来访问新的和意外的相关数据的风险？

我一直在尝试为在线应用程序的自定义字段回答复杂的Mysql数据结构问题.我对Mysql相当新,所以任何输入都值得赞赏.

当前数据库是关系数据库,服务的每个用户将共享相同的数据库和表.

这是我正在尝试做的一个例子.

假设我正在尝试创建一个列表.此列表最多可包含30个自定义字段.用户可以在12个唯一元素之间进行选择,每个元素最多可以包含15个用户定义的属性.

每个列表在帐户内和帐户之间都是唯一的.帐户可以有多个列表,每个列表可以具有不同数量的元素以及每个元素的不同属性.

元素可以是很多东西,例如:多项选择,单选按钮,电话字段,地址,单行文本,多行文本等.

多选(复选框)元素的属性示例可以是:红色,绿色,蓝色,橙色,白色,黑色

单行文本元素的示例可以是:名字输入字段.

每个元素还必须具有用户定义的标题字段和标记字段,可以在应用程序的其他功能中引用和使用.

分割也很重要.用户需要能够基于任何元素对列表进行分段.例如,用户可能想要基于多选项元素#1中存在"红色"的所有记录来对列表"ABC"进行分段(它们可以具有多于1个列表的多项选择元素).

在这个例子中,我假设数组,EAV,序列化LOB可以正常工作.但是,我不确定在我的规模上我的需求最好的结构是什么.

实际上,每个列表最多可能有多达50,000个记录,并且实际上有20,000多个帐户 - 每个帐户都有许多列表.因此,我正在寻找最有效和灵活的结构.

为了使事情变得更加复杂,我还需要确保在任何给定时间向任何特定列表添加/删除元素的有效方法.例如,如果用户创建一个包含最大允许自定义字段数的列表(30),然后三个月后决定要删除一个字段,我需要一种方法来查找该列表以及该自定义字段的所有关联值然后删除所有值,元素类型及其属性.然后允许用户向该列表添加新元素.

我已经回顾了本网站上的许多EAV帖子,以及http://www.martinfowler.com/eaaCatalog/serializedLOB.html由于数据,EAV似乎不能满足我的需求检索缺点.

我还想知道多维阵列在这种规模下的效果如何？我相信wordpress会将它用于自定义字段.

对于这种情况如何最好地构建数据库,将非常感谢任何输入.谢谢!

我在C#中使用mongoDB做了一些工作,但我的所有代码仍处于开发阶段.我想知道人们在创建,更改和删除新属性时随着时间的推移发展其域类的有用模式.我很清楚,我需要对我所有存储的数据运行更新,或者确保我的域类知道如何处理旧的格式记录,但随着时间的推移,我可以想象如果一个类知道如何处理,这会变得混乱所有可能的表单格式.

我在想这个吗？这主要是使用良好的防御性编程吗？