标签: data-storage

我需要存储他们购买的客户和汽车的基本数据以及这些汽车的付款时间表.这些数据来自GUI,用Python编写.我没有足够的经验来使用像sql这样的数据库系统,所以我想将我的数据作为纯文本存储在文件中.而且它不必在线.

为了能够搜索和过滤他们,首先我我的数据(名单列表)转换为字符串然后当我需要的数据重新转换到正规Python列表语法.我知道这是一种非常蛮力的方式,但这样做是否安全或者你能以另一种方式建议我吗？

我正在寻找最好的机制来存储一堆环境数据,比如循环数据库(rrd)的概念来限制数据库的大小.这将用于Java Web应用程序,因此我更热衷于使用基于Java的技术.我一直在看的工具是JRobin和RRD4J

但是,似乎RRD旨在以固定间隔存储数据.它是否正确？

我想要存储的数据是温度,湿度,事件驱动数据,如门打开/关闭,干触点打开/关闭.

可以轮询温度和湿度数据,但硬件也会向我们发送更新,这些更新基于硬件何时检测到更改(因此不是常规间隔).我也想存储这个.

事件驱动的数据不会被轮询,只有在传感器向我们发送数据时才会存储.

总而言之,我的问题将是2倍:

1. RRD工具可以用来存储非常规间隔数据吗？
2. 如果RRD工具不能用于存储常规间隔数据,那么有关如何以存储机制自动限制数据存储大小的方式存储非常规间隔数据的任何建议？

我一直在尝试使用Apache Hadoop 0.20.203.0来运行Pig 0.9.0.我在谷歌和邮件列表上看起来很高,甚至还有这个问题:不能用单节点hadoop服务器运行猪,但我仍然无法让Grunt,Pig shell,在集群设置中运行(我可以运行)当然,在本地模式下提示正常).

我已经尝试了给出的解决方案 - 重新编译没有hadoop,将hadoop库和pig-withouthadoop.jar添加到我的PIG_CLASSPATH变量......没有任何效果.我刚收到错误

2011-08-02 10:56:00,709 [main] ERROR org.apache.pig.Main - ERROR 2999:意外的内部错误.无法创建DataStorage

不完全确定从哪里开始.我在Apache Pig开发网站或其他东西(他们的版本控制站点或其他)上看到了一些关于此的讨论,并且有一些提议的脚本,但我无法弄清楚他的包装脚本正在做什么或如何使用它:https://issues.apache.org/jira/browse/PIG-2183.也许解决方案在于那个链接？

我正在运行单节点hadoop设置(非本地模式)... Hadoop工作正常.

背景故事

我维护并且正在重新设计几个基于PHP的Web应用程序,有一个主题我还没有找到一个优雅的解决方案,所以我正在寻找一些可能导致我更好的方法做到这一点.

当前状态

我的一些应用程序允许用户存储除大量数据之外的图像.所有数据最终都在PostgreSQL集群中,但是为了性能和可维护性,我选择不将图像本身存储在数据库中.图像将其元数据存储在数据库中(例如原始文件名,宽度/高度等),一旦数据库事务成功,我将文件系统上的图像移动到图像目录(存储为.jpg).

问题

所有这些功能都很好,但是由于应用程序被大量使用,并且由多个人同时使用,并且在互联网上,并且PHP的错误/异常处理在所有情况下都不是最可靠的,我偶尔担心不会能够包装存储数据库事务中的图像(在文件系统上)(因为它发生在文件系统上).我也很担心,因为如果图像文件在文件系统上被破坏/更改/删除,数据库的记录将无法正确更新(没有参照完整性).

解决方案

到目前为止我想出的是:

选项A)将实际图像(不仅仅是元数据,而是整个二进制文件)存储在数据库中. - 我不喜欢这个,因为目前数据库虽然非常复杂,但仍然很小(不超过60MB).相关的图像总共有很多GB,所以它会大量增加我的PostgreSQL安装的占用空间.此外,它将使我的数据库备份和复制方案复杂化.

选项B)保持当前设计(文件系统上的图像,postgres中的数据),并尝试在应用程序级别使用它的每个点处计算损坏的数据. - 它使应用程序更加复杂和错误.

选项C)我找到了一个名为Flourishlib的PHP ORM框架,它包含一个模拟文件系统事务的文件系统类(基本上,如果你调用$ file-> rename(),它会检查是否可以,但实际上没有重命名直到你提交事务) - 这是我到目前为止找到的最好的解决方案,但是我已经使用了另一个ORM框架(Propel),我更喜欢这个大小的项目,所以我需要2个框架,功能大不相同.

SOOO

所以,我认为这里的许多其他人之前会遇到同样的"问题",我肯定有些人提出了一些我还没有想到的解决方案.感谢任何指针,建议或批评.

我已经阅读了Apple的数据存储指南,我真的很困惑,我应该保留我在我的应用程序中创建的sqlite数据库文件.即使应用程序处于Offfline模式,我也想从sqlite文件中读取.我读到创建的这些文件应保存在Library/caches中,并设置"不备份"标志.请建议我做同样的正确方法.

我们的应用程序已被App拒绝,原因是:

2.23

我们发现您的应用不符合iOS数据存储指南,这是根据App Store审核指南所要求的.

特别是,我们发现在启动和/或内容下载时,您的应用程序会存储超过2 MB的数据.要检查应用存储的数据量:

• 安装并启动您的应用
• 转至设置> iCloud>存储和备份>管理存储
• 如有必要,请点按"显示所有应用"
• 检查您应用的存储空间

iOS数据存储指南表明,只有用户使用您的应用创建的内容(例如文档,新文件,编辑等)才能由iCloud备份.

应用程序使用的临时文件只应存储在/ tmp目录中; 请记得在用户退出应用程序时删除存储在此位置的文件.

可以重新创建但必须保持应用程序正常运行的数据 - 或者因为客户希望它可供脱机使用 - 应标记为"不备份"属性.对于NSURL对象,请添加NSURLIsExcludedFromBackupKey属性以防止备份相应的文件.对于CFURLRef对象,请使用相应的kCFURLIsExcludedFromBackupKey属性.

有关详细信息,请参阅技术问答1719:如何防止文件备份到iCloud和iTunes？.

有必要修改您的应用程序以满足iOS数据存储指南的要求.对于离散的代码级问题,您可以咨询Apple Developer技术支持.当DTS工程师跟进您时,请准备好提供:

• 拒绝问题的完整详情
• 截图
• 重现问题的步骤
• 符号化崩溃日志 - 如果您的问题导致崩溃日志

如果您在复制报告的问题时遇到困难,请尝试按照https://developer.apple.com/library/ios/qa/qa1764/技术问答QA1764中的说明测试工作流程 :如何重现只有App Review的崩溃或错误或用户正在看到.

但是,我们没有存储在/ document文件夹中的数据.我们的关键数据存储在Library/Application Support/bundle_id中,此目录设置为"不备份",后面是Apple文档中的示例代码,它将NSURLIsExcludedFromBackupKey属性添加到目录中.

我们下载的缓存文件放在/ tmp目录中,并在使用后删除.因此,实际上没有通过iCloud备份的数据.事实上,我们已按照指示多次检查iCloud存储:

• 安装并启动您的应用
• 转至设置> iCloud>存储和备份>管理存储
• 如有必要,请点按"显示所有应用"
• 检查您应用的存储空间

但我们只能找到0.3KB的iCloud使用时间.我刚从iPhone上拍了一个屏幕截图:

它显示确实只使用了0.3KB(屏幕上的第二个应用程序).

任何想法,还有什么会导致这种拒绝？我们有点相信这是苹果评论团队的错误,如果有任何办法我们可以通过电话联系苹果评审团队？

我有一个2015年2月1日至2015年10月31日期间约8.5k产品的亚马逊价格数据。目前，它以字典的形式提供，其中的键是从基准日期起的天数，值是从那天开始的新价格。例如，此处的价格从第1天起为10美元，在第45天更改为15美元，然后在第173天更改为9美元，此后没有变化。

{1:10,
 45:15,
 .
 .
 .
 173:9}

存储此类时间序列以便使用python轻松操作的最佳方法是什么？我想执行很多汇总，并且还要查询特定日期的价格。最后，我将执行一些固定效应回归，并且混淆了什么是存储此时间序列的最佳方法，因此我的编程工作变得相对简单了。我可以将表存储为273列（每天一天）和对应于8.5k产品的行。我一直在研究可以帮助我完成此任务的熊猫模块，但是有更好的方法吗？谢谢！

我们有30个节点的生产集群。我们要添加5个数据节点以进行额外的存储，以处理数据的临时峰值（大约2 TB）。该数据将被临时存储，我们希望在15天后删除它。

是否可以确保传入的临时数据（2 TB）仅存储在新添加的数据节点上？

我正在寻找类似于YARN节点标签的内容。

先感谢您。

我有一个Web平台,可以存储我正在构建的应用程序的数据.Web平台使用Ruby on Rails构建,主应用程序适用于Android.我很想知道将我的数据存储在XML文件中的任何性能问题(对于Android应用程序).最终我的网络应用程序中的数据库将有大约2000个条目(如文章/文章类别 - >文章 - 内容,描述,标题,图像路径).

使用SQLite或XML文件来存储我的数据是否更好？

让我考虑一下，我有4个字节来描述一些实际的系统参数。假设可以将其解释为float，uint32_t和boolean。一起存储和处理此变量的主要思想。现在我使用一个类（非常简化的）具有的4个字节，函数数组float toFloat()，uint32_t toInt()，bool toBool()和参数ID（指定存储值类型）。所以我需要一个函数T getValue()来返回正确类型的值T。所以我的问题是：最正确的方法是什么？我应该使用模板，继承，其组合还是其他？