标签: data-integrity

Mongodb插入未成功完成(使用node.js)

我有一个加载XML文件的node.js脚本.它循环遍历Mongo数组中的每个元素,并它们都被正确插入,但是当脚本完成检查时db.collection.count();告诉我,插入到数据库中的记录远远少于预期的数量.

如何使mongo和node.js与插入很好地匹配?

GrabRss = function() {
var http    = require('http');
var sys     = require('sys');
var xml2js  = require('xml2js');
var fs      = require('fs');

var Db      = require('../lib/mongodb').Db,
    Conn    = require('../lib/mongodb').Connection,
    Server  = require('../lib/mongodb').Server,
    // BSON = require('../lib/mongodb').BSONPure;
    BSON    = require('../lib/mongodb').BSONNative;

var data;
var checked = 0;
var len = 0;

GotResponse = function(res) {
    var ResponseBody = "";
    res.on('data', DoChunk);
    res.on('end', EndResponse);

    function DoChunk(chunk){
        ResponseBody += chunk;
    }
    function EndResponse() {
        //console.log(ResponseBody);
        var parser = new xml2js.Parser(); …
Run Code Online (Sandbox Code Playgroud)

insert data-integrity mongodb node.js

3
推荐指数
1
解决办法
2768
查看次数

HTTPS协议文件完整性

我知道当您使用HTTP/HTTPS协议将文件从客户端发送到服务器时,您可以保证所有成功发送的数据都到达目的地.但是,如果您发送一个巨大的文件,然后突然互联网连接断开,并非所有软件包都被发送,因此您将失去文件的逻辑完整性.

我的陈述中是否有任何意义?

我想知道目标节点是否有办法在不使用"自定义代码/ api"的情况下检查文件逻辑完整性.

http file data-integrity

3
推荐指数
1
解决办法
2741
查看次数

什么是关系完整性

在关于如何在关系中设置主键的问题中,PerformanceDBA谈到了关系完整性,并指出它与参照完整性不同.

我听说过与外键有关的参照完整性. 但是关系完整性对我来说似乎很奇怪.

在这个问题中,关系完整性和引用完整性是一回事吗?,克里斯说,两者是一回事.

数据库世界中的术语和定义让我感到困惑.
有人可以解释关系完整性吗?


Edgar F. Codd 于1970年他的论文中提出关系模型以来,关系数据库理论已经建立了几十年. 但是,书籍或网络上的正常形式,完整性等没有一致的定义. 作为一个学习者,我很困惑.

data-integrity relational-database relational-model

3
推荐指数
1
解决办法
3105
查看次数

None 上未引发 IntegrityError

我有一个具有以下独特约束的模型:

class Record(Model):
    type = ForeignKey(Type, related_name='records')
    code = CharField(max_length=32)
    group = ForeignKey('self', null=True, blank=True, related_name='members')

    class Meta:
        unique_together = ('type', 'code', 'group')
Run Code Online (Sandbox Code Playgroud)

我希望两条记录相同,如果它们都具有相同的类型和代码,并且都没有组。我预计会引发完整性错误,但在以下测试用例中不会发生这种情况:

Record.objects.create(type=type_article_structure,
                      code='shoe',
                      group=None)
Record.objects.create(type=type_article_structure,
                      code='shoe',
                      group=None)
Run Code Online (Sandbox Code Playgroud)

如果我为两者填充同一组,则唯一约束起作用:

group = Record.objects.create(type=type_article_structure,
                              code='group')
Record.objects.create(type=type_article_structure,
                      code='shoe',
                      group=group)
Record.objects.create(type=type_article_structure,
                      code='shoe',
                      group=group)
Run Code Online (Sandbox Code Playgroud)

这导致:

django.db.utils.IntegrityError: UNIQUE constraint failed: md_masterdata_record.type_id, md_masterdata_record.code, md_masterdata_record.group_id
Run Code Online (Sandbox Code Playgroud)

我如何确保在第一种情况下得到相同的错误?

附言。我的测试用例使用 SQLite,我的生产服务器使用 PostgreSQL。

python django data-integrity nonetype

3
推荐指数
1
解决办法
1321
查看次数

如何克服Netezza缺乏独特的约束/参照完整性执行?

似乎缺乏对执行2个基本约束(唯一和外键)的支持,是失去许多工时调试和解决难题的原因.什么开始是一个简单,易于修复的问题(重复行/不一致的主要细节表)在我们的应用程序中甚至在我们的硬件中都没有被注意到,增长并引发复杂的边缘场景(例如,自我加入与重复可能导致通货膨胀和储存耗尽).

  • Netezza在我们的环境中有多种用途:生产,研究,qa和分期.当然,我们的ETL过程不能成熟,也无法验证所有这些场景中的所有约束.
  • 即使在生产中使用的最成熟的应用程序中,在ETL加载数据时也会验证数据,我们创建了一系列表,每个表都是其前任计算的结果.有时,数据完整性在此过程中被破坏,而不是在开始时(由于有缺陷的声明)

任何人都可以推荐一种方法/工具来避免这些麻烦吗?

database data-integrity netezza

2
推荐指数
1
解决办法
1万
查看次数

如果我使用Django South运行迁移并崩溃,我的数据库是否已损坏?

我和Django南玩耍,和它的力量留下了深刻印象,但在做一些迁移的过程中,我已经成功地做的事情,导致迁移的中间错误.比如在数据迁移文件中出现语法错误或运行时异常,决定我不想实际执行某些操作并在迁移期间点击ctrl-c并过早中止等等.

我正在使用MySQL作为数据库后端.当南方出现问题时,我是否需要担心数据库的完整性?事务是否确保所有问题在出错时回滚?

mysql django data-integrity django-south

2
推荐指数
1
解决办法
1484
查看次数

自定义协议的应用程序数据是否需要校验和?

由于通过网络传输的数据包在不同的层具有校验和,因此以太网和 IPv4的标头具有校验和,因此TCP的校验和甚至覆盖了整个段。

我知道,从应用程序层的角度来看,损坏的数据包可以滑入而不被以太网/ IP / TCP丢弃是不可能的,因为它们的校验和有可能是正确的,只有概率很小。

我正在为IM应用程序设计自定义二进制协议。我的问题是我需要添加校验和以确保我的应用程序数据的完整性吗?在实践中真的需要校验和吗?

networking network-programming protocols network-protocols data-integrity

2
推荐指数
1
解决办法
1090
查看次数

从存储库下载工件和/或构建项目时,配置 Maven 以检查完整性校验和?

在某些情况下(比如没有余额),我的互联网提供商将任何 HTTP 请求重定向到一个简单的 html 存根。最近,我的 dev machive 上的 maven 缓存被 jar 文件淹没,这些 jar 文件的内容包含来自我的互联网提供商的 html 存根。这些 jar 文件在构建过程中没有被注意到,最终作为我的项目工件的一部分部署到 Tomcat。由于 Tomcat 日志中有关损坏的 jar 文件的警告,我注意到了问题。显然,我想在未来避免这种情况。

我看到在 Maven 缓存中,有些*.sha1文件应该包含 jar 文件的完整性校验和。就我而言,这些*.sha1也有错误的内容(由 html 存根组成)。

如果 jar 文件内容与完整性校验和不匹配,如何将 Maven 配置为在工件下载或构建过程中失败?

我使用的 Maven 版本是3.3.9.

java checksum data-integrity maven

2
推荐指数
1
解决办法
2880
查看次数

Firebase AppCheck 的目的是什么?

我想提高我的应用程序的安全性,我正在研究 Firebase App Check 服务,该服务确保向服务器发出的所有请求都来自我的应用程序。仅在 Firebase 实时数据库中,我设置了以下规则:

"Users": {
      "$userId": {
        ".read": "auth != null && $userId === auth.uid",
          ".write": "auth != null && $userId === auth.uid", 
      }
Run Code Online (Sandbox Code Playgroud)

我认为这可以确保请求来自登录到应用程序的用户。

那么 App Check 做的更多,该服务是否也阻止越狱或特别植根的设备?因为它在网站上说:请求来自真实的、未被篡改的设备。但是介绍中没有任何内容明确提到篡改意味着什么,即使我宁愿确定这似乎合乎逻辑。

那么 AppCheck 如何确保发送到数据库的数据没有损坏呢?

例如,如果启用数据持久性并且用户关闭应用程序,则更改本地存储的查询并重新启动应用程序。然后在我看来,损坏的请求将由 AppCheck 发送和验证,但它会被修改。如果没有,你能不能详细说明一下这个过程,因为我有点困惑。

data-integrity ios swift firebase-realtime-database firebase-app-check

2
推荐指数
1
解决办法
340
查看次数

MD5 哈希值是否足以检查我的文件是否已正确传输

我必须将文件从一台服务器传输到另一台服务器。自动化脚本将在每晚 12 点进行传输。我想比较传输前文件的 md5 哈希值和传输后文件的 md5 哈希值。md5 哈希值足够用于此目的吗?

或者我应该使用 sha256 ?

我主要担心的是 sha256 比 md5 慢得多。我的文件大小约为每个文件 1 GB。

checksum md5 data-integrity sha256

2
推荐指数
1
解决办法
1322
查看次数