标签: bulk

我基本上试图将数据从SQL Server 2005中的一个数据库中的表复制到另一个表,在同一个SQL Server实例中的另一个数据库中具有相同的结构(但很多索引).

我目前的方法是显而易见的INSERT/SELECT:

set identity_insert TargetDBName.dbo.TableName on

insert into TargetDBName.dbo.TableName ([FieldsList])
  select [FieldsList] from  TargetDBName.dbo.TableName    

set identity_insert SourceDBName.dbo.TableName off

这大概是永久性的(1000万条记录需要1小时,而从索引表到没有索引的表需要20分钟).

最好的方法是什么？

谢谢!

我正在寻找一些关于如何使用sqlite3在Python中执行此操作的帮助

基本上我有一个下载DB(temp)然后需要将它的记录插入第二个相同的DB(主数据库)的进程..同时忽略/绕过任何可能的重复键错误

我在考虑两个场景,但我不确定如何在Python中做到这一点

选项1:

• 创建2个连接和光标对象,每个数据库1个

• 从DB 1中选择,例如:

  dbcur.executemany('SELECT * from table1')
  rows = dbcur.fetchall()
  

  Run Code Online (Sandbox Code Playgroud)

• 将它们插入DB 2:

  dbcur.execute('INSERT INTO table1 VALUES (:column1, :column2)', rows)
  dbcon.commit()
  

  Run Code Online (Sandbox Code Playgroud)

这当然不起作用,因为我不确定如何正确地做到:)

选项2(我更喜欢,但不知道该怎么做):

• SELECT和INSERT在1个语句中

另外,我在DB中有4个表,每个表都有不同的列,我可以跳过命名INSERT语句中的列吗？

就重复键而言,我已阅读过我可以使用'ON DUPLICATE KEY'来处理例如.

INSERT INTO table1 VALUES (:column1, :column2) ON DUPLICATE KEY UPDATE set column1=column1

我一直指的是以下页面:

http://msdn.microsoft.com/en-us/library/ms178129.aspx

我只想从具有Unicode字符的文件批量导入一些数据.我已经尝试在UC-2,UTF-8等中编码实际数据文件,但没有任何作用.我还修改了要使用的格式文件SQLNCHAR,但它仍然不起作用并给出错误:

第1行第1列的批量加载数据转换错误(截断)

我认为这与上述链接中的这个陈述有关:

对于使用Unicode字符数据文件的格式文件,所有输入字段必须是Unicode文本字符串(即固定大小或字符终止的Unicode字符串).

这到底是什么意思？我认为这意味着每个字符串需要一个固定的2个字节,在UCS-2中编码文件应该处理???

我想批量上传图像(每个大约200 kB).我们有多种选择,如CarrierWave,Paperclip等.如何批量执行这些上传？

假设，作为管理流程的一部分，离线创建了数千个值。这些值被输入到一个非常简单的模型中：

 class Foo(models.Model):
     value = models.CharField(max_length=32)

我想在模型创建页面上有一个字段，允许用户输入（复制粘贴）1000 个值，因此，将在表中创建 1000 行。

如果我可以在模型创建中添加一个文本字段，我所要做的就是解析这些值并为每个值调用 Foo.create。我将如何添加此自由格式字段，以及当用户点击“保存”按钮时我将如何处理它？……或者我应该采取完全不同的方式来解决这个问题吗？

有没有办法一次删除多个课程？我似乎只能一个接一个地做到这一点.

也许有更好的方法,但我还没有找到任何东西.

我正在使用elasticsearch-py进行弹性搜索操作。

我正在尝试elasticsearch.helpers.bulk创建或更新多个记录。

from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()

data = [
    {
        "_index": "customer",
        "_type": "external",
        "_op_type": "create",
        "_id": 3,
        "doc" : {"name": "test"}
    },
    {
        "_index": "customer",
        "_type": "external",
        "_op_type": "create",
        "_id": 4,
        "doc" : {"name": "test"}
    },
    {
        "_index": "customer",
        "_type": "external",
        "_op_type": "create",
        "_id": 5,
        "doc" : {"name": "test"}
    },
    {
        "_index": "customer",
        "_type": "external",
        "_op_type": "create",
        "_id": 6,
        "doc" : {"name": "test"}
    },
]


print helpers.bulk(es, data) …

我想知道是否可以批量初始化从类型创建的变量为 null，而不需要单独初始化它们

create type tp_data as (
    data01   text,
    data02   integer,
    data03   text
);

create function sp_function()
  returns setof tp_data as
$$
declare
    lr_data   tp_data;
begin
    for lr_data in
        select data.data01, data.data02, data.data03
        from data
    loop
        if lr_data.data01 = "cancelled" then

            -- what is the correct way to do this?
            lr_data.* := null;

            -- without having to do this
            lr_data.data01 := null;
            lr_data.data02 := null;
            lr_data.data03 := null;
        end if;

        return next lr_data;
    end loop;
end
$$
language plpgsql;

称呼： …

我需要使用 pymongo 对 mongodb 进行批量删除。我通过查询获取了需要删除的文档的 _id 字段，但我无法弄清楚如何使用 _id 来删除 10,000 个块。

我有一个由计时器触发的 Azure 函数，我想在其中更新 CosmosDB 内的文档。UpdateOneAsync现在我正在使用带有选项的函数IsUpsert = true来进行更新（或者如果文档不存在则插入）。

但是，我在 foreach 循环内执行更新操作，因此对每个项目执行更新操作。如何进行批量更新（upsert），在 foreach 循环完成后仅执行一项操作？

这是我现在的代码：

foreach (var group in GetGroups(date, time, hour))
{
    dic = new MyDictionary<string>();

    //... some operations

    List<BsonElement> documents = new List<BsonElement>();
    documents.Add(new BsonElement("$inc", new BsonDocument(dic)));
    documents.Add(new BsonElement("$set", new BsonDocument(new Dictionary<string, string>() { { "c", key }, { "d", date } })));

    var doc = clicksDoc.UpdateOneAsync(t => t["_id"] == "c-" + key + "-" + date, new BsonDocument(documents), new UpdateOptions() { IsUpsert = true }).Result; …