标签: bulk

我有一个使用 MS SQL Server 的应用程序，我需要从文件中进行批量插入。症结在于数据库和我的应用程序将托管在不同的服务器上。通过网络进行批量插入的最佳方法是什么？到目前为止我想出的两个想法：

1. 从应用服务器，共享一个数据库服务器可以找到的目录，并使用远程文件中的批量插入语句进行导入

2. 从 db 服务器运行 FTP 服务器 - 执行导入时，只需将文件 ftp 到 db 服务器并使用本地文件中的批量插入进行导入（我倾向于此选项）。

谁能告诉我是否有更好的方法来做到这一点，或者如果没有，哪一个最有意义，为什么？

我有两张桌子。一个称为@tempImportedData，另一个称为@tempEngine。我在 @tempImportedData 中有数据，我想将此数据放入 @tempEngine，一旦插入 @tempEngine，就会创建一个 id。我希望将该 id 放回到相应行中的 @tempImportedData 中。我相信这就是 OUTPUT 语句的目的。我几乎有一个工作副本，请参见下文。

Declare @tempEngine as table(
     id int identity(4,1) not null
    ,c1 int
    ,c2 int
);
Declare @tempImportedData as table(
     c1 int
    ,c2 int
    ,engine_id int
);
insert into @tempImportedData  (c1, c2)
    select 1,1
    union all select 1,2
    union all select 1,3
    union all select 1,4
    union all select 2,1
    union all select 2,2
    union all select 2,3
    union all select 2,4
;
INSERT INTO @tempEngine ( c1, c2 ) …

我正在将我的 sqlite 数据库转换为 Couchdb。我可以转换数据库并上传到 Couchdb 服务器。除了图像之外的一切。我想将图像作为独立附件上传，我想使用 javascript、REST 和 xhr 批量执行此操作。

POST http://127.0.0.1:5984/database/_bulk_docs

Data : {"_id": "701", "_attachments": {"555_image.png": { "content_type": "image/jpg","data":[object TiFilesystemFile]      }}}

我已经卷曲了一个文件进行测试，并且有效。我如何批量处理？

这是使用 Appcelerator Titanium 开发的 iOS 应用程序。

我创建了将数据从 csv 导入我的表的 SSIS 包，我正在尝试通过 sql 命令重现 SSIS，更具体地说，使用批量插入语句，你能帮忙吗？

.csv 文件属性：

我试图了解如何使用 jsforce 和批量查询从 salesforce 导出 50k 记录。仅返回前 10k，我知道这是由于批次大小限制为 10k，但是我不明白如何创建下一个批次来获取记录 10001 到 20000 等。

目前我有以下内容，任何帮助将不胜感激。

  conn.bulk.query('SELECT Id FROM Account')
    .on('record', function record(rec) {
      log.debug('dumpAllObject', 'rec', rec);
    })
    .on('error', function handle(err) { log.error('dumpAllObject', 'error', err); })
    .on('end', function resolve() {
          log.info('dumpAllObject', 'Completed');
    });

我正在尝试使用本机查询进行批量插入。

@Repository
public interface Repository extends CrudRepository<Entity, Integer> {

    @Modifying
    @Query(value = "INSERT INTO table_name(value) VALUES (:value)", nativeQuery = true)
    void insert(@Param("value") String value);
}

我已将batch_size属性添加到application.properties文件中

spring.jpa.properties.hibernate.jdbc.batch_size = 50

但在日志中，我看到每个插入都是单独处理的。是否可以将批处理应用于本机查询？

我知道SQLAlchemy中有一些命令称为bulk_insert_mappings和bulk_update_mappings，它们可以一次插入/更新多行；我知道有一种方法可以像这样更新插入一行：

from sqlalchemy.dialects.postgresql import insert
insert_stmt = insert(my_table).values(
     id='some_existing_id',
     data='inserted value'
     )
do_update_stmt = insert_stmt.on_conflict_do_update(
        index_elements=['id'],
        set_=dict(data='updated value')
     )
conn.execute(do_update_stmt)

我想做的是将这两件事合并到批量更新插入中，而不必 ping 我的数据库三次（一次查看需要插入哪些行和更新哪些行，一次进行实际插入，一次进行更新） 。有谁知道是否有办法做到这一点？感谢您提前提供任何帮助！

我刚刚跳过其他人写的一个看起来效率不高的功能,但是我对JPA的了解并不是很好找到一个不是Hibernate特定的可移植解决方案.

简而言之,在一个循环内调用的Dao方法插入每个新实体都会执行"entityManager.merge(object);".

是不是在JPA规范中定义了一种方法来将实体列表传递给Dao方法并执行批量/批量插入而不是为每个对象调用merge？

此外,由于Dao方法带有"@Transactional"注释,我想知道每个合并调用是否在自己的事务中发生......这对性能没有帮助.

任何的想法？

我需要一次发送多封电子邮件,任何人都有例子吗？或任何想法？我需要一次向所有网站用户发送邮件(邮件内容对所有人来说都是一样的)

目前我在for循环中使用以下代码

        $this->Email->from     = '<no-reply@noreply.com>';
        $this->Email->to       =  $email;
        $this->Email->subject  =   $subject ;
        $this->Email->sendAs   = 'html'; 

我有一个包含2列的csv,一列是AD组名,一列是用户帐户名.我正在尝试阅读csv并将用户导入其相应的组.

这是我到目前为止所要做的.它说两个参数(identity,member)都是null,这没有任何意义,因为标题是正确指定的.

import-module activedirectory
$list = import-csv "C:\Scripts\Import Bulk Users into bulk groups\bulkgroups3.csv"

Foreach($user in $list){       
    add-adgroupmember -identity $_.Group -member $_.Accountname
}

什么是csv文件中的什么

Group             Accountname 
group1            user1 
group1            user2 
group1            user3 
group2            user4 
group2            user5 
group3            user6 
group3            user7 
group3            user8 
group4            user9 
group5            user10 

编辑命令和错误

这是我的脚本,错误我收到和csv.

Import-Csv "C:\Scripts\Import Bulk Users into bulk groups\bulkgroups.csv" | 
ForEach { get-aduser $_.Accountname | add-adgroupmember $_.Group}