标签: bulk-load

有没有人可以使用实用程序的任何提示来将存储在分隔文本文件中的数据批量加载到SQLite数据库中？

理想情况下可以从脚本等称为独立程序的东西.

我工作的一个小组有一个Oracle数据库,它将把一堆数据转储到文件中,然后将这些数据加载到SQLite数据库中以便在移动设备上使用,并且正在寻找实现这种方案的最简单方法.

我使用bulk_create将数千或行加载到postgresql数据库中.不幸的是,有些行导致IntegrityError并停止bulk_create进程.我想知道是否有办法告诉django忽略这些行并尽可能多地保存批次？

我正在尝试将存储过程设置为SQL Server代理作业,并且它给出了以下错误,

无法批量加载,因为无法打开文件"P:\ file.csv".操作系统错误代码3(无法检索此错误的文本.原因:15105).[SQLSTATE 42000](错误4861)

有趣的是,当我手动执行时,存储过程工作得很好.

驱动器P:是Windows SQL Server上从LINUX通过Samba共享的共享驱动器,它是通过执行以下命令设置的,

EXEC xp_cmdshell'净使用P:"\ lnxusanfsd01\Data"密码/用户:用户名/持久性:是'

任何有关这方面的帮助将受到高度赞赏

使用PostgreSQL数据库运行1个项目NodeJ时遇到问题.尝试使用COPY命令在pgAdmin中插入数据时出错.

COPY beer (name, tags, alcohol, brewery, id, brewery_id, image) FROM stdin;

Bons Voeux  blonde  9.5 Brasserie Dupont    250 130 generic.png

这个数据在 要点:

这个错误:

ERROR: syntax error at or near "Bons"
SQL state: 42601
Character: 1967

从文章跳到文章,我随处都可以看到"批量加载"的表达方式.

它真正(技术上)意味着什么？

这意味着什么？

基于用例的解释是受欢迎的.

我需要定期使用文件中收到的数据增加列中的值.该表有> 400000行.到目前为止,我的所有尝试都会导致性能非常差.我写了一个反映我要求的实验:

#create table
engine = create_engine('sqlite:///bulk_update.db', echo=False)
metadata = MetaData()

sometable = Table('sometable',  metadata,
    Column('id', Integer, Sequence('sometable_id_seq'), primary_key=True),
    Column('column1', Integer),
    Column('column2', Integer),
)

sometable.create(engine, checkfirst=True)

#initial population
conn = engine.connect()
nr_of_rows = 50000
insert_data = [ { 'column1': i, 'column2' : 0 } for i in range(1, nr_of_rows)]
result = conn.execute(sometable.insert(), insert_data)

#update
update_data = [ {'col1' : i, '_increment': randint(1, 500)} for i in range(1, nr_of_rows)]

print "nr_of_rows", nr_of_rows
print "start time   : " + str(datetime.time(datetime.now()))

stmt = …

我正在尝试编写一个查询以将值插入到timestamp with no timezone data类型字段中.该值来自CSV文件.

我正在使用的版本是PostgreSQL 8.1.21.

CSV文件上载由客户端完成,它有一个日期列.日期有时是格式'28-Sep-13'而有时'28/09/2013'格式.

我尝试使用以下命令将字符串转换为时间戳: str_date::timestamp.

如果能正常工作str_date是一样的东西'28-Sep-13',但如果输入日期的格式将无法正常工作'28/09/2013',就会出现此错误:

ERROR: date/time field value out of range: "28/09/2013"  
HINT:  Perhaps you need a different "datestyle" setting

Run Code Online (Sandbox Code Playgroud)

基本上,客户端不断更改上载的CSV文件中的日期格式.
有没有办法将日期字符串转换为时间戳取决于其实际格式？

我正在处理文件加载程序.

此程序的目的是获取输入文件,对其数据进行一些转换,然后将数据上载到Oracle数据库中.

我面临的问题是我需要优化在Oracle上插入非常大的输入数据.

我正在将数据上传到表中,比方说ABC.

我在我的C++程序中使用Oracle提供的OCI库.具体来说,我使用OCI连接池进行多线程并加载到ORACLE.(http://docs.oracle.com/cd/B28359_01/appdev.111/b28395/oci09adv.htm)

以下是用于创建表ABC的DDL语句 -

CREATE TABLE ABC(
   seq_no         NUMBER NOT NULL,
   ssm_id         VARCHAR2(9)  NOT NULL,
   invocation_id  VARCHAR2(100)  NOT NULL,
   analytic_id    VARCHAR2(100) NOT NULL,
   analytic_value NUMBER NOT NULL,
   override       VARCHAR2(1)  DEFAULT  'N'   NOT NULL,
   update_source  VARCHAR2(255) NOT NULL,
   last_chg_user  CHAR(10)  DEFAULT  USER NOT NULL,
   last_chg_date  TIMESTAMP(3) DEFAULT  SYSTIMESTAMP NOT NULL
);

CREATE UNIQUE INDEX ABC_indx ON ABC(seq_no, ssm_id, invocation_id, analytic_id);
/
CREATE SEQUENCE ABC_seq;
/

CREATE OR REPLACE TRIGGER ABC_insert
BEFORE INSERT ON ABC
FOR EACH …

我最近升级到elasticsearch版本6.1.1,现在我无法批量索引json文件中的文档.我内联它,它工作正常.以下是该文件的内容:

{"index" : {}}
{"name": "Carlson Barnes", "age": 34}
{"index":{}}
{"name": "Sheppard Stein","age": 39}
{"index":{}}
{"name": "Nixon Singleton","age": 36}
{"index":{}}
{"name": "Sharron Sosa","age": 33}
{"index":{}}
{"name": "Kendra Cabrera","age": 24}
{"index":{}}
{"name": "Young Robinson","age": 20}

当我运行此命令时,

curl -XPUT 'localhost:9200/subscribers/ppl/_bulk?pretty' -H 'Content-Type: application/json' -d @customers_full.json

我收到此错误:

"error" : {
    "root_cause" : [
      {
        "type" : "illegal_argument_exception",
        "reason" : "The bulk request must be terminated by a newline [\n]"
      }
    ],
    "type" : "illegal_argument_exception",
    "reason" : "The bulk request must be terminated by …

我使用篮球数据表来了解Postgres 9.2和phppgadmin.因此,我想将csv表导入该数据库.但是,我得到:

ERROR:  missing data for column "year"
CONTEXT:  COPY coaches, line 1: ""coachid";"year";"yr_order";"firstname";"lastname";"season_win";"season_loss";"playoff_win";"playoff..."

用命令:

\copy coaches FROM '/Users/Desktop/Database/NBAPostGres/DataOriginal/coaches_data.csv' DELIMITER ',' CSV;

当前表没有错过.所以我的问题是:

1. 我错了什么,如果使用缺少值的表？

2. 如何导入这样的表或处理这种结构一般(也就缺失值而言)？

数据结构:

 coachid    year    yr_order    firstname   lastname    season_win
 HAMBLFR01  204        2          Frank     Hamblen         10
 RUSSEJO01  1946       1          John      Russell         22

我用了:

 varchar     integer   integer  character    character     integer