标签: csv

根据https://www.sqlite.org/cli.html#csv，

sqlite> .mode csv
sqlite> .import C:/work/somedata.csv tab1

Run Code Online (Sandbox Code Playgroud)

有两种情况需要考虑：(1) 表“tab1”以前不存在；(2) 表“tab1”已经存在。

在第一种情况下，当该表以前不存在时，会自动创建该表，并使用输入 CSV 文件第一行的内容来确定该表中所有列的名称。换句话说，如果该表以前不存在，则 CSV 文件的第一行将被解释为列名，实际数据从 CSV 文件的第二行开始。

对于第二种情况，当表已经存在时，CSV 文件的每一行，包括第一行，都被假定为实际内容。如果 CSV 文件包含列标签的初始行，则该行将被读取为数据并插入到表中。为避免这种情况，请确保该表以前不存在。

我试过这个并得到一个错误：

sqlite> .mode csv
sqlite> .import C:/work/somedata.csv tab1

但是，如果我先创建表，那么它“有效”，但我最终会得到一个不需要的标题行，因为它是情况 (2)：

$ cd /tmp
$ rm -f database.sqlite3
$ ( echo 'a,b,c' ; echo '1,2,3' ) > somedata.csv
$ sqlite3 database.sqlite3
SQLite version 3.7.13 2012-07-17 17:46:21
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> .version
SQLite 3.7.13 2012-07-17 17:46:21 65035912264e3acbced5a3e16793327f0a2f17bb
sqlite> .mode csv …

我想将 15GB 文件逗号分隔的 gzip 压缩文件导入 Sqlite 3，而不必使用临时文件。

我想运行如下命令：

zcat input/surgical_code.csv.gz | tail -n +2 | sqlite3 db.sqlite ".import /dev/stdin surgical_code"

这会解压缩文件，跳过标题并尝试导入。

问题是我无法在与 SQlite3 相同的引用命令上指定.mode cvs和.separator ","。

有任何想法吗？

使用$(echo -e 'line1\nline2')对我不起作用：

gzcat input/surgical_code.csv.gz | tail -n +2 | sqlite3 db.sqlite $(echo -e '.mode csv \n .separator \",\"\n.import /dev/stdin')

Error: mode should be one of: ascii column csv html insert line list tabs tcl

我正在使用 SQL Server 2014 并且我有一个包含一列包含CSV字符串的表：

110,200,310,130,null

该表的输出如下所示：

我想选择第二列作为多列，将 CSV 字符串的每个项目放在一个单独的列中，如下所示：

所以我创建了一个用于拆分字符串的函数：

create FUNCTION [dbo].[fn_splitstring]
(
    @List nvarchar(2000),
    @SplitOn nvarchar(5)
)  
RETURNS @RtnValue table 
(
    Id int identity(1,1),
    Value nvarchar(100)
) 
AS  
BEGIN 
    while (Charindex(@SplitOn,@List)>0)
    begin
        insert into @RtnValue (value)
        select 
            Value = ltrim(rtrim(Substring(@List,1,Charindex(@SplitOn,@List)-1)))

        set @List = Substring(@List,Charindex(@SplitOn,@List)+len(@SplitOn),len(@List))
    end
    insert Into @RtnValue (Value)
    select Value = ltrim(rtrim(@List))

    return
END

我想像这样使用它：

select Val , (select value from tvf_split_string(cchar1,','))  from table1

但是上面的代码显然行不通，因为该函数将返回多于一行，导致子查询返回多于一个值并破坏代码。

我可以使用类似的东西：

select Val ,
(select value from …

将非常大的 SQL Server 2016 结果集（超过 75 GB）转换为 CSV 文件的最佳方法是什么？工程师需要这个输出来寻找相关性。

bcp73.5 GB 文件的路由填满了 tempdb 并开始使其他应用程序崩溃，包括 ETL 进程。

我们的用户希望导出最多 500 GB。

哪个进程会使用最少的资源，以便其他应用程序继续运行？