相关疑难解决方法(0)

我需要将.sql或.csv文件转储到SQLite中(我使用的是SQLite3 API).我只找到了导入/加载表的文档,而不是整个数据库.现在,当我输入:

sqlite3prompt> .import FILENAME TABLE 

我得到一个语法错误,因为它期望一个表而不是整个数据库.

我正在"转换"一个大的(~1.6GB)CSV文件,并将CSV的特定字段插入到SQLite数据库中.基本上我的代码看起来像:

import csv, sqlite3

conn = sqlite3.connect( "path/to/file.db" )
conn.text_factory = str  #bugger 8-bit bytestrings
cur = conn.cur()
cur.execute('CREATE TABLE IF NOT EXISTS mytable (field2 VARCHAR, field4 VARCHAR)')

reader = csv.reader(open(filecsv.txt, "rb"))
for field1, field2, field3, field4, field5 in reader:
  cur.execute('INSERT OR IGNORE INTO mytable (field2, field4) VALUES (?,?)', (field2, field4))

一切都按照我的预期进行,但例外情况是......它需要花费大量的时间来处理.我编码不正确吗？有没有更好的方法来实现更高的性能并完成我需要的(只需将CSV的几个字段转换为SQLite表)？

**编辑 - 我尝试按照建议直接将csv导入sqlite但事实证明我的文件在字段中有逗号(例如"My title, comma").这导致导入错误.看来手动编辑文件的次数太多了......

还有其他的想法??**

我有一张包含大量数据的Excel表格.我想在sqlite数据库表中使用相同的数据.目前我必须手动输入1个1字段.有没有办法直接将数据导出到sqlite数据库表？

我希望我要写的内容有意义。\n如果你看看

r语言如何处理50GB大的csv文件？

解释了如何查询 \xc3\xa0 la SQL（来自 R 的 csv 文件）。\n就我而言，我有大量数据存储为大型（或大于我的 RAM）平面文件。

例如，我想将其中一个存储为 SQLite 数据库，而不将其完全加载到内存中。\n想象一下，如果您可以自动读取该文件中适合您的 RAM 的有限块，将其存储到 SQL 中，然后释放一些内存，处理下一个块，依此类推，直到所有文件都在数据库中。\n这在 R 中可行吗？如果表格可以存储为 tibble，那就更好了，但这并不重要。\n任何建议表示赞赏。\n谢谢！