标签: csv

1. 我有一个 30K 的行表
2. 当我对该表运行 50 行的长查询时，GROUP 函数将行数减少到 7K
3. 我想将分组的 7K 行导出为新表，或将它们另存为 CSV

当我尝试导出时，不是获取分组的 7K 行，而是获取旧的预查询 30K 行。我做错了什么，我应该怎么做？

注意：我不是编码员，所以我真的很感激只使用 phpMyAdmin GUI 的解决方案。

首先，这不是从 MySQL 本身加载数据，而是使用命令行工具“mysqlimport”。

我正在使用它直接将 CSV 加载到表中，并且需要查看它生成的警告。我似乎无法在打开详细或调试的情况下显示警告。有任何想法吗？

(MySQL 5.0.5)

我需要在服务器上使用 gnumeric 的文件转换工具 ssconvert。

问题是 gnumeric 是一个 gnome 应用程序，没有安装桌面就无法安装。

ssconvert 也没有单独的包，我无法从源代码编译它......

我需要这个特定的转换工具，因为它可以从 Excel XML 格式转换为 CSV，这是其他 excel 转换工具无法做到的。

我正在 ubuntu 12.04 服务器上工作。我将不胜感激任何想法。

我们必须存储大约 300 万种产品的基本信息。目前，信息是一个 180 mb 的 CSV，每季度更新一次。

每天将有大约 30,000 次查询，但这些查询只是一个非常简单的键值存储。我们只需要查找产品 ID 并显示其余信息（这些信息都在一个记录中）。

这是针对 Web 的，因此快速的性能至关重要。

即使我们真的不需要关系数据库，我们是否应该使用 MySQL？我们应该每个季度生成 300 万个静态 html 文件吗？我们应该在 Amazon S3 或 Rackspace Cloud Files 之类的东西上为每个产品存储一行 CSV 吗？做这个的最好方式是什么？

我有一个非常大的 csv ~260GB，我想将它导入 MySQL。我在 MacOS 中使用以下 mysql 脚本

删除表如果存在 tmp_catpath_5;

创建表 tmp_catpath_5( a1 BIGINT(20),a2 BIGINT(20),a3 BIGINT(20),a4 BIGINT(20),a5 BIGINT(20), c1 BIGINT(20),c2 BIGINT(20),c3 BIGINT(20) ),c4 BIGINT(20),c5 BIGINT(20), INDEX (a5) );

将数据本地 infile '/Volumes/Time Machine Backups 1/tmp_catpath_5.csv' 加载到表 tmp_catpath_5 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' ;

它适用于较小的文件，例如 150GB，但对于此大小，数据库在加载命令后立即消失

错误 1049 (42000)：未知数据库

MySQL 有大小限制吗？是别的吗？我使用 MAMP 应用程序中的 MySQL（MacOS 的 LAMP），它会与官方 MySQL 应用程序不同吗？

我正在使用 mongoexport 将一些集合导出到 CSV 文件中，但是当我尝试定位作为数组成员的字段时，我无法正确导出它。

我正在使用的命令：

mongoexport -d db -c collection -fieldFile fields.txt --csv > out.csv

并且 fields.txt 的内容类似于

id
name
address[0].line1
address[0].line2
address[0].city
address[0].country
address[0].postcode

BSON 数据在哪里：

{
    "id": 1,
    "name": "example",
    "address": [
        {
            "line1": "flat 123",
            "line2": "123 Fake St.",
            "city": "London",
            "country": "England",
            "postcode": "N1 1AA"
        }
    ]
}

导出数组内容的正确语法是什么？

我正在尝试通过复制命令将大约 100M 记录（磁盘上大约 8GB）的 CSV 加载到 Postgres ：copy mytable from 'path/to/myfile.csv' with CSV;我一直在通过检查 pgAdmin 中报告的表大小并将其与 CSV 大小进行比较来监视进度。我知道这充其量只是一个松散的比较，我很想知道是否有更好的方法来监控进度。

问题是：这个加载已经持续了很长时间（我认为太长了），当我不断检查表大小时，加载似乎正在减速。也就是说，现在加载新的 100MB 数据所需的时间比之前加载的时间长得多。为什么？

除了将我的 CSV 分解成许多较小的文件之外，是否有任何调整、配置或替代方法可以加快加载速度？

更新：架构/数据细节

一个有代表性的数据行：

1234567890,FOOBARF,2010-01-15 03:07:05,0.924700,0.925000

完整的架构定义：

CREATE TABLE mytable
(
  id integer NOT NULL,
  rname character varying(7) NOT NULL,
  ts timestamp without time zone NOT NULL,
  stat1 numeric NOT NULL,
  stat2 numeric NOT NULL,
  CONSTRAINT pk_id PRIMARY KEY (id)
)
WITH (
  OIDS=FALSE
);
ALTER TABLE mytable OWNER TO postgres;

我必须从 MS SQL Server 迁移，现在创建一个新的 ORACLE 数据库，其中的数据部分来自我的旧表。

为此，我需要从数十个表中获取数据作为 Unicode CSV 或 TXT 文件，字段以“|”分隔。

不好的是，MS SQL Server 的默认导出大师一次只能导出一个表，并且为每个表配置导出选项需要相当长的时间。我开始手动导出它们，但在第 10 桌时我神经紧张。

您知道如何将所有表从 SQL Server 导出为 csv 或 txt 的方法吗？

我有 60TB 的数据驻留在 12 个 csv 文件中。

数据将被加载到集群数据库中，其中加载过程是单线程的。为了提高我的加载性能，我需要从每个节点启动一个加载过程。

从这个角度来看，到目前为止还不错。我最大的问题是如何拆分这些数据？它是压缩的，每个 csv 文件都有大约 5TB 的数据！我试过拆分，但时间太长了！

我正在使用 Debian Linux，我想将 CSV 文件转换为 Excel XLS 电子表格文件。所述catdoc包包括xls2csv命令转换从XLS到CSV。然而，它不会做相反的事情。

因为我只有一个 CSV 文件，所以我不在乎格式或类似的东西。我不担心它是否只生成一个非常简单的 XLS 文件，并且不支持花哨的新版本。只要它是一个 XLS 电子表格。