哪一个是最好的CSV或JSON才能导入大数据(PHP)

Question

我正在尝试获取大量数据(大约3M行),我只有两个选项可以做到这一点.

1. 调用API然后恢复3M JSON对象.
2. 导入包含3M行的CSV文件.

我还没有测试任何这些解决方案,以确定哪一个在速度方面是最好的.

Answer 1

如果要将简单数据检索为列表或具有某些列的行,则选项#2是好的,您可以在下面阅读一组优缺点:

优点

• 需要更少的带宽,因为json需要更多的语法字符来保持格式,而csv就像使用字符分隔符一样简单
• 流程数据更快,因为只需要按分隔符分割,而JSON需要解释语法
• 作为Hadoop的大数据技术具有CSV格式的集成解析,同时需要特定的函数来解析Json(例如使用Hive语言).

缺点

• 非结构化数据,更难以被人类阅读
• 你必须小心分隔符字符不能出现在数据字段中.

如果数据将包含复杂数据作为tupla,则数组和结构JSON更好,因为:

• 保持清晰,结构化的格式
• 不重复数据来引用它,因为一个标签可能包含多个数据.