标签: export-to-csv

我正在尝试将一些.json数据从 API 写入 CSV 文件

我的代码：

from binance.client import Client
import config
import pandas as pd
import pandas_datareader as web
from pandas_datareader import data as dreader


client = Client(config.apiKey,config.apiSec)
print("Logged in")

symbol = 'BTCUSDT'

klines = client.get_historical_klines(symbol, Client.KLINE_INTERVAL_1WEEK, "1 Jan, 2017")


print(klines)

df = pd.read_json(klines)
df.to_csv(r'path')

错误：

回溯（最近一次调用最后一次）：文件“\OneDrive\Knowledge\Python\Binance API new\BTC-price-get.py”，第 19 行，位于 df = pd.read_json(klines) 文件“\AppData\Local\Programs” \Python\Python39\lib\site-packages\pandas\util_decorators.py”，第 199 行，在包装器中返回 func(*args, **kwargs) 文件“\AppData\Local\Programs\Python\Python39\lib\site- packages\pandas\util_decorators.py”，第 296 行，在包装器中返回 func(*args, **kwargs) 文件“\AppData\Local\Programs\Python\Python39\lib\site-packages\pandas\io\json_json.py ”，第 593 行，在 read_json filepath_or_buffer, _, 压缩，should_close = get_filepath_or_buffer( File …

注意：包含解决方法。我认为应该为下一个人记录下来。

背景：

我在 Google 表格文档中有一个非常简单的表格。

我通过下载网址导出工作表的内容： https://docs.google.com/spreadsheets/d/{documentId}/gviz/tq?tqx=out:csv

以下是从该网址下载的原始文本字节的副本：

“id”，“start#0.key”，“start#0.value”，“start#1.key”，“start#1.value”
“阿尔法”，“帮助查找”，“2002”，“标题查找”，“”
“贝塔”、“颜色”、“”、“背景”、“2003”

问题：

注意：

• 第二行 (Alpha) 的'start#1.value'单元格是空字符串，而不是'HD1'。
• 第三行（Beta）的'start#0.value'单元格是空字符串，而不是'Red'。

看来，因为该单元格的“Beta”值是数字，并且该列的格式是“自动”，所以在导出过程中将删除任何字符串值。

分辨率（不理想）

当我将列的格式更改为“数字 | 纯文本”时，我能够从 CSV 导出中获取所有数据。

这是 url 下载的数据：

“id”，“start#0.key”，“start#0.value”，“start#1.key”，“start#1.value”
“阿尔法”，“帮助查找”，“2002”，“标题查找”，“HD1”
“贝塔”、“颜色”、“红色”、“背景”、“2003”

未对 Google 表格文档进行其他更改 - 仅将“start#1.value”列的格式更改为“数字 - 纯文本”。

期待：

鉴于我明确要求“csv”输出，请参阅网址的查询字符串参数中的“tqx=out:csv”，我将从电子表格中获取所有文本。

我有一个Excel工作表,并能够使用Perl 将其转换为.csv格式.我唯一的问题是Excel表单元格中的一些数据包含逗号,并且也必须以CSV格式保留,但转换时它需要作为分隔符.如何使用逗号检索单元格中的数据并将其打印在CSV中？

例如,在Excel工作表A1单元格中包含数据,{0xAAAA,0xFFFF,0xAAAA,0xAAAA}我想A1在CSV文件中的单元格中使用逗号相同的数据.我是Spreadsheet :: ParseExcel.

我们正在测试我们的应用程序的功能,这里是场景,我们有一个包含500万条记录的表,我们想将它导出到csv,所以我们成功地创建了一个csv编写器类.主要问题是当我们导出整个记录时,我们捕获OOM异常(内存不足异常),当数据超过一百万时,用户可以选择要导出哪些列更难以实现..是否存在没有阻塞过程的任何方式来抓住好东西 什么类型的过程最适合这种情况??? 我应该使用(以及如何)使用后台进程吗？

任何观点(例子)都很受欢迎.谢谢...

我有一个带有名称和 ID 的用户模型。

我想将用户中的所有列存储到一个 csv 文件中。

我如何使用 CSV.generate 函数来做到这一点？

我正在使用 Python 将数据从 Oracle 表导出到 Pandas DataFrame，然后导出到 CSV 文件。

但我收到此错误：

AttributeError: 'generator' object has no attribute 'to_csv'

我无法找出我的代码的问题出在哪里：

import cx_Oracle
import csv
import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine

DATABASE = "MY database"
SCHEMA   = "MY USER"
PASSWORD = "MY PASS"
connstr  = "oracle://{}:{}@{}".format(SCHEMA, PASSWORD, DATABASE)
conn     = sqlalchemy.create_engine(connstr)
result=pd.read_sql('My QUERY' , con=conn, chunksize=10000)
result.to_csv("test",sep=',',chunksize=10000)

我试图将数据从对象列表导出到csv文件.我设法创建文件并创建第一行,但是我需要为每个循环创建一些循环来遍历每个对象.

这是我的代码:

string pathDesktop = Environment.GetFolderPath(Environment.SpecialFolder.Desktop);
string filePath = pathDesktop + "\\mycsvfile.csv";

if (!File.Exists(filePath))
{
    File.Create(filePath).Close();
}

string delimter = ",";
string[][] output = new string[][] { 
  new string[] {"TEST1","TEST2"} 
};

int length = output.GetLength(0);
StringBuilder sb = new StringBuilder();

for (int index = 0; index < length; index++)
{
    sb.AppendLine(string.Join(delimter, output[index]));
    File.AppendAllText(filePath, sb.ToString());
}

有没有办法创建此文件并使用循环遍历所有对象并将其显示在文件中.

我想将此 JSON 压缩为 tsv 文件。

https://www.vi4io.org/assets/io500/2019-06/data.json

问题是每个条目（{} 的第一级）都有许多字段/子字段。我不想指定这么多字段名称。并且不能保证所有条目的字段/子字段都相同。因此，我希望结果列包含所有字段/子字段的联合。列名称的顺序应尽可能接近原始 json 文件。（例如，同一字段中的那些子字段应一起列在 tsv 中）。

将此json文件转换为tsv的最佳方法是什么？谢谢。

我有一个线性模型，我想每周使用更新的数据运行一次，然后提取并打印估计系数和标题。例如：

data <- mtcars
fit <- lm(mpg ~ cyl + disp + hp, data = data)
summary(fit)

Call:
lm(formula = mpg ~ cyl + disp + hp, data = data)

Residuals:
   Min         1Q     Median         3Q        Max 
-4.0888899 -2.0845357 -0.7744705  1.3971991  6.9183052 

Coefficients:
           Estimate  Std. Error  t value            Pr(>|t|)    
(Intercept) 34.18491917  2.59077758 13.19485 0.00000000000015372 ***
cyl         -1.22741994  0.79727631 -1.53952            0.134904    
disp        -0.01883809  0.01040369 -1.81071            0.080929 .  
hp          -0.01467933  0.01465087 -1.00194            0.324952    

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ …