标签: import-from-csv

我可以将 CSV 或任何其他平面文件导入到 hive 中，而无需先在 hive 中创建和定义表结构吗？假设我的 csv 文件有 200 列，需要导入到 hive 表中。所以我必须首先在 hive 中创建一个表并定义该 hive 表中的所有列名和数据类型并导入。有什么方法可以直接导入到 hive 中，它会自动从第一行创建表结构，比如类似于 sqoop 导入？

我想读取最近在不同目录中修改（或创建）的 CSV 文件，然后将其放入预先存在的单个数据框 (df_total) 中。

我有两种目录可供阅读：

A:/LogIIS/FOLDER01/"files.csv"

在其他人那里有一个包含几个 files.csv 的文件夹，如下例所示：

"A:/LogIIS/FOLDER02/FOLDER_A/"files.csv"

"A:/LogIIS/FOLDER02/FOLDER_B/"files.csv"

"A:/LogIIS/FOLDER02/FOLDER_C/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_A/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_B/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_C/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_D/"files.csv"

我正在尝试从.csv文件中获取数据并导入到python中的HTML表中.

这是csv文件https://www.mediafire.com/?mootyaa33bmijiq

背景:
csv填充了来自足球队的数据[年龄组,回合,反对,团队得分,反对分数,位置].我需要能够选择特定的年龄组,并且只在单独的表中显示这些细节.

这就是我到目前为止所有的......

infile = open("Crushers.csv","r")

for line in infile:
    row = line.split(",")
    age = row[0]
    week = row [1]
    opp = row[2]
    ACscr = row[3]
    OPPscr = row[4]
    location = row[5]

if age == 'U12':
   print(week, opp, ACscr, OPPscr, location)

我在理解 D3.JS 获取文档时遇到了一些困难：

我的数据源是：

20180601 000000;1.168200;1.168240;1.168140;1.168230;0;
20180601 000100;1.168220;1.168230;1.168190;1.168190;0;
20180601 000200;1.168180;1.168180;1.168080;1.168120;0;
20180601 000300;1.168130;1.168160;1.168130;1.168140;0;

其中格式为：

%Y%m%d %H%M%S;number1;number2;number3;number4;number5;

我的困难是：

1. 向数据添加标头
2. 使用分号而不是逗号作为分隔符

1）据我所知，我需要读取文件而不解析它，然后将文本字符串连接到文件的开头，最后解析数据。

d3.text(data.csv, function(error, textString){});

var headers = ["date","time","data1","data2"].join("\t");

d3.csv.parse(headers + textString);

2）我可以使用dsv格式并将分隔符设置为分号吗？

d3.dsv(";", "text/plain")

我最终得到的粗略代码是：

var time_parse = d3.timeParse( '%Y%m%d %H%M%S');
var time_format = d3.timeFormat('%H%M');

d3.text(data.csv, function(error, textString){

var headers = ["time;number1;number2;number3;number4;number5;"].join("\t")

d3.csv.parse(headers + textString)

d3.dsv(";", "text/plain")

data.forEach(function(e,i){
    data[i].time = time_parse(e.date);
})

})

理想情况下，我希望记录时的数据如下所示：

Time, Number1, Number2, Number3, Number4, Number5
00:00, 1.168200, 1.168240, 1.168140, 1.168230, 0
etc

我的想法有什么缺陷，有人可以就如何解决我的问题和未来类似的问题提供建议吗？

注意：我是 Javascript 和 d3 …

我正在尝试从URL提取gzip并将其自动导入Google表格中。gzip包含一个CSV数据文件。

我知道我可以将CSV数据导入Google表格中，但是我希望能够省去下载gzip并先提取文件的步骤，然后再将其上传到Google表格中。

所以我的查询：

是否可以将URL中的压缩CSV文件直接导入Google表格？

如果没有，如何使用Google Apps脚本来完成？

如何在我拥有的Google电子表格文档中从本地硬盘导入CSV文件？(我想通过脚本复制文件 - >导入命令)

这是一个双管R问题.我有一个数据集文件夹(在.csv中),需要在分析之前进行更改.每个数据集都是1X10矩阵,如:

1 2 3 4 5 6 7 8 9 10

并需要将其转换为以下5X5矩阵在对角线上插入1s:

1
1 1 
2 3 1
4 5 6 1
7 8 9 10 1

如何在文件夹中的多个文件上完成此转换？

我正在寻找一种pythonic和简洁的方法来选择.csv文件中的列并存储列的所有单元格,例如列表.

import csv    

with open("/path/to/file.csv","r") as csvfile:
    reader = csv.DictReader(csvfile, delimiter=";")
    # TODO: select column for key "foo"
    # TODO: select column for key "bar"
    # TODO:store "foo" data in list
    # TODO: store "bar" data in list

我有一个简单的 .csv 文件。

是否可以使用命令行工具将其转换为 .xls ssconvert？

我还需要指定工作表的名称。

我希望从python中的CSV文件中选择一个特定的行和列.如果值为空,我想执行一个操作,如果值不为空,我想执行另一个操作.

我认为代码应该是这样的:

inputFile = 'example.csv'
reader = csv.reader(inputFile, 'rb')
for row in reader:
    if row[5][6] == '':              ==>  (I mean select value the 5th row and 6th column)
        (do this)
    else:
        (do that)

关于这个主题的任何帮助或指导都会有所帮助 - 我使用列表完成了类似的任务; 但是,由于CSV文件是原始的,我不知道该怎么做.