我有一个数据集保存为.csv文件,如下所示:

Name,Age,Password
John,9,\i1iiu1h8
Kelly,20,\771jk8
Bob,33,\kljhjj

在RI中可以通过以下方式打开此文件:

X = read.csv("file.csv",header=TRUE)

在Matlab中是否有一个默认命令,它读取带有数字和字符串变量的.csv文件？ csvread似乎只喜欢数字变量.

更进一步,在RI中可以使用attach函数来创建与数据集的列和列标题相关联的变量,即,

attach(X)

Matlab中有类似的东西吗？

我正在尝试使用Python Pandas导入CSV文件.此文件中的示例数据如下所示,其中第一行是以逗号分隔的列名.

End Customer Organization ID,End Customer Organization Name,End Customer Top Parent Organization ID,End Customer Top Parent Organization Name,Reseller Top Parent ID,Reseller Top Parent Name,Business,Rev Sum Division,Rev Sum Category,Product Family,Version,Pricing Level,Summary Pricing Level,Detail Pricing Level,MS Sales Amount,MS Sales Licenses,Fiscal Year,Sales Date 
11027676,Baroda Western Uttar Pradesh Gramin Bankgfhgfnjgfnmjmhgmghmghmghmnghnmghnmhgnmghnghngh,4078446,Bank Of Barodadfhhgfjyjtkyukujkyujkuhykluiluilui;iooi';po'fserwefvegwegf,1809012,"Hcl Infosystems Ltd - Partnerdghftrutyhb frhywer5y5tyu6ui7iukluyj,lgjmfgnhfrgweffw",Server & CALsdgrgrfgtrhytrnhjdgthjtyjkukmhjmghmbhmgfngdfbndfhtgh,SQL Server & CALdfhtrhtrgbhrghrye5y45y45yu56juhydsgfaefwe,SQL CALdhdfthtrutrjurhjethfdehrerfgwerweqeadfawrqwerwegtrhyjuytjhyj,SQL CALdtrye45y3t434tjkabcjkasdhfhasdjkcbaksmjcbfuigkjasbcjkasbkdfhiwh,2005,Openfkvgjesropiguwe90fujklascnioawfy98eyfuiasdbcvjkxsbhg,Open Lklbjdfoigueroigbjvwioergyuiowerhgosdhvgfoisdhyguiserhguisrh,"Open Stddfm,vdnoghioerivnsdflierohgushdfovhsiodghuiohdbvgsjdhgouiwerho",125.85,1,FY07,12/28/2006
12835756,Uttam Strips Pvt Ltd,12835756,Uttam Strips Pvt Ltd,12565538,Redington C/O Fortis Financial Services Ltd,MBS,Dynamics ERP,Dynamics NAV,Dynamics NAV Business Essentials,Non-specific,Other,MBS …

我已确保列与列选项卡中的“要导出的列”字段匹配，而不是空列有数据，在 csv 和 txt 中都尝试过，但我得到的只是一条消息：

已创建导入/导出作业

没有别的：没有错误，没有警告，没有完成。

视窗7 OS
Version1.4
CopyrightCopyright二○一三年至2017年，该pgAdmin的开发团队
的Python Version2.7.12（v2.7.12：d33e0cf91556，2016年6月27日，15时19分22秒）[MSC v.1500 32位（英特尔）]
瓶Version0。 11.1
应用模式桌面

在那之前我会通过 psql 尝试

我有一个非常大的CSV文件(150 MB).将它导入MySQL的最佳方法是什么？在将它插入MySQL表之前,我必须在PHP中进行一些操作.

通过NuGet提供的http://csvhelper.com用于读取和写入CSV文件.

CsvHelper允许您直接将CSV文件读入自定义类.

如上一个问题所示

var streamReader = // Create a reader to your CSV file.
var csvReader = new CsvReader( streamReader );
List<MyCustomType> myData = csvReader.GetRecords<MyCustomType>();

CsvReader将根据标题行自动确定如何匹配属性名称(这是可配置的).它使用编译的表达式树而不是反射,所以它非常快.

它也是非常可扩展和可配置的.

我基本上试图找出如何读取带有标题(未知名称)的CSV文件并将记录读入自定义对象.

根本没有这方面的文档,所以想知道是否有人知道如何使用CsvReader将值按顺序放入字符串数组中,或者你会如何推荐处理这个？

有没有办法结合使用bigmemory包中的scan()和read.big.matrix()来读取带有混合类型列的200 MB .csv文件,以便结果是一个带整数,字符的数据帧,和数字列？

背景

我有一个使用CSV文件导入产品的Asp.net MVC 3.5应用程序.CSV文件可以来自特定的可配置源组.要配置新的CSV源,用户最初会指定哪些CSV列映射到哪些产品属性.此配置将存储为导入模板,并在执行每次导入后可供选择.

我试图计划此功能的文件夹/对象结构时遇到了问题.我理解(并且喜欢)Asp.net MVC的灵活性,所以我知道我们可以做任何事情.但是,我想任何有助于我们保持对象结构更健全和可维护的建议.

最初我设置了一个包含Import.aspx视图的Product文件夹.这似乎足够适合控制器/动作模型.但是,当我考虑用于管理上述模板的功能时,事情会变得混乱.

编辑:导入模板可以应用于不同的对象.因此,Product只是一个可以为其创建一个或多个ImportTemplates的对象.例如,可能具有ImportTemplate的另一个对象可以是Customer.

题

我应该在Product文件夹下创建一个名为ImportTemplate的子文件夹并将CRUD视图放在那里吗？然后,我将为导入模板功能添加自定义路由.我关心的是文件夹深度以及与兄弟动作导入的混淆.或者ImportTemplate是否应该升级,然后使用路由将其放在Product文件夹下？听起来很乱.

也许文件夹结构应该是Product/Import/Template.我在这种情况下看到的问题是Import实际上不是一个对象.我可以看到它是一个控制器但它真的意味着行动.如果我使用这个结构,我应该在Import文件夹中放置一个Upload.aspx视图(以替换上面提到的Product/Import.aspx)？这似乎变得有点笨重.

编辑:由于上面添加的要求,ImportTemplate可以与Product(即Customer)以外的对象相关联,最好将ImportTemplate文件夹直接放在Views文件夹下吗？

构建此对象/文件夹层次结构的任何其他想法？

研究

为了研究这个问题,我回顾了有关文件夹结构和深度的问题.这里有几个问题有答案,但实际上没有提供我的问题的答案.

- ASP.NET MVC视图或URL应该有多少级别？

- ASP.NET MVC 3文件夹结构

- 分层MVC路由策略

一个例子

编辑:用户定期从第三方导入产品列表.他们正在从CSV文件导入数据,该文件将上传到网站.他们在其帐户中创建/添加产品导入模板的实例.此模板实例存储以下设置:

• CSV文件中名为"title"的列应导入"产品名称"字段.
• CSV中"类别"列下无法识别的类别应导入为"未知"类别.

不同的用户可能具有基于不同的第三方CSV格式或基于他们自己的系统配置的不同规则(即,他们没有像上面的用户那样设置未知类别).

• CSV中名为"部件号"的列应导入"产品名称"字段和"产品编号"字段.
• 默认情况下,无法识别的类别应导入"通用"类别.

我有一些数据,我试图将其加载到R中.它在.csv文件中,我可以在Excel和OpenOffice中查看数据.(如果你很好奇,它是从现有的竞选加拿大的数据,2011年调查结果的数据在这里).

数据以不寻常​​的方式编码.典型的一行是:

12002,Central Nova","Nova-Centre"," 1","River John",N,N,"",1,299,"Chisholm","","Matthew","Green Party","Parti Vert",N,N,11

"Central-Nova的末尾有一个但不是在开头.因此,为了读入数据,我压缩了引号,这对于前几个文件工作正常.即.

test<-read.csv("pollresults_resultatsbureau11001.csv",header = TRUE,sep=",",fileEncoding="latin1",as.is=TRUE,quote="")

现在问题出现了:在另一个文件中(例如pollresults_resultatsbureau12002.csv),有一行数据如下:

12002,Central Nova","Nova-Centre"," 6-1","Pictou, Subd. A",N,N,"",0,168,"Parker","","David K.","NDP-New Democratic Party","NPD-Nouveau Parti democratique",N,N,28

因为我需要抑制引号,所以该条目"Pictou, Subd. A"使R想要将其拆分为2个变量.无法读入数据,因为它希望在构建数据帧的过程中添加一列.

Excel和OpenOffice都可以打开这些文件没问题.不知何故,Excel和OpenOffice知道引号只有在它们位于变量条目的开头时才有意义.

你知道我需要在R上启用哪个选项来获取这些数据吗？我有300个文件需要加载(每个文件大约1000行)所以手动修复不是一个选项...

我已经到处寻找解决方案,但找不到一个.

我想读取最近在不同目录中修改（或创建）的 CSV 文件，然后将其放入预先存在的单个数据框 (df_total) 中。

我有两种目录可供阅读：

A:/LogIIS/FOLDER01/"files.csv"

在其他人那里有一个包含几个 files.csv 的文件夹，如下例所示：

"A:/LogIIS/FOLDER02/FOLDER_A/"files.csv"

"A:/LogIIS/FOLDER02/FOLDER_B/"files.csv"

"A:/LogIIS/FOLDER02/FOLDER_C/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_A/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_B/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_C/"files.csv"

"A:/LogIIS/FOLDER03/FOLDER_D/"files.csv"

我在理解 D3.JS 获取文档时遇到了一些困难：

我的数据源是：

20180601 000000;1.168200;1.168240;1.168140;1.168230;0;
20180601 000100;1.168220;1.168230;1.168190;1.168190;0;
20180601 000200;1.168180;1.168180;1.168080;1.168120;0;
20180601 000300;1.168130;1.168160;1.168130;1.168140;0;

其中格式为：

%Y%m%d %H%M%S;number1;number2;number3;number4;number5;

我的困难是：

1. 向数据添加标头
2. 使用分号而不是逗号作为分隔符

1）据我所知，我需要读取文件而不解析它，然后将文本字符串连接到文件的开头，最后解析数据。

d3.text(data.csv, function(error, textString){});

var headers = ["date","time","data1","data2"].join("\t");

d3.csv.parse(headers + textString);

2）我可以使用dsv格式并将分隔符设置为分号吗？

d3.dsv(";", "text/plain")

我最终得到的粗略代码是：

var time_parse = d3.timeParse( '%Y%m%d %H%M%S');
var time_format = d3.timeFormat('%H%M');

d3.text(data.csv, function(error, textString){

var headers = ["time;number1;number2;number3;number4;number5;"].join("\t")

d3.csv.parse(headers + textString)

d3.dsv(";", "text/plain")

data.forEach(function(e,i){
    data[i].time = time_parse(e.date);
})

})

理想情况下，我希望记录时的数据如下所示：

Time, Number1, Number2, Number3, Number4, Number5
00:00, 1.168200, 1.168240, 1.168140, 1.168230, 0
etc

我的想法有什么缺陷，有人可以就如何解决我的问题和未来类似的问题提供建议吗？

注意：我是 Javascript 和 d3 …