我想要读取的CSV文件不适合主内存.如何读取它的几个(~10K)随机行并对所选数据帧进行一些简单的统计？
我有一个tsv(制表符分隔文件),我想用sqlite3导入.有人知道一个明确的方法吗？
我已经安装了sqlite3,但还没有创建任何数据库或表.
我试过这个命令
.import /path/filename.tsv my_new_table
但它给了我错误:没有这样的表:my_new_table.
但是,根据我的阅读,它应该自动创建表,如果它不存在.这是否意味着我需要首先创建和使用数据库,还是有另一种技巧将.tsv文件导入sqlite？
我知道这个问题已经在这个论坛上被问了很多,但是我在一个严格的截止日期前,我需要一些帮助,所以任何建议都非常感谢.我是Ruby on Rails的新手,所以请在回复时记住这一点.我想创建一个rake任务,在运行时,更新mysqlite db中的多个表.这是一个在我的数据库中创建新事件的迁移文件.如何创建rake任务,通过CSV文件输入所有这些信息.有人可以从头到尾写一些rake文件给我一些帮助.显然你不需要为每个字符串编写每个任务,只需举几个例子.除了实际的rake文件之外,我是否需要将代码添加到我的应用程序的任何其他部分(我知道这是一个非常一般的问题,但如果我确实需要添加代码,我将非常感谢对其中的一般描述).我觉得会有一些指导意见.如果有人需要我的任何更多信息,请询问.
class CreateIncidents < ActiveRecord::Migration
def self.up
create_table :incidents do |t|
t.datetime :incident_datetime
t.string :location
t.string :report_nr
t.string :responsible_party
t.string :area_resident
t.string :street
t.string :city
t.string :state
t.string :home_phone
t.string :cell_phone
t.string :insurance_carrier_name
t.string :insurance_carrier_street
t.string :insurance_carrier_city
t.string :insurance_carrier_state
t.string :insurance_carrier_phone
t.string :insurance_carrier_contact
t.string :policy_nr
t.string :vin_nr
t.string :license_nr
t.string :vehicle_make
t.string :vehicle_model
t.string :vehicle_year
t.timestamps
end
end
def self.down
drop_table :incidents
end
end
我试图使用d3.js从.csv导入一些数据.我无法做到这一点,并想知道是否有人可以伸出援助之手.我的.csv文件格式如下:
max_i,min_i,max_f,min_f
-122.1430195,-122.1430195,-122.415278,37.778643
-122.1430195,-122.1430195,-122.40815,37.785034
-122.4194155,-122.4194155,-122.4330827,37.7851673
-122.4194155,-122.4194155,-122.4330827,37.7851673
-118.4911912,-118.4911912,-118.3672828,33.9164666
-121.8374777,-121.8374777,-121.8498415,39.7241178
-115.172816,-115.172816,-115.078011,36.1586877
-82.5618186,-82.5618186,-79.2274115,37.9308282
-79.9958864,-79.9958864,-80.260396,40.1787544
-74.1243063,-74.1243063,-74.040948,40.729688
-106.609991,-106.609991,-106.015897,35.640949
我正在尝试使用以下代码加载数据:
var dataset = []
d3.csv("data.csv", function(data) {
dataset = data.map(function(d) { return [ +d["max_i"], +d["min_i"] ]; });
});
console.log(dataset)
但是,我只是在控制台中得到一个空的[].谁能指出我的错误？
R中的read.table和read.csv函数用于解析包含分隔数据的文件或URL,并生成R数据帧.但是,我已经有一个包含CSV分隔数据的字符向量(使用逗号和\n作为列和记录分隔符),因此我不需要从文件或URL中读取它.如何将此字符向量传递到read.table,read.csv或者scan()不将其写入磁盘上的文件并将其重新读入？我意识到将它写入磁盘是可能的,但我正在寻找一种不需要这种不必要的往返的解决方案,并且可以直接从字符向量中读取数据.
我试图读取一个大的制表符分隔文件到R.
首先我尝试了这个:
data <- read.table("data.csv", sep="\t")
但它正在读取一些数字变量作为因素
所以我尝试根据我希望每个变量的类型读取数据:
data <- read.table("data.csv", sep="\t", colClasses=c("character","numeric","numeric","character","boolean","numeric"))
但是当我尝试这个时它会给我一个错误:
扫描错误(文件,什么,nmax,sep,dec,quote,skip,nlines,na.strings,:scan()预期'真实',得到'"4"'
我想可能是原始文件中的某些数值有引号,但我不确定.
我正在尝试从IRS读取.csv文件,它似乎没有以任何奇怪的方式格式化.
我正在使用这个read.table()功能,我过去曾多次使用过这个功能,但这次没用了; 相反,我得到这个错误:
data_0910<-read.table("/Users/blahblahblah/countyinflow0910.csv",header=T,stringsAsFactors=FALSE,colClasses="character")
Error in read.table("/Users/blahblahblah/countyinflow0910.csv", :
more columns than column names
它为什么这样做？
作为参考,.csv可以在以下位置找到这些文件:
http://www.irs.gov/uac/SOI-Tax-Stats-County-to-County-Migration-Data-Files
(我需要的是县到县迁移.csv部分 - 流入或流出.)
当我尝试使用numpy的loadtxt函数从CSV文件导入数据时,我遇到了一个小问题.这是我拥有的数据文件类型的示例.
称之为'datafile1.csv':
# Comment 1
# Comment 2
x,y,z
1,2,3
4,5,6
7,8,9
...
...
# End of File Comment
我认为适用于这种情况的脚本如下:
import numpy as np
FH = np.loadtxt('datafile1.csv',comments='#',delimiter=',',skiprows=1)
但是,我收到一个错误:
ValueError: could not convert string to float: x
这告诉我,kwarg'skiprows'没有跳过标题,它正在跳过第一行评论.我可以简单地确保skiprows = 3,但复杂的是我有非常多的文件,并不是所有文件顶部都必须有相同数量的注释行.我怎样才能确保当我使用loadtxt时,我只是在这样的情况下得到实际数据？
PS - 我也对bash解决方案持开放态度.
我只是在学习d3,我正在尝试从CSV文件导入数据,但我不断收到错误"XMLHttpRequest无法加载文件:///Users/Laura/Desktop/SampleECG.csv.交叉原始请求只是支持HTTP." 我已经搜索了如何修复此错误并在本地Web服务器上运行它,但我找不到适用于d3.v2.js的解决方案.以下是代码示例:
var Time = []
ECG1 = []
d3.csv("/Desktop/d3Project/Sample.csv", function(data)
{
Time = data.map(function(d) {return [+d["Time"]];});
ECG1 = data.map(function(d) {return [+d["ECG1"]];});
console.log(Time)
console.log(ECG1)
});
任何帮助都感激不尽.
我正在尝试将CSV文件导入到项目的图形中.我在Mac OS X上使用R 2.15.2.
第一种尝试方式
我正在尝试运行以导入CSV文件的脚本是这样的:
group4 <- read.csv("XXXX.csv", header=T)
但我不断收到此错误消息:
Error in read.table(file = file, header = header, sep = sep, quote = quote, : object 'XXXXXX.csv' not found
第二种方式尝试
我尝试移动我的工作目录但得到另一个错误,说我无法移动我的工作目录.所以我进入Preferences选项卡并将工作目录更改为包含我的CSV文件的文件.但我仍然得到同样的错误(第一种方式).
第三种尝试
然后我尝试了这个脚本:
group4 <- read.table(file.choose(), sep="\t", header=T)
我收到这个错误:
Warning message: In read.table(file.choose(), sep = "\t", header = T) : incomplete final line found by readTableHeader on '/Users/xxxxxx/Documents/Programming/R/xxxxxx/xxxxxx.csv'
我在R网站和整个互联网上搜索过,没有什么能让我将这个简单的CSV文件导入R控制台.