如何在没有第一列的情况下读取CSV

Question

我正在尝试读取如下所示的简单CSV文件,并将其内容放在2D数组中:

"","x","y","sim1","sim2","sim3","sim4","sim5","sim6","sim7","sim8","sim9","sim10","sim11","sim12"
"1",181180,333740,5.56588745117188,6.29487752914429,7.4835410118103,5.75873327255249,6.62183284759521,5.81478500366211,4.85671949386597,5.90418815612793,6.32611751556396,6.99649047851562,6.52076387405396,5.68944215774536
"2",181140,333700,6.36264753341675,6.5217604637146,6.16843748092651,5.55328798294067,7.00429201126099,6.43625402450562,6.17744159698486,6.72836923599243,6.38574266433716,6.81451606750488,6.68060827255249,6.14339065551758
"3",181180,333700,6.16541910171509,6.44704437255859,7.51744651794434,5.46270132064819,6.8890323638916,6.46842670440674,6.07698059082031,6.2140531539917,6.43774271011353,6.21923875808716,6.43355655670166,5.90692138671875

为此,我使用这个:

data = np.loadtxt("Data/sim.csv", delimiter=',', skiprows=1)

但我总是得到这样的信息:

"ValueError: could not convert string to float: "1"

我认为问题出在每一行的第一列.所以,我试图在没有第一列的情况下阅读它,但我无法弄清楚如何.

那么,我怎么能忽略第一列呢？有没有办法用第一列读取此文件？

Answer 1

您可以为任何列指定转换器.

converters = {0: lambda s: float(s.strip('"')}
data = np.loadtxt("Data/sim.csv", delimiter=',', skiprows=1, converters=converters)

或者,您可以指定要使用的列,例如:

data = np.loadtxt("Data/sim.csv", delimiter=',', skiprows=1, usecols=range(1,15))

http://docs.scipy.org/doc/numpy/reference/generated/numpy.loadtxt.html

在不知道列数的情况下,您可以跳过第一列的一种方法是手动读取csv中的列数.这很容易,虽然您可能需要偶尔调整一下以解决格式不一致*.

with open("Data/sim.csv") as f:
    ncols = len(f.readline().split(','))

data = np.loadtxt("Data/sim.csv", delimiter=',', skiprows=1, usecols=range(1,ncols+1))

*如果顶部有空行,则需要跳过它们.如果字段标题中可能有逗号,则应使用第一个数据行计算列.因此,如果您遇到特定问题,我可以添加一些细节以使代码更加健壮.

Answer 2

您可以使用pandas并将其作为DataFrame对象读取.如果您知道不需要的列,只需将.drop添加到加载行:

a = pandas.read_csv("Data/sim.csv",sep=",")
a = a.drop(a.columns[0], axis=1)

第一行将作为标题读取,但您可以在read_csv参数中添加skiprows = 1.Pandas DataFrames是numpy数组,因此,将列或矩阵转换为numpy数组非常简单.

Answer 3

import pandas

pandas_data = pandas.read_csv('filename', sep=",", header=0,index_col=0)