熊猫 read_csv 和带有 usecols 的过滤器列

我有一个 csv 文件，当我使用 usecols过滤列并使用多个索引时，它没有正确地与 pandas.read_csv一起输入。

import pandas as pd
csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""


f = open('foo.csv', 'w')
f.write(csv)
f.close()


df1 = pd.read_csv('foo.csv',
header=0,
names=["dummy", "date", "loc", "x"],
index_col=["date", "loc"],
usecols=["dummy", "date", "loc", "x"],
parse_dates=["date"])
print df1


# Ignore the dummy columns
df2 = pd.read_csv('foo.csv',
index_col=["date", "loc"],
usecols=["date", "loc", "x"], # <----------- Changed
parse_dates=["date"],
header=0,
names=["dummy", "date", "loc", "x"])
print df2

我希望 df1和 df2应该是相同的，除了缺少虚拟列之外，但是列的标签有误。而且这个日期也被解析为一个日期。

In [118]: %run test.py
dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
date
date loc
a    1    20090101
3    20090102
5    20090103
b    1    20090101
3    20090102
5    20090103

使用列号而不是名称给我带来了同样的问题。我可以通过在 read _ csv 步骤之后删除虚拟列来解决这个问题，但是我试图理解出了什么问题。我用的是熊猫0.10.1。

编辑: 修正错误的头部使用。

323979 次浏览
小开

这个代码实现了你想要的——-也是它奇怪的，当然还有 bug:

我观察到，当:

A)您指定的 index_col环。到实际使用的列数——所以在这个示例中是三列，而不是四列(您删除 dummy并从那时开始计数)

B) parse_dates的情况相同

C)基于显而易见的理由，usecols并非如此

D)在这里，我改编了 names来反映这种行为

import pandas as pd
from StringIO import StringIO


csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""


df = pd.read_csv(StringIO(csv),
index_col=[0,1],
usecols=[1,2,3],
parse_dates=[0],
header=0,
names=["date", "loc", "", "x"])


print df

印刷品

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
小开

如果您的 csv 文件包含额外的数据，那么在导入之后，列可以是来自 DataFrame 的 删除。

import pandas as pd
from StringIO import StringIO


csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""


df = pd.read_csv(StringIO(csv),
index_col=["date", "loc"],
usecols=["dummy", "date", "loc", "x"],
parse_dates=["date"],
header=0,
names=["dummy", "date", "loc", "x"])
del df['dummy']

这就给了我们:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
小开
最佳答案

解决办法在于理解这两个关键字参数:

  • Name 只有在您的文件中没有头行并且您希望使用列名而不是整数索引指定其他参数(例如 usecols)时才是必需的。
  • Usecols 应该在将整个 DataFrame 读入内存之前提供一个过滤器; 如果使用得当，在读取之后应该永远不需要删除列。

So because you have a header row, passing header=0 is sufficient and additionally passing names appears to be confusing pd.read_csv.

从第二个调用中删除 names可以得到所需的输出:

import pandas as pd
from StringIO import StringIO


csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""


df = pd.read_csv(StringIO(csv),
header=0,
index_col=["date", "loc"],
usecols=["date", "loc", "x"],
parse_dates=["date"])

这就给了我们:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
小开

只需添加 index_col=False参数即可

df1 = pd.read_csv('foo.csv',
header=0,
index_col=False,
names=["dummy", "date", "loc", "x"],
usecols=["dummy", "date", "loc", "x"],
parse_dates=["date"])
print df1

提交答案