从熊猫数据帧列或行获取列表?

我有一个数据帧df从一个Excel文档导入，像这样:

cluster load_date   budget  actual  fixed_price
A   1/1/2014    1000    4000    Y
A   2/1/2014    12000   10000   Y
A   3/1/2014    36000   2000    Y
B   4/1/2014    15000   10000   N
B   4/1/2014    12000   11500   N
B   4/1/2014    90000   11000   N
C   7/1/2014    22000   18000   N
C   8/1/2014    30000   28960   N
C   9/1/2014    53000   51200   N

我希望能够返回列1 df['cluster']的内容作为列表，这样我就可以对它运行for循环，并为每个集群创建一个Excel工作表。

是否也可以将整个列或行的内容返回到列表中?如。

list = [], list[column1] or list[df.ix(row1)]
1574608 次浏览
小开
最佳答案

当你将Pandas DataFrame列取出时，它们是Pandas Series，然后你可以调用x.tolist()将它们转换为Python列表。或者使用list(x)强制转换。

import pandas as pd


data_dict = {'one': pd.Series([1, 2, 3], index=['a', 'b', 'c']),
'two': pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}


df = pd.DataFrame(data_dict)


print(f"DataFrame:\n{df}\n")
print(f"column types:\n{df.dtypes}")


col_one_list = df['one'].tolist()


col_one_arr = df['one'].to_numpy()


print(f"\ncol_one_list:\n{col_one_list}\ntype:{type(col_one_list)}")
print(f"\ncol_one_arr:\n{col_one_arr}\ntype:{type(col_one_arr)}")

输出:

DataFrame:
one  two
a  1.0    1
b  2.0    2
c  3.0    3
d  NaN    4


column types:
one    float64
two      int64
dtype: object


col_one_list:
[1.0, 2.0, 3.0, nan]
type:<class 'list'>


col_one_arr:
[ 1.  2.  3. nan]
type:<class 'numpy.ndarray'>
小开

返回一个numpy数组:

arr = df["cluster"].to_numpy()

返回独特的值的numpy数组:

unique_arr = df["cluster"].unique()

你也可以使用numpy来获取唯一的值，尽管这两种方法之间存在差异:

arr = df["cluster"].to_numpy()
unique_arr = np.unique(arr)
小开

转换示例:

Numpy Array ->熊猫数据帧->从一个熊猫专栏列表

Numpy数组

data = np.array([[10,20,30], [20,30,60], [30,60,90]])

将numpy数组转换为Panda数据帧

dataPd = pd.DataFrame(data = data)
    

print(dataPd)
0   1   2
0  10  20  30
1  20  30  60
2  30  60  90

将一个Panda列转换为列表

pdToList = list(dataPd['2'])

小开

假设读取excel表格后的数据帧名称为df，取一个空列表(例如dataList)，逐行遍历数据帧，并像-一样添加到空列表中

dataList = [] #empty list
for index, row in df.iterrows():
mylist = [row.cluster, row.load_date, row.budget, row.actual, row.fixed_price]
dataList.append(mylist)

或者,

dataList = [] #empty list
for row in df.itertuples():
mylist = [row.cluster, row.load_date, row.budget, row.actual, row.fixed_price]
dataList.append(mylist)

不，如果你打印dataList，你将得到每一行作为dataList中的列表。

小开

鉴于这个问题受到了广泛关注，而完成你的任务有几种方法，让我介绍几种选择。

顺便说一下，这些都是单行程序;)

开始:

df
cluster load_date budget actual fixed_price
0       A  1/1/2014   1000   4000           Y
1       A  2/1/2014  12000  10000           Y
2       A  3/1/2014  36000   2000           Y
3       B  4/1/2014  15000  10000           N
4       B  4/1/2014  12000  11500           N
5       B  4/1/2014  90000  11000           N
6       C  7/1/2014  22000  18000           N
7       C  8/1/2014  30000  28960           N
8       C  9/1/2014  53000  51200           N

潜在操作概述:

ser_aggCol (collapse each column to a list)
cluster          [A, A, A, B, B, B, C, C, C]
load_date      [1/1/2014, 2/1/2014, 3/1/2...
budget         [1000, 12000, 36000, 15000...
actual         [4000, 10000, 2000, 10000,...
fixed_price      [Y, Y, Y, N, N, N, N, N, N]
dtype: object




ser_aggRows (collapse each row to a list)
0     [A, 1/1/2014, 1000, 4000, Y]
1    [A, 2/1/2014, 12000, 10000...
2    [A, 3/1/2014, 36000, 2000, Y]
3    [B, 4/1/2014, 15000, 10000...
4    [B, 4/1/2014, 12000, 11500...
5    [B, 4/1/2014, 90000, 11000...
6    [C, 7/1/2014, 22000, 18000...
7    [C, 8/1/2014, 30000, 28960...
8    [C, 9/1/2014, 53000, 51200...
dtype: object




df_gr (here you get lists for each cluster)
load_date                 budget                 actual fixed_price
cluster
A        [1/1/2014, 2/1/2014, 3/1/2...   [1000, 12000, 36000]    [4000, 10000, 2000]   [Y, Y, Y]
B        [4/1/2014, 4/1/2014, 4/1/2...  [15000, 12000, 90000]  [10000, 11500, 11000]   [N, N, N]
C        [7/1/2014, 8/1/2014, 9/1/2...  [22000, 30000, 53000]  [18000, 28960, 51200]   [N, N, N]




a list of separate dataframes for each cluster


df for cluster A
cluster load_date budget actual fixed_price
0       A  1/1/2014   1000   4000           Y
1       A  2/1/2014  12000  10000           Y
2       A  3/1/2014  36000   2000           Y


df for cluster B
cluster load_date budget actual fixed_price
3       B  4/1/2014  15000  10000           N
4       B  4/1/2014  12000  11500           N
5       B  4/1/2014  90000  11000           N


df for cluster C
cluster load_date budget actual fixed_price
6       C  7/1/2014  22000  18000           N
7       C  8/1/2014  30000  28960           N
8       C  9/1/2014  53000  51200           N


just the values of column load_date
0    1/1/2014
1    2/1/2014
2    3/1/2014
3    4/1/2014
4    4/1/2014
5    4/1/2014
6    7/1/2014
7    8/1/2014
8    9/1/2014
Name: load_date, dtype: object




just the values of column number 2
0     1000
1    12000
2    36000
3    15000
4    12000
5    90000
6    22000
7    30000
8    53000
Name: budget, dtype: object




just the values of row number 7
cluster               C
load_date      8/1/2014
budget            30000
actual            28960
fixed_price           N
Name: 7, dtype: object




============================== JUST FOR COMPLETENESS ==============================




you can convert a series to a list
['C', '8/1/2014', '30000', '28960', 'N']
<class 'list'>




you can convert a dataframe to a nested list
[['A', '1/1/2014', '1000', '4000', 'Y'], ['A', '2/1/2014', '12000', '10000', 'Y'], ['A', '3/1/2014', '36000', '2000', 'Y'], ['B', '4/1/2014', '15000', '10000', 'N'], ['B', '4/1/2014', '12000', '11500', 'N'], ['B', '4/1/2014', '90000', '11000', 'N'], ['C', '7/1/2014', '22000', '18000', 'N'], ['C', '8/1/2014', '30000', '28960', 'N'], ['C', '9/1/2014', '53000', '51200', 'N']]
<class 'list'>


the content of a dataframe can be accessed as a numpy.ndarray
[['A' '1/1/2014' '1000' '4000' 'Y']
['A' '2/1/2014' '12000' '10000' 'Y']
['A' '3/1/2014' '36000' '2000' 'Y']
['B' '4/1/2014' '15000' '10000' 'N']
['B' '4/1/2014' '12000' '11500' 'N']
['B' '4/1/2014' '90000' '11000' 'N']
['C' '7/1/2014' '22000' '18000' 'N']
['C' '8/1/2014' '30000' '28960' 'N']
['C' '9/1/2014' '53000' '51200' 'N']]
<class 'numpy.ndarray'>

代码:

# prefix ser refers to pd.Series object
# prefix df refers to pd.DataFrame object
# prefix lst refers to list object


import pandas as pd
import numpy as np


df=pd.DataFrame([
['A',   '1/1/2014',    '1000',    '4000',    'Y'],
['A',   '2/1/2014',    '12000',   '10000',   'Y'],
['A',   '3/1/2014',    '36000',   '2000',    'Y'],
['B',   '4/1/2014',    '15000',   '10000',   'N'],
['B',   '4/1/2014',    '12000',   '11500',   'N'],
['B',   '4/1/2014',    '90000',   '11000',   'N'],
['C',   '7/1/2014',    '22000',   '18000',   'N'],
['C',   '8/1/2014',    '30000',   '28960',   'N'],
['C',   '9/1/2014',    '53000',   '51200',   'N']
], columns=['cluster', 'load_date',   'budget',  'actual',  'fixed_price'])
print('df',df, sep='\n', end='\n\n')


ser_aggCol=df.aggregate(lambda x: [x.tolist()], axis=0).map(lambda x:x[0])
print('ser_aggCol (collapse each column to a list)',ser_aggCol, sep='\n', end='\n\n\n')


ser_aggRows=pd.Series(df.values.tolist())
print('ser_aggRows (collapse each row to a list)',ser_aggRows, sep='\n', end='\n\n\n')


df_gr=df.groupby('cluster').agg(lambda x: list(x))
print('df_gr (here you get lists for each cluster)',df_gr, sep='\n', end='\n\n\n')


lst_dfFiltGr=[ df.loc[df['cluster']==val,:] for val in df['cluster'].unique() ]
print('a list of separate dataframes for each cluster', sep='\n', end='\n\n')
for dfTmp in lst_dfFiltGr:
print('df for cluster '+str(dfTmp.loc[dfTmp.index[0],'cluster']),dfTmp, sep='\n', end='\n\n')


ser_singleColLD=df.loc[:,'load_date']
print('just the values of column load_date',ser_singleColLD, sep='\n', end='\n\n\n')


ser_singleCol2=df.iloc[:,2]
print('just the values of column number 2',ser_singleCol2, sep='\n', end='\n\n\n')


ser_singleRow7=df.iloc[7,:]
print('just the values of row number 7',ser_singleRow7, sep='\n', end='\n\n\n')


print('='*30+' JUST FOR COMPLETENESS '+'='*30, end='\n\n\n')


lst_fromSer=ser_singleRow7.tolist()
print('you can convert a series to a list',lst_fromSer, type(lst_fromSer), sep='\n', end='\n\n\n')


lst_fromDf=df.values.tolist()
print('you can convert a dataframe to a nested list',lst_fromDf, type(lst_fromDf), sep='\n', end='\n\n')


arr_fromDf=df.values
print('the content of a dataframe can be accessed as a numpy.ndarray',arr_fromDf, type(arr_fromDf), sep='\n', end='\n\n')

正如cs95所指出的，在在这里看到的上的pandas版本0.24中，其他方法应该优先于pandas .values属性。我在这里使用它，因为大多数人(到2019年)仍然使用旧版本，不支持新的建议。你可以用print(pd.__version__)检查你的版本

小开 
 amount = list()
for col in df.columns:
val = list(df[col])
for v in val:
amount.append(v)
小开

如果你的列只有一个值，像pd.series.tolist()这样的东西会产生一个错误。为了保证它在所有情况下都能工作，请使用下面的代码:

(
df
.filter(['column_name'])
.values
.reshape(1, -1)
.ravel()
.tolist()
)
小开

如果你执行df.T.values.tolist()，它会生成列值列表的列表。

小开

下面是简单的一行代码:

list(df['load_date'])

更新: toList()不起作用。它应该是小写的。tolist()

小开

TL;DR:使用.tolist()。不要使用list()

如果我们看一下.tolist()的源代码，在底层，list()函数是在数据框架中的底层数据上调用的，所以两者应该产生相同的输出。

然而，tolist()似乎针对Python标量列进行了优化，因为我发现在列上调用list()比调用tolist()慢10倍。为了记录，我试图将一个非常大的dataframe中的json字符串列转换为一个列表，而list()正在花费它的甜蜜时间。这启发了我去测试这两个方法的运行时。

供参考，不需要调用.to_numpy()或获取.values属性，因为数据帧列/系列对象已经实现了.tolist()方法。此外，由于numpy数组的存储方式，list()和tolist()将为数值列提供不同类型的标量(至少)。例如,

type(list(df['budget'].values)[0])     # numpy.int64
type(df['budget'].values.tolist()[0])  # int

下面的perfplot显示了这两种方法在不同pandas dtype Series对象上的运行时差异。基本上，它显示了以下两个方法之间的运行时差异:

list(df['some_col'])      # list()
df['some_col'].tolist()   # .tolist()

如你所见，无论列/Series的大小，对于数值和对象dtype列/Series， .tolist()方法比list()方法快得多。这里没有包括float和bool dtype列的图，但它与这里显示的int dtype列的图非常相似。另外，包含列表的对象dtype列的图与这里显示的字符串列的图非常相似。扩展类型，如'Int64Dtype'， 'StringDtype'， 'Float64Dtype'等也显示了类似的模式。

另一方面，对于datetime， timedelta和Categorical dtype列，这两种方法实际上没有区别。

perfplot

用于生成上述图表的代码:

from perfplot import plot
kernels = [lambda s: list(s), lambda s: s.tolist()]
labels = ['list()', '.tolist()']
n_range = [2**k for k in range(4, 20)]
xlabel = 'Rows in DataFrame'
eq_chk = lambda x,y: all([x,y])


numeric = lambda n: pd.Series(range(5)).repeat(n)
string = lambda n: pd.Series(['some word', 'another word', 'a word']).repeat(n)
datetime = lambda n: pd.to_datetime(pd.Series(['2012-05-14', '2046-12-31'])).repeat(n)
timedelta = lambda n: pd.to_timedelta(pd.Series([1,2]), unit='D').repeat(n)
categorical = lambda n: pd.Series(pd.Categorical([1, 2, 3, 1, 2, 3])).repeat(n)


for n, f in [('Numeric', numeric), ('Object dtype', string),
('Datetime', datetime), ('Timedelta', timedelta),
('Categorical', categorical)]:
plot(setup=f, kernels=kernels, labels=labels, n_range=n_range,
xlabel=xlabel, title=f'{n} column', equality_check=eq_chk);
小开

如果你想使用索引而不是列名(例如在循环中)，你可以使用

for i in range(len(df.columns)):
print(df[df.columns[i]].to_list())

提交答案