随机行选择在熊猫数据框架

在Pandas中有方法从数据帧中随机选择行吗?

在R中,使用car包,有一个有用的函数some(x, n),它类似于head,但在本例中,从x中随机选择10行。

我也看了切片文档,似乎没有什么等价的。

更新

现在使用版本20。这里有一个示例方法。

df.sample(n)
162980 次浏览

像这样的东西?

import random


def some(x, n):
return x.ix[random.sample(x.index, n)]

注意:从Pandas v0.20.0开始,使用ix 已弃用代替loc进行基于标签的索引。

实际上,这将给你重复的索引np.random.random_integers(0, len(df), N),其中N是一个很大的数字。

最好的方法是用随机模块中的样本函数,

import numpy as np
import pandas as pd
from random import sample


# given data frame df


# create random index
rindex =  np.array(sample(xrange(len(df)), 10))


# get 10 random rows from df
dfr = df.ix[rindex]

熊猫版本0.16.1及以上,现在有一个DataFrame.sample 内置的方法:

import pandas


df = pandas.DataFrame(pandas.np.random.random(100))


# Randomly sample 70% of your dataframe
df_percent = df.sample(frac=0.7)


# Randomly sample 7 elements from your dataframe
df_elements = df.sample(n=7)

对于上面的任何一种方法,你都可以通过这样做来获得其余的行:

df_rest = df.loc[~df.index.isin(df_percent.index)]

根据Pedram的注释,如果你想获得可重复的样本,传递random_state参数。

df_percent = df.sample(frac=0.7, random_state=42)

下面的行将从数据帧df中随机选择n个现有的行号,而不进行替换。

df = df.take(np.random.permutation(len(df))[:n])

sample

从v0.20.0开始,你可以使用pd.DataFrame.sample,它可以用来返回固定数量的行或百分比的行的随机样本:

df = df.sample(n=k)     # k rows
df = df.sample(frac=k)  # int(len(df.index) * k) rows

为了重现性,你可以指定一个整数random_state,相当于使用np.ramdom.seed。因此,除了设置,例如np.random.seed = 0,你可以:

df = df.sample(n=k, random_state=0)