使用 scypy/numpy 在 python 中分类数据

有没有一种更有效的方法可以在预先指定的箱子中取一个数组的平均值？例如，我有一个数字数组和一个数组对应于该数组中的 bin 开始和结束位置，我想只取这些 bin 中的平均值？我有代码，做到这一点下面，但我想知道如何可以削减和改进。谢谢。

from scipy import *
from numpy import *


def get_bin_mean(a, b_start, b_end):
ind_upper = nonzero(a >= b_start)[0]
a_upper = a[ind_upper]
a_range = a_upper[nonzero(a_upper < b_end)[0]]
mean_val = mean(a_range)
return mean_val




data = rand(100)
bins = linspace(0, 1, 10)
binned_data = []


n = 0
for n in range(0, len(bins)-1):
b_start = bins[n]
b_end = bins[n+1]
binned_data.append(get_bin_mean(data, b_start, b_end))


print binned_data
235911 次浏览
小开
最佳答案

使用 numpy.digitize()可能更快更容易:

import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]

另一种方法是使用 numpy.histogram():

bin_means = (numpy.histogram(data, bins, weights=data)[0] /
numpy.histogram(data, bins)[0])

你自己试试哪个更快... :)

小开

不知道为什么这条线会坏掉，但这里有一个2014年通过的答案，应该会快得多:

import numpy as np


data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)


mean = np.add.reduceat(data, slices[:-1]) / counts
print mean
小开

Sciy (> = 0.11)函数 Binned _ statistics专门解决了上述问题。

对于与前面的答案相同的示例，Scipy 解决方案将是

import numpy as np
from scipy.stats import binned_statistic


data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]
小开

Numpy _ indexed包(免责声明: 我是其作者)包含有效执行此类操作的功能:

import numpy_indexed as npi
print(npi.group_by(np.digitize(data, bins)).mean(data))

这与我之前发布的解决方案基本相同; 但现在包装在一个漂亮的界面中，包含测试和所有内容:)

小开

我要补充一点，也是为了回答这个问题 使用直方图2d python 查找平均 bin 值，这本书也有一个专门为 计算一组或多组数据的二维分类统计量设计的功能

import numpy as np
from scipy.stats import binned_statistic_2d


x = np.random.rand(100)
y = np.random.rand(100)
values = np.random.rand(100)
bin_means = binned_statistic_2d(x, y, values, bins=10).statistic

函数 Binned _ statistical _ dd是这个函数在高维数据集中的推广

小开

另一种方法是使用 ufun.at。 我们可以使用搜索排序方法得到每个数据点的 bin 位置。 然后，我们可以使用 at 将 bin _ index 给出的索引处的直方图位置增加1，每次遇到 bin _ index 处的索引时。

np.random.seed(1)
data = np.random.random(100) * 100
bins = np.linspace(0, 100, 10)


histogram = np.zeros_like(bins)


bin_indexes = np.searchsorted(bins, data)
np.add.at(histogram, bin_indexes, 1)

提交答案