将numpy dtypes转换为本机python类型

小开

如何:

In [51]: dict([(d, type(np.zeros(1,d).tolist()[0])) for d in (np.float32,np.float64,np.uint32, np.int16)])
Out[51]:
{<type 'numpy.int16'>: <type 'int'>,
<type 'numpy.uint32'>: <type 'long'>,
<type 'numpy.float32'>: <type 'float'>,
<type 'numpy.float64'>: <type 'float'>}

小开

我认为你可以像这样写一般类型的转换函数:

import numpy as np


def get_type_convert(np_type):
convert_type = type(np.zeros(1,np_type).tolist()[0])
return (np_type, convert_type)


print get_type_convert(np.float32)
>> (<type 'numpy.float32'>, <type 'float'>)


print get_type_convert(np.float64)
>> (<type 'numpy.float64'>, <type 'float'>)

这意味着没有固定的列表，您的代码将扩展到更多类型。

小开

最佳答案

使用val.item()将大多数NumPy值转换为原生Python类型:

import numpy as np


# for example, numpy.float32 -> python float
val = np.float32(0)
pyval = val.item()
print(type(pyval))         # <class 'float'>


# and similar...
type(np.float64(0).item()) # <class 'float'>
type(np.uint32(0).item())  # <class 'int'>
type(np.int16(0).item())   # <class 'int'>
type(np.cfloat(0).item())  # <class 'complex'>
type(np.datetime64(0, 'D').item())  # <class 'datetime.date'>
type(np.datetime64('2001-01-01 00:00:00').item())  # <class 'datetime.datetime'>
type(np.timedelta64(0, 'D').item()) # <class 'datetime.timedelta'>
...

(另一个方法是np.asscalar(val)，但自NumPy 1.16以来已弃用)。

对于好奇的人来说，为你的系统构建一个NumPy数组标量的转换表:

for name in dir(np):
obj = getattr(np, name)
if hasattr(obj, 'dtype'):
try:
if 'time' in name:
npn = obj(0, 'D')
else:
npn = obj(0)
nat = npn.item()
print('{0} ({1!r}) -> {2}'.format(name, npn.dtype.char, type(nat)))
except:
pass

在一些系统中，有一些NumPy类型在Python中没有对应的原生类型，包括:clongdouble， clongfloat， complex192， complex256， float128， longcomplex， longdouble和longfloat。在使用.item()之前，需要将它们转换为最接近的NumPy等效值。

小开

我发现自己混合使用了numpy类型和标准python。因为所有numpy类型都派生自numpy.generic，下面是如何将所有类型转换为python标准类型的方法:

if isinstance(obj, numpy.generic):
return numpy.asscalar(obj)

小开

你也可以调用你想转换的对象的item()方法:

>>> from numpy import float32, uint32
>>> type(float32(0).item())
<type 'float'>
>>> type(uint32(0).item())
<type 'long'>

小开

numpy将该信息保存在一个暴露为typeDict的映射中，因此您可以执行如下操作:

>>> import __builtin__ as builtins  # if python2
>>> import builtins                 # if python3

然后::

>>> import numpy as np
>>> {v: k for k, v in np.typeDict.items() if k in dir(builtins)}
{numpy.object_: 'object',
numpy.bool_: 'bool',
numpy.string_: 'str',
numpy.unicode_: 'unicode',
numpy.int64: 'int',
numpy.float64: 'float',
numpy.complex128: 'complex'}

如果你想要实际的python类型，而不是它们的名称，你可以执行::

>>> {v: getattr(builtins, k) for k, v in np.typeDict.items() if k in vars(builtins)}
{numpy.object_: object,
numpy.bool_: bool,
numpy.string_: str,
numpy.unicode_: unicode,
numpy.int64: int,
numpy.float64: float,
numpy.complex128: complex}

小开

如果你想转换(numpy。数组或numpy标量或本机类型或numpy.darray)本机类型你可以简单地做:

converted_value = getattr(value, "tolist", lambda: value)()

Tolist会将标量或数组转换为python原生类型。默认的lambda函数处理值已经是本机的情况。

小开

tolist()是一种更通用的实现方法。它适用于任何基元dtype，也适用于数组或矩阵。

如果从基本类型调用I，实际上不会产生一个列表:

Numpy == 1.15.2

>>> import numpy as np


>>> np_float = np.float64(1.23)
>>> print(type(np_float), np_float)
<class 'numpy.float64'> 1.23


>>> listed_np_float = np_float.tolist()
>>> print(type(listed_np_float), listed_np_float)
<class 'float'> 1.23


>>> np_array = np.array([[1,2,3.], [4,5,6.]])
>>> print(type(np_array), np_array)
<class 'numpy.ndarray'> [[1. 2. 3.]
[4. 5. 6.]]


>>> listed_np_array = np_array.tolist()
>>> print(type(listed_np_array), listed_np_array)
<class 'list'> [[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]

小开

翻译整个ndarray而不是一个单位数据对象:

def trans(data):
"""
translate numpy.int/float into python native data type
"""
result = []
for i in data.index:
# i = data.index[0]
d0 = data.iloc[i].values
d = []
for j in d0:
if 'int' in str(type(j)):
res = j.item() if 'item' in dir(j) else j
elif 'float' in str(type(j)):
res = j.item() if 'item' in dir(j) else j
else:
res = j
d.append(res)
d = tuple(d)
result.append(d)
result = tuple(result)
return result

然而，当处理大数据帧时需要一些时间。我也在寻找一个更有效的解决方案。

小开

对不起，这部分来晚了，但我正在寻找一个仅将numpy.float64转换为常规Python float的问题。我看到了3种方法:

npValue.item()
npValue.astype(float)
float(npValue)

以下是IPython的相关计时:

In [1]: import numpy as np


In [2]: aa = np.random.uniform(0, 1, 1000000)


In [3]: %timeit map(float, aa)
10 loops, best of 3: 117 ms per loop


In [4]: %timeit map(lambda x: x.astype(float), aa)
1 loop, best of 3: 780 ms per loop


In [5]: %timeit map(lambda x: x.item(), aa)
1 loop, best of 3: 475 ms per loop

听起来float(npValue)似乎更快。

小开

我的方法有点强硬，但似乎适用于所有情况:

def type_np2py(dtype=None, arr=None):
'''Return the closest python type for a given numpy dtype'''


if ((dtype is None and arr is None) or
(dtype is not None and arr is not None)):
raise ValueError(
"Provide either keyword argument `dtype` or `arr`: a numpy dtype or a numpy array.")


if dtype is None:
dtype = arr.dtype


#1) Make a single-entry numpy array of the same dtype
#2) force the array into a python 'object' dtype
#3) the array entry should now be the closest python type
single_entry = np.empty([1], dtype=dtype).astype(object)


return type(single_entry[0])

用法:

>>> type_np2py(int)
<class 'int'>


>>> type_np2py(np.int)
<class 'int'>


>>> type_np2py(str)
<class 'str'>


>>> type_np2py(arr=np.array(['hello']))
<class 'str'>


>>> type_np2py(arr=np.array([1,2,3]))
<class 'int'>


>>> type_np2py(arr=np.array([1.,2.,3.]))
<class 'float'>

小开

对于那些不需要自动转换并且知道值的numpy dtype的人来说，关于数组标量的一个旁注:

数组标量不同于Python标量，但在大多数情况下，它们可以互换使用(主要的例外是针对v2以上的Python版本。X，其中整数数组标量不能作为列表和元组的索引)。也有一些例外，比如当代码需要一个标量的非常特定的属性时，或者当它专门检查一个值是否为Python标量时。通常，通过使用相应的Python类型函数(例如int、float、complex、str、unicode)显式地将数组标量转换为Python标量，问题很容易解决。

Source .

因此，在大多数情况下，可能根本不需要转换，可以直接使用数组标量。效果应该与使用Python scalar相同:

>>> np.issubdtype(np.int64, int)
True
>>> np.int64(0) == 0
True
>>> np.issubdtype(np.float64, float)
True
>>> np.float64(1.1) == 1.1
True

但是，如果出于某种原因，需要显式转换，则使用相应的Python内置函数是正确的方法。正如另一个答案所示，它也比数组标量item()方法更快。

小开

如果你有一个numpy类型的数组list_numpy_numbers，执行以下操作:

list_native_numbers = [i.item() for i in list_numpy_numbers]