基准测试(python 与使用 BLAS 的 c + +)和(numpy)
我想写一个程序，使广泛使用 BLAS 和 LAPACK 线性代数功能。由于性能是一个问题，我做了一些基准测试，并想知道，如果我采取的方法是合法的。
I have, so to speak, three contestants and want to test their performance with a simple matrix-matrix multiplication. The contestants are:
- Numpy，仅使用
dot的功能。 - Python，通过共享对象调用 BLAS 功能。
- C + + ，通过共享对象调用 BLAS 功能。
场景
我为不同维度的 i实现了一个矩阵-矩阵乘法。i从5增加到500，矩阵 m1和 m2是这样设置的:
m1 = numpy.random.rand(i,i).astype(numpy.float32)
m2 = numpy.random.rand(i,i).astype(numpy.float32)
1. Numpy
使用的代码如下:
tNumpy = timeit.Timer("numpy.dot(m1, m2)", "import numpy; from __main__ import m1, m2")
rNumpy.append((i, tNumpy.repeat(20, 1)))
2. Python, calling BLAS through a shared object
用函数
_blaslib = ctypes.cdll.LoadLibrary("libblas.so")
def Mul(m1, m2, i, r):
no_trans = c_char("n")
n = c_int(i)
one = c_float(1.0)
zero = c_float(0.0)
_blaslib.sgemm_(byref(no_trans), byref(no_trans), byref(n), byref(n), byref(n),
byref(one), m1.ctypes.data_as(ctypes.c_void_p), byref(n),
m2.ctypes.data_as(ctypes.c_void_p), byref(n), byref(zero),
r.ctypes.data_as(ctypes.c_void_p), byref(n))
测试代码如下:
r = numpy.zeros((i,i), numpy.float32)
tBlas = timeit.Timer("Mul(m1, m2, i, r)", "import numpy; from __main__ import i, m1, m2, r, Mul")
rBlas.append((i, tBlas.repeat(20, 1)))
3. c + + ，通过共享对象调用 BLAS
现在 c + + 代码自然要长一些，因此我将信息减少到最少。
我用
void* handle = dlopen("libblas.so", RTLD_LAZY);
void* Func = dlsym(handle, "sgemm_");
我用 gettimeofday测量时间是这样的:
gettimeofday(&start, NULL);
f(&no_trans, &no_trans, &dim, &dim, &dim, &one, A, &dim, B, &dim, &zero, Return, &dim);
gettimeofday(&end, NULL);
dTimes[j] = CalcTime(start, end);
where j is a loop running 20 times. I calculate the time passed with
double CalcTime(timeval start, timeval end)
{
double factor = 1000000;
return (((double)end.tv_sec) * factor + ((double)end.tv_usec) - (((double)start.tv_sec) * factor + ((double)start.tv_usec))) / factor;
}
结果
结果如下图所示:
问题
- 你认为我的方法公平吗? 还是我可以避免一些不必要的管理费用？
- 您是否期望结果会显示 c + + 和 python 方法之间的如此巨大的差异？两者都使用共享对象进行计算。
- 因为我更愿意在程序中使用 python，那么在调用 BLAS 或 LAPACK 例程时，我能做些什么来提高性能呢？
下载
完整的基准可以下载 给你。(J.F. 塞巴斯蒂安使这个链接成为可能 ^ ^)
最佳答案