TensorFlow: InternalError: Blas SGEMM 启动失败

小开

我在运行 Tensorflow 分布式时出现了这个错误。你有没有检查是否有工人报告 CUDA _ OUT _ OF _ MEMORY 错误？如果是这种情况，它可能与你把你的权重和偏见变量。例如。

with tf.device("/job:paramserver/task:0/cpu:0"):
W = weight_variable([input_units, num_hidden_units])
b = bias_variable([num_hidden_units])

小开

最佳答案

老问题，但可以帮助别人。
尝试关闭其他进程中的活动交互会话(如果是 IPython Notebook-只需重启内核) 此外，在实验期间，我使用这段代码关闭这个内核中的本地会话:

if 'session' in locals() and session is not None:
print('Close interactive session')
session.close()

小开

我的环境是 Python 3.5、 Tensorflow 0.12和 Windows 10(没有 Docker)。我正在用 CPU 和 GPU 训练神经网络。每次在 GPU 中训练时，我都会遇到相同的 InternalError: Blas SGEMM launch failed错误。

我不能找到这个错误发生的原因，但我设法运行我的代码在图形处理器通过避免张量流函数 tensorflow.contrib.slim.one_hot_encoding()。相反，我在 numpy (输入和输出变量)中执行一次热编码操作。

下面的代码重新生成错误和修复。这是一个最小的设置来学习使用梯度下降法的 y = x ** 2函数。

import numpy as np
import tensorflow as tf
import tensorflow.contrib.slim as slim


def test_one_hot_encoding_using_tf():


# This function raises the "InternalError: Blas SGEMM launch failed" when run in the GPU


# Initialize
tf.reset_default_graph()
input_size = 10
output_size = 100
input_holder = tf.placeholder(shape=[1], dtype=tf.int32, name='input')
output_holder = tf.placeholder(shape=[1], dtype=tf.int32, name='output')


# Define network
input_oh = slim.one_hot_encoding(input_holder, input_size)
output_oh = slim.one_hot_encoding(output_holder, output_size)
W1 = tf.Variable(tf.random_uniform([input_size, output_size], 0, 0.01))
output_v = tf.matmul(input_oh, W1)
output_v = tf.reshape(output_v, [-1])


# Define updates
loss = tf.reduce_sum(tf.square(output_oh - output_v))
trainer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
update_model = trainer.minimize(loss)


# Optimize
init = tf.initialize_all_variables()
steps = 1000


# Force CPU/GPU
config = tf.ConfigProto(
# device_count={'GPU': 0}  # uncomment this line to force CPU
)


# Launch the tensorflow graph
with tf.Session(config=config) as sess:
sess.run(init)


for step_i in range(steps):


# Get sample
x = np.random.randint(0, 10)
y = np.power(x, 2).astype('int32')


# Update
_, l = sess.run([update_model, loss], feed_dict={input_holder: [x], output_holder: [y]})


# Check model
print('Final loss: %f' % l)


def test_one_hot_encoding_no_tf():


# This function does not raise the "InternalError: Blas SGEMM launch failed" when run in the GPU


def oh_encoding(label, num_classes):
return np.identity(num_classes)[label:label + 1].astype('int32')


# Initialize
tf.reset_default_graph()
input_size = 10
output_size = 100
input_holder = tf.placeholder(shape=[1, input_size], dtype=tf.float32, name='input')
output_holder = tf.placeholder(shape=[1, output_size], dtype=tf.float32, name='output')


# Define network
W1 = tf.Variable(tf.random_uniform([input_size, output_size], 0, 0.01))
output_v = tf.matmul(input_holder, W1)
output_v = tf.reshape(output_v, [-1])


# Define updates
loss = tf.reduce_sum(tf.square(output_holder - output_v))
trainer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
update_model = trainer.minimize(loss)


# Optimize
init = tf.initialize_all_variables()
steps = 1000


# Force CPU/GPU
config = tf.ConfigProto(
# device_count={'GPU': 0}  # uncomment this line to force CPU
)


# Launch the tensorflow graph
with tf.Session(config=config) as sess:
sess.run(init)


for step_i in range(steps):


# Get sample
x = np.random.randint(0, 10)
y = np.power(x, 2).astype('int32')


# One hot encoding
x = oh_encoding(x, 10)
y = oh_encoding(y, 100)


# Update
_, l = sess.run([update_model, loss], feed_dict={input_holder: x, output_holder: y})


# Check model
print('Final loss: %f' % l)

小开

我遇到了这个问题，并通过设置 allow_soft_placement=True和 gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)来解决它，它们专门定义了 GPU 使用的内存比例。我想这有助于避免两个张量流进程竞争 GPU 内存。

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)
sess = tf.Session(config=tf.ConfigProto(
allow_soft_placement=True, log_device_placement=True))

小开

也许你没有正确地释放你的 GPU，如果你正在使用 linux，试试“ ps-ef | grep python”看看有什么工作正在使用 GPU。然后杀了他们

小开

在我的例子中，libcublas.so所在的网络文件系统就这样死掉了。节点已经重启，一切正常。只需向数据集添加另一个点即可。

小开

在我的例子中，我打开了2个 python 控制台，它们都使用 keras/tensorflow。当我关闭旧的控制台(忘记了前一天) , 一切开始正常运转。

因此，如果没有多个控制台/进程占用 GPU，那么最好进行检查。

小开

我关闭了所有其他运行的木星会话，这解决了问题。我认为这是 GPU 内存问题。

小开

我在与 pytest-xdist 并行运行 KerasCuDNN 测试时遇到了这个错误。

小开

对我来说，我得到这个错误时，使用 Kera，和 Tensorflow 是后端。这是因为阿纳康达的深度学习环境没有被正确地激活，结果，Tensorflow 也没有正确地发挥作用。自从上次我激活我的深度学习环境(称为 dl)以来，我就注意到了这一点，我的蟒蛇提示符的提示变成了这样:

(dl) C:\Users\georg\Anaconda3\envs\dl\etc\conda\activate.d>set "KERAS_BACKEND=tensorflow"

在那之前它只有 dl。因此，为了消除上述错误，我多次关闭了我的木星笔记本和蟒蛇提示符，然后重新启动。

小开

我最近将操作系统改为 视窗10后遇到了这个错误，而且以前在使用 Windows 7时从未遇到过这个错误。

当另一个 GPU 程序正在运行时，如果我加载我的 GPU Tensorflow 模型，就会发生错误; 这是我的 JCuda 模型作为套接字服务器加载，它并不大。如果我关闭我的其他 GPU 程序，这个 Tensorflow 模型可以非常成功地加载。

这个 JCuda 程序一点也不大，只有大约70M，相比之下，这个 Tensorflow 模型超过500M，而且要大得多。但是我用的是1080ti，它有很多内存。因此，这可能不是一个内存不足的问题，而是 Tensorflow 内部关于操作系统或 Cuda 的一些棘手问题。(附注: 我使用的是 Cuda 8.0.44版本，还没有下载更新的版本。)

小开

重新启动我的木星进程是不够的; 我必须重新启动我的电脑。

小开

对我来说，当我尝试运行多个张量流进程(例如2)并且它们都需要访问 GPU 资源时，我遇到了这个问题。

一个简单的解决方案是确保一次只有一个张量流程在运行。

有关详细信息，请参阅给你。

明确地说，张量流将尝试(默认情况下)消耗所有可用的图形处理器。它不能运行与其他程序也活跃。关闭。感觉如果这是另一个问题，我们可以重新开放。

小开

对我来说,

首先，我要跑

Conda 干净利落

清理 tarball 和未使用的包。

然后，我重新启动 IDE (在本例中是 Pycharm) ，它运行良好。环境: 蟒蛇3.6，Windows 1064位。我通过水蟒网站上提供的命令安装 tensorflow-gpu。

小开

对我来说，在不同的服务器上打开 Jupiter 笔记本就足够了。

这个错误只有在我尝试在同一个服务器上使用多个 tensorflow/keras 模型时才会发生。无论是打开一个笔记本，执行它，还是关闭并尝试打开另一个笔记本。如果它们被装载在同一个木星服务器上，错误总是会发生。

小开

2.0兼容答案 : 为了社区的利益，为 erko 的答案提供2.0代码。

session = tf.compat.v1.Session()


if 'session' in locals() and session is not None:
print('Close interactive session')
session.close()