Linux中每个进程的最大线程数?

Linux下一个进程可以创建的最大线程数是多少?

如何(如果可能的话)修改这个值?

486019 次浏览
小开

要检索它:

cat /proc/sys/kernel/threads-max

设置方法:

echo 123456789 | sudo tee -a /proc/sys/kernel/threads-max

123456789 = #线程

小开
最佳答案

Linux对每个进程没有单独的线程限制，只是对系统上进程总数的限制(线程本质上只是在Linux上具有共享地址空间的进程)，您可以像这样查看:

cat /proc/sys/kernel/threads-max

默认为内存页数/4。你可以这样增加:

echo 100000 > /proc/sys/kernel/threads-max

单个用户可以创建的进程(以及线程)数量也有限制，有关这些限制的详细信息，请参阅ulimit/getrlimit。

小开

在实际应用中，限制通常由堆栈空间决定。如果每个线程获得1MB的堆栈(我不记得这是否是Linux上的默认值)，那么32位系统将在3000个线程后耗尽地址空间(假设最后gb留给内核)。

但是，如果使用几十个以上的线程，您很可能会遇到糟糕的性能。迟早，您会得到太多的上下文切换开销、调度程序开销等等。(创建大量线程只会消耗大量内存。但是许多实际工作的线程会减慢你的速度，因为它们正在争夺可用的CPU时间)

你在做什么，这个极限甚至是相关的?

小开

也许这并不重要。将算法设计为使用固定数量的线程(例如，如果有4或8个处理器，则使用4或8个线程)，将获得更好的性能。您可以使用工作队列、异步IO或类似libevent的东西来实现这一点。

小开
< p > nbio使用 非阻塞i / o 如果你需要更多的线程来做I/O调用block

小开

说LINUX没有每个进程单独的线程限制是错误的。

Linux间接实现了每个进程最大线程数!!

number of threads = total virtual memory / (stack size*1024*1024)

因此，可以通过增加总虚拟内存或减小堆栈大小来增加每个进程的线程数。但是，当最大虚拟内存等于交换内存时，过多地减小堆栈大小会导致代码失败，因为堆栈溢出。

检查你的机器:

总虚拟内存:ulimit -v(默认是无限的，因此你需要增加交换内存来增加它)

总堆栈大小:ulimit -s(默认为8Mb)

命令来增加这些值。

ulimit -s newvalue


ulimit -v newvalue

*将新值替换为您想要放置的限制值。

引用:

http://dustycodes.wordpress.com/2012/02/09/increasing-number-of-threads-per-process/

小开

取决于您的系统，只需编写一个示例程序[通过在循环中创建进程]，并使用ps axo pid,ppid,rss,vsz,nlwp,cmd检查。当它不能再创建线程时，检查nlwp计数[nlwp是线程数]，瞧，你得到了你的傻瓜证明的答案，而不是通过书籍

小开

@dragosrsupercool

Linux不使用虚拟内存来计算线程的最大值，而是使用安装在系统上的物理ram

 max_threads = totalram_pages / (8 * 8192 / 4096);

http://kavassalis.com/2011/03/linux-and-the-maximum-number-of-processes-threads/

内核/ fork.c

/* The default maximum number of threads is set to a safe
* value: the thread structures can take up at most half
* of memory.
*/
max_threads = mempages / (8 * THREAD_SIZE / PAGE_SIZE);

所以thread max在每个系统之间是不同的，因为安装的ram可以来自不同的大小，我知道Linux不需要增加虚拟内存，因为在32位上我们有3 GB的用户空间和1 GB的内核，在64位上我们有128 TB的虚拟内存，这发生在Solaris上，如果你想增加虚拟内存，你需要增加交换空间。

小开

线程数限制:

$ cat /proc/sys/kernel/threads-max

计算方法:

max_threads = mempages / (8 * THREAD_SIZE / PAGE_SIZE);
< p >: x86_64页大小(PAGE_SIZE)为4K; 像所有其他体系结构一样，x86_64为每个活动线程都有一个内核堆栈。这些线程栈是THREAD_SIZE (2*PAGE_SIZE)大;

备忘录:

cat /proc/zoneinfo | grep spanned | awk '{totalpages=totalpages+$2} END {print totalpages}';

所以实际上这个数字与线程内存堆栈大小的限制无关(ulimit -s)。

注:线程内存堆栈限制是10M在我的rhel虚拟机，1.5G内存，这个虚拟机只能提供150个线程?

小开

linux上合适的100k线程:

ulimit -s  256
ulimit -i  120000
echo 120000 > /proc/sys/kernel/threads-max
echo 600000 > /proc/sys/vm/max_map_count
echo 200000 > /proc/sys/kernel/pid_max


./100k-pthread-create-app

来自@Thomas的2018年更新，关于systemd系统:

/etc/systemd/logind.conf: UserTasksMax=100000
小开

我们可以看到linux中下面文件中定义的最大线程数

猫/proc/sys/kernel/threads-max

(或)

Sysctl -a | grep threads-max

小开

要永久地固定，

vim /etc/sysctl.conf

并添加

kernel.threads-max = "value"
小开

对于现在看到这个的人来说，在systemd系统上(在我的情况下，特别是Ubuntu 16.04)，还有另一个由cgroup pid强制执行的限制。max参数。

默认设置为12288，可以在/etc/systemd/logind.conf中覆盖

其他建议仍然适用，包括pids_max、threads-max、max_maps_count、ulimits等。

小开

使用ulimit检查每个线程的堆栈大小，在我的情况下Redhat Linux 2.6:

    ulimit -a
...
stack size              (kbytes, -s) 10240

你的每个线程将得到这个数量的内存(10MB)分配给它的堆栈。一个32位的程序，最大地址空间为4GB，最大只有4096MB / 10MB = 409个线程!!减去程序代码，减去堆空间可能会导致观察到的最大值。300个线程。

您应该能够通过在64bit上编译和运行或设置ulimit -s 8192甚至ulimit -s 4096来引发这个问题。但如果这是明智的是另一个讨论…

小开

可以通过以下命令查看当前值- 猫/proc/sys/kernel/threads-max < / p >

您还可以像这样设置值

Echo 100500 > /proc/sys/kernel/threads-max

您设置的值将根据可用的RAM页进行检查。如果线程结构占用可用RAM页面的1/8以上，则thread-max将相应降低。

小开

是的，要增加线程数，您需要增加虚拟内存或减小堆栈大小。在树莓派中，我没有找到增加虚拟内存的方法，如果将堆栈大小从默认的8MB减小到1MB，那么每个进程可能会获得超过1000个线程，但使用“ulimit -s”命令减小堆栈大小，使所有线程都可以使用。因此，我的解决方案是使用“pthread_t”实例“线程类”，因为pthread_t让我设置每个线程的堆栈大小。最后，我可以在树莓派的每个进程中存档超过1000个线程，每个线程都有1MB的堆栈。

小开

我认为我们错过了另一个限制，它也会阻止新线程的创建，这是kernel.pid_max限制。

root@myhost:~# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 16.04.7 LTS
Release:    16.04
Codename:   xenial
root@myhost:~# uname -a
Linux myhost 4.4.0-190-generic #220-Ubuntu SMP Fri Aug 28 23:02:15 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

我发现至少在我的系统中，这个阈值核。Pid_max是32768。当我启动任何简单的JVM进程时，它会报告如下错误:

java/jstack/jstat ...
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Cannot create GC thread. Out of system resources.
# An error report file with more information is saved as:
# /root/hs_err_pid1390.log

检查内存是否充足。

root@lascorehadoop-15a32:~# free -mh
total        used        free      shared  buff/cache   available
Mem:           125G         11G         41G        1.2G         72G        111G
Swap:            0B          0B          0B

检查系统线程:

~# ps -eLf|wc -l
31506

但是我用ulimit检查系统限制:

root@myhost:~# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 515471
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 98000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 515471
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

从ulimit输出中，我们可以看到当前线程数远远小于最大用户进程限制。

实际上，所达到的极限是kernel.pid_max

非常容易检查和调整它: https://www.cyberciti.biz/tips/howto-linux-increase-pid-limits.html < / p >

小开

如果使用Suse操作系统，则需要选择其中一种方法

https://www.suse.com/support/kb/doc/?id=000015901

全球性的,

/etc/systemd/system.conf
DefaultTasksMax=Value

对于特定的ssh服务

/etc/systemd/system/sshd.service.d/override.conf
TasksMax=Value

提交答案