Linux之HugePage的原理与使用

于 2024-10-13 16:55:27 发布 · 1.5k 阅读

文章标签：

#linux #网络 #运维 #内存 #c

网络同时被 3 个专栏收录

12 篇文章

订阅专栏

Linux

9 篇文章

订阅专栏

数据中心网络

7 篇文章

订阅专栏

Linux之HugePage的原理与使用

虚拟地址与物理地址

在研究HugePage之前，首先需要明白虚拟地址和物理地址的概念。在计算机系统中，虚拟地址和物理地址是两个重要的概念。

虚拟地址

虚拟地址是由操作系统为每个进程分配的地址空间。每个进程都认为自己拥有独立的、连续的地址空间，从地址零开始。

提供了一种内存保护机制。不同的进程有各自独立的虚拟地址空间，一个进程不能直接访问另一个进程的内存，从而防止了进程之间的非法访问和干扰。
实现了多任务环境下的内存管理。操作系统可以在物理内存不足时，将部分暂时不用的页面存储到磁盘上，当需要时再重新加载到内存中，使得多个进程可以在有限的物理内存下同时运行。
方便程序的编写和移植。程序员可以在不考虑实际物理内存布局的情况下进行编程，提高了开发效率。而且，由于虚拟地址空间的独立性，程序可以在不同的硬件平台上更容易地进行移植。

物理地址

物理地址是计算机内存中实际的存储单元地址。

物理地址直接对应着内存中的实际存储位置，是数据真正存储的地方。
硬件设备（如 CPU、内存控制器等）通过物理地址来访问内存中的数据。

虚拟地址与物理地址的转换

为了让进程能够正确地访问内存中的数据，操作系统需要将虚拟地址转换为物理地址。这个转换过程通常由硬件（如内存管理单元 MMU）和操作系统共同完成，并且需要MTT（内存转换表，Memory Translate Table）以及MPT（内存保护表，Memory Protect Table）。

当进程访问一个虚拟地址时，MMU 会根据页表等数据结构将虚拟地址转换为物理地址。
如果转换过程中发现所需的页面不在物理内存中，操作系统会触发页面错误，然后将所需的页面从磁盘加载到物理内存中，并更新页表，再次进行地址转换。

总之，虚拟地址和物理地址在计算机系统中起着不同的作用，虚拟地址为进程提供了独立的地址空间和内存保护，而物理地址则是实际存储数据的位置。通过虚拟地址到物理地址的转换，操作系统实现了高效的内存管理和多任务环境下的程序运行。
例如下图的转换所示：
在这里插入图片描述

HugePage的概念

Linux 会以页为单位管理内存，而默认的页面大小为 4KB，虽然部分处理器会使用 8KB、16KB 或者 64KB 作为默认的页面大小，不过 4KB 仍然是操作系统的默认页面配置的主流。这样一来，一个程序可能会使用很多的内存页面，而每个页面都需要相应的MTT（Memory Translate Table）和MPT（Memory Protect Table）来进行虚拟地址（VA）到物理地址（PA）的转换，当一个程序需要大量的内存时，由于每个页面都很小，就需要很多的MTT和MPT，从而会增加系统的开销，影响程序的性能。
为此，Linux中应用了大页（HugePage）的概念，也就是使用比较大的内存页面，2MB 一般都是 HugePages 的默认大小，在 arm64 和 x86_64 的架构上甚至支持 1GB 的大页面，是 Linux 默认页面大小的 262144 倍。这样，当一个应用程序需要大量的内存时，就可以只是使用非常少的内存页面就能够满足程序的需求，可以大大降低所需要的MTT和MPT，提升性能。
在这里插入图片描述
可以通过如下所示的命令查看有关HugePage的信息：