准备

内核版本: 4.20.1

在深入了解Linux物理内存管理之前，我们需要对物理内存的组织形式有一个初步的了解。Linux内核将物理内存简单的分为两部分: 用户物理内存空间和内核物理内存空间。当用户进程需要访问物理内存时，通过虚拟地址映射到用户的物理内存空间。这篇博客简单的介绍物理内存组织的相关概念和数据结构。

两种内存访问架构

UMA架构

将所有的物理内存以连续的方式组织起来。

NUMA架构

在多处理器计算机中，每个CPU都拥有本地内存，可以支持更快的访问速度，但CPU访问其他CPU的本地内存时，需要通过总线传输，从而速度慢些。

numa

物理内存布局

在每一个进程看来，它是独占整个内存空间的，这是因为Linux采用了虚拟内存的技术来管理每一个进程的内存空间，但其实每个进程的使用的内存都能映射到不同的物理内存空间。虚拟内存的布局涉及代码段，数据段，堆栈等等，但这里我们讨论的是物理内存空间布局，即无关虚拟内存的抽象。

virtual_physics

Linux 把物理内存划分为 3 个层次来管理: 存储节点(Node), 管理区(Zone)和页面(Page)，并用 3 个相应的数据结构来描述, 在NUMA架构中一个Node就代表一个CPU直接访问的本地内存区域，而在非NUMA架构即UMA架构中，Node的个数为1.

physics_level

上图为Node, Zone和Page的映射关系.

Zone的类型

物理内存被区分为以下几种常见的类型:

  • ZONE_DMA: DMA的内存区域， 主要是各种设备驱动使用的内存区域.
  • ZONE_DMA32: 在x86_64架构下，需要ZONE_DMA32，因为需要32位地址寻址的DMA.
  • ZONE_NORMAL: 可以直接映射的普通内存区域.
  • ZONE_HIGHMEM: 在32 bit的架构中，ZONE_HIGHMEM是需要的，因为32 bit的计算机最多只能映射2^32 即4GB的物理内存，假如计算机使用了更大的物理内存条，需要借助ZONE_HIGHMEM 来访问更大的内存区域.

x86的zone初始化

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
void __init zone_sizes_init(void)
{
        unsigned long max_zone_pfns[MAX_NR_ZONES];

        memset(max_zone_pfns, 0, sizeof(max_zone_pfns));

#ifdef CONFIG_ZONE_DMA
        max_zone_pfns[ZONE_DMA]         = min(MAX_DMA_PFN, max_low_pfn);
#endif
#ifdef CONFIG_ZONE_DMA32
        max_zone_pfns[ZONE_DMA32]       = min(MAX_DMA32_PFN, max_low_pfn);
#endif
        max_zone_pfns[ZONE_NORMAL]      = max_low_pfn;
#ifdef CONFIG_HIGHMEM
        max_zone_pfns[ZONE_HIGHMEM]     = max_pfn;
#endif

        free_area_init_nodes(max_zone_pfns);
}

x86_64物理内存布局

目前x86_64支持的最大的寻址长度是48，即2^48 256TB的物理内存长度，所以暂时不需要ZONE_HIGHMEM:

x86_64