Windows内存类型介绍

Windows上的内存有好几种说法,比如工作设置(Working Set)、提交大小(Private Bytes)、虚拟大小(Virtual Size)。究竟这几种说法有什么区别?每种内存到底指的是什么?哪种内存才能真正反映程序使用的内存情况?虽然做Windows开发这么久,一直对这些只有模糊的认识。如果你去网上找寻答案,可能会找到一些错误的或者矛盾的说法,这更加让人感到迷惑。最近要处理Chromium内核一些因此内存不足而导致的崩溃问题,所以才深入去研究一下这个问题。

Windows上的程序都有自己专有的虚拟地址空间,比如32位的程序地址空间大小是4GB,这是因为32位指针可以表示从0x00000000到0xFFFFFFFF之间的任一值。每个进程的地址空间是专有的,当前进程只能访问到该进程的内存,看不到其他进程的内存。不同进程虽然访问同一个内存地址,实际上它们得到的数据是不同的。

虚拟地址空间不是真正的内存,不能够直接读写。当程序需要读写的时候,操作系统会在背后把物理存储器分配或者映射到相应的地址空间,否则将会导致访问违例(access violation)。

我们可以通过VirtualAlloc API分配一块地址空间的区域,这个操作被称之为预订(reserving)。当程序预订地址空间区域时,操作系统会确保区域的起始地址正好是分配粒度的整数倍。分配粒度会根据不同的CPU平台而有所不同。目前Windows分配粒度是64KB大小。页面是一个内存单元,系统通过它来管理内存。与分配粒度类似,页面大小会根据不同CPU而有所不同,x86和x64页面大小是4KB,而IA-64系统页面大小是8KB。

为了使用预订的地址空间区域,我们还必须分配物理存储器,并将存储器映射到所预订的的区域,这个过程被称之为调拨(committing)物理存储器。物理存储器始终都以页面为单位来调拨。

当我们调拨物理存储器给区域时,并不需要给整个区域都调拨物理存储器。当程序不再需要访问所预订的区域中已调拨的物理存储器时,应该释放物理存储器。这个过程被称之为撤销调拨(decommitting)物理存储器。

当今操作系统能让磁盘空间看起来像内存一样。磁盘上的文件被称之为页交换文件(paging file)。页交换文件以一种透明的方式增大了程序可用的内存(或存储器)的总量。如果一台电脑装备了1GB的内存条,硬盘上还有1GB的页交换文件,那么应用程序会认为可用的内存总量为2GB。

我写了一个inspect_memory的程序来验证各种分配内存方式对不同内存指标的影响:

  • 通过new分配内存10MB,工作设置(Working Set)增加10MB,提交大小(Private Bytes)增加10MB,虚拟大小(Virtual Size)增加10MB。
  • 通过VirtualAlloc预订(reserving)内存10MB,工作设置(Working Set)大小不变,提交大小(Private Bytes)大小不变,虚拟大小(Virtual Size)增加10MB。
  • 通过VirtualAlloc预订(reserving)并调拨(committing)内存10MB,工作设置(Working Set)增加10MB,提交大小(Private Bytes)增加10MB,虚拟大小(Virtual Size)增加10MB。
  • 运行多个inspect_memory实例。在每个实例上通过new分配了很多内存,比如工作设置(Working Set)、(Private Bytes)、虚拟大小(Virtual Size)都接近2GB停止。任务管理性能tab上显示的可用的物理内存很少时,发现先前实例的工作设置(Working Set)在慢慢减少,而(Private Bytes)、虚拟大小(Virtual Size)保持不变。

通过上述实验,参考https://stackoverflow.com/questions/1984186/what-is-private-bytes-virtual-bytes-working-set可以得出结论:

  • 提交大小(Private Bytes)是进程分配的内存大小。这些内存可能存在于RAM中,也可以存在于页交换文件(paging file)中。
  • 工作设置(Working Set)是进程存在于RAM中内存的大小,即不引起page fault异常就能够访问的内存。它通常包括一些可与其他进程共享的内存,比如内存映射文件。
  • 虚拟大小(Virtual Size)是进程地址空间预订的区域大小。
  • 操作系统会自动调度程序工作设置(Working Set)内存的使用。

因此我觉得用提交大小(Private Bytes)来衡量程序使用内存的情况比较恰当,虽然提交大小(Private Bytes)不一定真正的占用RAM内存,但是提交大小(Private Bytes)一直增加,那么程序很可能存在内存使用不当的情况。
除了操作系统去调度程序工作设置(Working Set)内存的大小,我们也可以通过SetProcessWorkingSetSize,、SetProcessWorkingSetSizeEx、EmptyWorkingSet等API去手动设置工作设置(Working Set)的大小。360安全卫士的内存优化功能大概就是通过这些API去实现的。使用这些API减少工作设置(Working Set)的大小有点像掩耳盗铃,它是把进程存在于RAM中的内存交换到页交换文件(paging file)里,表面上是减少了物理内存的使用,实际上程序真正需要访问这些数据的时候,又需要操作系统把页交换文件(paging file)里数据交换到RAM内存中,增加了不必要的调度,反而影响了程序的运行性能,我们未必有操作系统的工作设置(Working Set)调度做的好。

这些内存数据我们可以通过系统提供的API获得:

  • GetProcessMemoryInfo获得PROCESS_MEMORY_COUNTERS_EX数据,WorkingSetSize字段表示进程的工作设置(Working Set)大小。
  • GetProcessMemoryInfo获得PROCESS_MEMORY_COUNTERS_EX数据,PrivateUsage字段表示进程的提交大小(Private Bytes)大小。
  • GlobalMemoryStatusEx获得MEMORYSTATUSEX数据,ullTotalVirtual减去ullAvailVirtual就是虚拟大小(Virtual Size)大小。

更多的数据信息可以查阅相关的MSDN文档。

发表评论

电子邮件地址不会被公开。 必填项已用*标注