背景
Read the fucking source code! --By 魯迅A picture is worth a thousand words. --By 高爾基
說(shuō)明：
- KVM版本：5.9.1
- QEMU版本：5.0.0
- 工具：Source Insight 3.5， Visio
- 文章同步在博客園：
https://www.cnblogs.com/LoyenWang/
1. 概述
- 本文圍繞ARMv8 CPU的虛擬化展開(kāi)；
- 本文會(huì)結(jié)合Qemu + KVM的代碼分析，捋清楚上層到底層的脈絡(luò)；
- 本文會(huì)提供一個(gè)Sample Code，用于類比Qemu和KVM的關(guān)系，總而言之，大同小異，大題小做，大道至簡(jiǎn)，大功告成，大恩不言謝；
先來(lái)兩段前戲。
1.1 CPU工作原理
AI的世界，程序的執(zhí)行不再冰冷，CPU對(duì)a.out說(shuō)，hello啊，world已經(jīng)ok啦，下來(lái)return吧!
既然要說(shuō)CPU的虛擬化，那就先簡(jiǎn)要介紹一下CPU的工作原理：
- CPU的根本任務(wù)是執(zhí)行指令，我們常說(shuō)的
取指-譯碼-執(zhí)行-訪存-寫(xiě)回，就是典型的指令Pipeline操作；
- 從CPU的功能出發(fā)，可以簡(jiǎn)要分成三個(gè)邏輯模塊：
Control Unit：CPU的指揮中心，協(xié)調(diào)數(shù)據(jù)的移動(dòng)；ALU：運(yùn)算單元，執(zhí)行CPU內(nèi)部所有的計(jì)算；Register：寄存器和Cache，都算是CPU內(nèi)部的存儲(chǔ)單元，其中寄存器可用于存儲(chǔ)需要被譯碼和執(zhí)行的指令、數(shù)據(jù)、地址等；
- CPU從內(nèi)存中讀取指令進(jìn)行譯碼并執(zhí)行，執(zhí)行的過(guò)程中需要去訪問(wèn)內(nèi)存中的數(shù)據(jù)，CPU內(nèi)部的寄存器可以暫存中間的指令和數(shù)據(jù)等信息，通常說(shuō)的CPU的
context指的就是CPU寄存器值；
在硬件支持虛擬化之前，Qemu純軟件虛擬化方案，是通過(guò)tcg（tiny code generator）的方式來(lái)進(jìn)行指令翻譯，翻譯成Host處理器架構(gòu)的指令來(lái)執(zhí)行。硬件虛擬化技術(shù)，是讓虛擬機(jī)能直接執(zhí)行在Host CPU上，讓Host CPU直接來(lái)執(zhí)行虛擬機(jī)，結(jié)合CPU的實(shí)際工作原理，應(yīng)該怎么來(lái)理解呢？來(lái)張圖：
- CPU通過(guò)
pc寄存器獲取下一條執(zhí)行指令，進(jìn)行取指譯碼執(zhí)行等操作，因此給定CPU一個(gè)Context，自然就能控制其執(zhí)行某些代碼；
- CPU的虛擬化，最終目標(biāo)讓虛擬機(jī)執(zhí)行在CPU上，無(wú)非也是要進(jìn)行CPU的Context切換，控制CPU去執(zhí)行對(duì)應(yīng)的代碼，下文會(huì)進(jìn)一步闡述；
既然都講CPU了，那就捎帶介紹下ARMv8的寄存器吧：
- 通用寄存器：
- 圖中描述的是
EL3以下，AArch32與AArch64寄存器對(duì)應(yīng)關(guān)系；
AArch64中，總共31個(gè)通用寄存器，64bit的為X0-X30，32bit的為W0-W30；
- 特殊用途寄存器：
- 這些特殊用途的寄存器，主要分為三種：1）存放異常返回地址的
ELR_ELx；2）各個(gè)EL的棧指針SP_ELx；3）CPU的狀態(tài)相關(guān)寄存器；
- CPU的狀態(tài)
PSTATE：
- CPU的狀態(tài)在
AArch32時(shí)是通過(guò)CPSR來(lái)獲取，在AArch64中，使用PSTATE，PSTATE不是一個(gè)寄存器，它表示的是保存當(dāng)前CPU狀態(tài)信息的一組寄存器或一些標(biāo)志信息的統(tǒng)稱；
好了，ARMv8的介紹該打住了，否則要跑偏了。。。
1.2 guest模式
- Linux系統(tǒng)有兩種執(zhí)行模式：kernel模式與user模式，為了支持虛擬化功能的CPU，KVM向Linux內(nèi)核提供了guest模式，用于執(zhí)行虛擬機(jī)系統(tǒng)非I/O的代碼；
- user模式，對(duì)應(yīng)的是用戶態(tài)執(zhí)行，Qemu程序就執(zhí)行在user模式下，并循環(huán)監(jiān)聽(tīng)是否有I/O需要模擬處理；
- kernel模式，運(yùn)行kvm模塊代碼，負(fù)責(zé)將CPU切換到VM的執(zhí)行，其中包含了上下文的load/restore；
- guest模式，本地運(yùn)行VM的非I/O代碼，在某些異常情況下會(huì)退出該模式，Host OS開(kāi)始接管；
好了啦，前戲結(jié)束，開(kāi)始直奔主題吧。
2. 流程分析
不管你說(shuō)啥，我上來(lái)就是一句中國(guó)萬(wàn)歲，對(duì)不起，跑題了。我上來(lái)就是一張Qemu初始化流程圖：
- 看過(guò)Qemu源代碼的人可能都有種感覺(jué)，一開(kāi)始看好像摸不到門框，這圖簡(jiǎn)要畫(huà)了下關(guān)鍵模塊的流程；
- Qemu的源代碼，后續(xù)的文章會(huì)詳細(xì)介紹，本文只focus在
vcpu相關(guān)部分；
除了找到了qemu_init_vcpu的入口，這張圖好像跟本文的vcpu的虛擬化關(guān)系不是很大，不管了，就算是給后續(xù)的Qemu分析打個(gè)廣告吧。
2.1 vcpu的創(chuàng)建
2.1.1 qemu中vcpu創(chuàng)建
- Qemu初始化流程圖中，找到了
qemu_init_vcpu的入口，順著這個(gè)qemu_init_vcpu就能找到與底層KVM模塊交互的過(guò)程；
- Qemu中為每個(gè)vcpu創(chuàng)建了一個(gè)線程，操作設(shè)備節(jié)點(diǎn)來(lái)創(chuàng)建和初始化vcpu；
所以，接力棒甩到了KVM內(nèi)核模塊。
2.1.2 kvm中vcpu創(chuàng)建
來(lái)一張前文的圖：
- 前文中分析過(guò)，系統(tǒng)在初始化的時(shí)候會(huì)注冊(cè)字符設(shè)備驅(qū)動(dòng)，設(shè)置好了各類操作函數(shù)集，等待用戶層的
ioctl來(lái)進(jìn)行控制；
Qemu中設(shè)置KVM_CREATE_VCPU，將觸發(fā)kvm_vm_ioctl_create_vcpu的執(zhí)行，完成vcpu的創(chuàng)建工作；
- 在底層中進(jìn)行vcpu的創(chuàng)建工作，主要是分配一個(gè)
kvm_vcpu結(jié)構(gòu)，并且對(duì)該結(jié)構(gòu)中的字段進(jìn)行初始化；
- 其中有一個(gè)用于與應(yīng)用層進(jìn)行通信的數(shù)據(jù)結(jié)構(gòu)
struct kvm_run，分配一頁(yè)內(nèi)存，應(yīng)用層會(huì)調(diào)用mmap來(lái)進(jìn)行映射，并且會(huì)從該結(jié)構(gòu)中獲取到虛擬機(jī)的退出原因；
kvm_arch_vcpu_create主要完成體系架構(gòu)相關(guān)的初始化，包括timer，pmu，vgic等；create_hyp_mappings將kvm_vcpu結(jié)構(gòu)體建立映射，以便在Hypervisor模式下能訪問(wèn)該結(jié)構(gòu)；create_vcpu_fd注冊(cè)了kvm_vcpu_fops操作函數(shù)集，針對(duì)vcpu進(jìn)行操作，Qemu中設(shè)置KVM_ARM_VCPU_INIT，將觸發(fā)kvm_arch_vcpu_ioctl_vcpu_init的執(zhí)行，完成的工作主要是vcpu的核心寄存器，系統(tǒng)寄存器等的reset操作，此外還包含了上層設(shè)置下來(lái)的值，放置在struct kvm_vcpu_init中；
2.2 vcpu的執(zhí)行
2.2.1 qemu中vcpu的執(zhí)行
Qemu中為每一個(gè)vcpu創(chuàng)建一個(gè)用戶線程，完成了vcpu的初始化后，便進(jìn)入了vcpu的運(yùn)行，而這是通過(guò)kvm_cpu_exec函數(shù)來(lái)完成的；kvm_cpu_exec函數(shù)中，調(diào)用kvm_vcpu_ioctl(,KVM_RUN,)來(lái)讓底層的物理CPU進(jìn)行運(yùn)行，并且監(jiān)測(cè)VM的退出，而這個(gè)退出原因就是存在放在kvm_run->exit_reason中，也就是上文中提到過(guò)的應(yīng)用層與底層交互的機(jī)制；
2.2.2 kvm中vcpu的執(zhí)行
用戶層通過(guò)KVM_RUN命令，將觸發(fā)KVM模塊中kvm_arch_vcpu_ioctl_run函數(shù)的執(zhí)行：
- vcpu最終是要放置在物理CPU上執(zhí)行的，很顯然，我們需要進(jìn)行context的切換：保存好Host的Context，并切換到Guest的Context去執(zhí)行，最終在退出時(shí)再恢復(fù)回Host的Context；
__guest_enter函數(shù)完成最終的context切換，進(jìn)入Guest的執(zhí)行，當(dāng)Guest退出時(shí)，fixup_guest_exit將會(huì)處理exit_code，判斷是否繼續(xù)返回Guest執(zhí)行；- 當(dāng)最終Guest退出到Host時(shí)，Host調(diào)用
handle_exit來(lái)處理異常退出，根據(jù)kvm_get_exit_handler去查詢異常處理函數(shù)表對(duì)應(yīng)的處理函數(shù)，最終進(jìn)行執(zhí)行處理；
3. Sample Code
- 上文已經(jīng)將Qemu+KVM的CPU的虛擬化大概的輪廓已經(jīng)介紹了，方方面面，問(wèn)題不大；
- 來(lái)一段Sample Code類比Qemu和KVM的關(guān)系，在Ubuntu16.04系統(tǒng)上進(jìn)行測(cè)試；
簡(jiǎn)要介紹一下：
- tiny_kernel.S，相當(dāng)于Qemu中運(yùn)行的Guest OS，完成的功能很簡(jiǎn)單，沒(méi)錯(cuò)，就是
Hello, world打??；
- tiny_qemu.c，相當(dāng)于Qemu，用于加載Guest到vCPU上運(yùn)行，最終通過(guò)kvm放到物理CPU上運(yùn)行；
魯迅在1921年的時(shí)候，說(shuō)過(guò)這么一句話：Talk is cheap, show me the code。
start:
/* Hello */
mov $0x48, %al
outb %al, $0xf1
mov $0x65, %al
outb %al, $0xf1
mov $0x6c, %al
outb %al, $0xf1
mov $0x6c, %al
outb %al, $0xf1
mov $0x6f, %al
outb %al, $0xf1
mov $0x2c, %al
outb %al, $0xf1
/* world */
mov $0x77, %al
outb %al, $0xf1
mov $0x6f, %al
outb %al, $0xf1
mov $0x72, %al
outb %al, $0xf1
mov $0x6c, %al
outb %al, $0xf1
mov $0x64, %al
outb %al, $0xf1
mov $0x0a, %al
outb %al, $0xf1
hlt
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <assert.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <sys/ioctl.h>
#include <linux/kvm.h>
#include <sys/mman.h>
#define KVM_DEV "/dev/kvm"
#define TINY_KERNEL_FILE "./tiny_kernel.bin"
#define PAGE_SIZE 0x1000
int main(void)
{
int kvm_fd;
int vm_fd;
int vcpu_fd;
int tiny_kernel_fd;
int ret;
int mmap_size;
struct kvm_sregs sregs;
struct kvm_regs regs;
struct kvm_userspace_memory_region mem;
struct kvm_run *kvm_run;
void *userspace_addr;
/* open kvm device */
kvm_fd = open(KVM_DEV, O_RDWR);
assert(kvm_fd > 0);
/* create VM */
vm_fd = ioctl(kvm_fd, KVM_CREATE_VM, 0);
assert(vm_fd >= 0);
/* create VCPU */
vcpu_fd = ioctl(vm_fd, KVM_CREATE_VCPU, 0);
assert(vcpu_fd >= 0);
/* open tiny_kernel binary file */
tiny_kernel_fd = open(TINY_KERNEL_FILE, O_RDONLY);
assert(tiny_kernel_fd > 0);
/* map 4K into memory */
userspace_addr = mmap(NULL, PAGE_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
assert(userspace_addr > 0);
/* read tiny_kernel binary into the memory */
ret = read(tiny_kernel_fd, userspace_addr, PAGE_SIZE);
assert(ret >= 0);
/* set user memory region */
mem.slot = 0;
mem.flags = 0;
mem.guest_phys_addr = 0;
mem.memory_size = PAGE_SIZE;
mem.userspace_addr = (unsigned long)userspace_addr;
ret = ioctl(vm_fd, KVM_SET_USER_MEMORY_REGION, &mem);
assert(ret >= 0);
/* get kvm_run */
mmap_size = ioctl(kvm_fd, KVM_GET_VCPU_MMAP_SIZE, NULL);
assert(mmap_size >= 0);
kvm_run = (struct kvm_run *)mmap(NULL, mmap_size, PROT_READ | PROT_WRITE, MAP_SHARED, vcpu_fd, 0);
assert(kvm_run >= 0);
/* set cpu registers */
ret = ioctl(vcpu_fd, KVM_GET_SREGS, &sregs);
assert(ret >= 0);
sregs.cs.base = 0;
sregs.cs.selector = 0;
ret = ioctl(vcpu_fd, KVM_SET_SREGS, &sregs);
memset(®s, 0, sizeof(struct kvm_regs));
regs.rip = 0;
ret = ioctl(vcpu_fd, KVM_SET_REGS, ®s);
assert(ret >= 0);
/* vcpu run */
while (1) {
ret = ioctl(vcpu_fd, KVM_RUN, NULL);
assert(ret >= 0);
switch(kvm_run->exit_reason) {
case KVM_EXIT_HLT:
printf("----KVM EXIT HLT----\n");
close(kvm_fd);
close(tiny_kernel_fd);
return 0;
case KVM_EXIT_IO:
putchar(*(((char *)kvm_run) + kvm_run->io.data_offset));
break;
default:
printf("Unknow exit reason: %d\n", kvm_run->exit_reason);
break;
}
}
return 0;
}
為了表明我沒(méi)有騙人，上一張?jiān)赨buntu16.04的虛擬機(jī)上運(yùn)行的結(jié)果圖吧：
草草收工吧。
4. 參考
ARMv8-A Architecture Overview
ARMv8 Techinology Preview
Arm Architecture Reference Manual, Armv8, for Armv8-A architecture profile
Virtual lockstep for fault tolerance and architectural vulnerability analysis
歡迎關(guān)注個(gè)人公眾號(hào)，不定期分享技術(shù)文章：
|
