依云's Blog

缘起

我就是买了个4K显示器，咋这么多事呢……（有两篇文章还在路上）

第一个问题是，我的显卡 vGPU 最高只支持 1920x1200 的分辨率。行吧，我缩放成了吧？嘿嘿，-display gtk 的缩放不会保持比例，我只好算了算最大保持比例的大小，然后窗口切成浮动，再调用命令调整到指定的大小：

sleep 1 && xdotool getactivewindow windowsize 3280 2122

然后还要居中放置一下。多麻烦！

第二个问题是，我想在虚拟机里试试 i3，但是我的按键总是会被外边捕获。Super 键基本上是 Awesome 在用，而 Alt 键会撞上这个 GTK 窗口菜单栏的快捷键。

配置

经过多番尝试和摸索之后，确定了如下的参数：

  -display egl-headless,gl=on,rendernode=/dev/dri/renderD128
  -spice unix,addr=/run/user/1000/qemu/ArchKDE/spice.sock,disable-ticketing
  -device virtio-serial-pci
  -device virtserialport,chardev=spicechannel0,name=com.redhat.spice.0
  -chardev spicevmc,id=spicechannel0,name=vdagent

当然要gl=on啦，不然我怎么玩特效，我还不如回到 vbox 去呢（啊不，我的 vbox 不喜欢 btrfs，经常出错然后只读挂载，所以已经被删掉了）。要指定rendernode，不然它会 fallback 到 llvmpipe，然后还段错误崩掉……这也是我不-display spice-app的原因。

后边三行是从这个 QEMU + Spice with Copy & Paste 抄来的。搜索问题时不小心遇见，然后解决了这个我一直没有处理的问题。SPICE 不但能共享剪贴板，而且还支持 PRIMARY 选择区呢～虚拟机里要安装 spice-vdagent 并启动相应的服务。

然后是客户端的选择。一个很神奇的地方是，virt-viewer 看上去轻量，实际上只是选项少而已。它不光拖进来个 gtk-vnc 依赖，还把 libvirt 都给我带上了……然后 GNOME 的 vinagre，我不知道为啥，它就是连不上我的 spice+unix 地址。哦对了，virt-viewer 直接敲命令调用也是连不上，只能用 xdg-open 才能正常打开。

virt-viewer 有个依赖叫 spice-gtk。我试着 pacman -Ql 了一下，还真找到个 spicy 工具。比 virt-viewer 轻量多了，选项也更为丰富，比如可以选择不 grab 键盘。

一点额外的东西

在群里听说了 virtio-fs 共享方案，听说比 virtio + 9p 更高效。然后我用它成功取代了之前用的 NFS 方案（反正我的 vbox 虚拟机已经被删掉啦）。NFS 的服务也可以卸载啦（开放一堆端口到公网，看着有点怕怕的，虽然是 IPv6 地址不太会被扫到，但知道我的地址的咋办呢）。

virtio-fs 相比 virtio + 9p 的另一个优点是，和 NFS 一样，virtiofsd 是以 root 权限运行的，所以可以写入我的 pacman 缓存。qemu 那个 9p 似乎没有办法。至于启动嘛，用 systemd abstract socket 触发一下就好了。

另外，我使用 GVT-g 和 virtio 输出视频信号时，均遇到了声音在视频画面变化时声音卡顿的情况。一个绕过的办法是，通过设置 PULSE_SERVER 环境变量以及加载 module-native-protocol-tcp 模块，将音频信号直接通过网络发送到宿主机上，一点也不卡！

众所周知，大部分无线网卡是不支持桥接操作的。

但是 VirtualBox 就是能，因为它做了特殊处理：来回改 MAC。

那么，我的 LXC、netns、KVM 啥的也想这么玩，成不？

实际上不仅能成，而且 Debian Wiki 还给出了两个方案。方案一是用 ebtables 来回改 MAC。不过我失败了，可能是 ebtables 不支持改完 MAC 再把包发往另外的网络接口吧。

方案二是内核的一个叫 Proxy ARP 的功能。设置起来超级简单：往/proc/sys/net/ipv4/conf/all/proxy_arp里写1，然后给需要的 IP 地址加一条 /32 路由项就可以了。

这方案相比起 VirtualBox 来是非常手动了，也不支持 DHCP 自动配置的 IP 地址，但好歹能用。至少微信备份能用。（火狐的 Wi-Fi 远程调试已经坏掉了，倒是那个「USB 调试」其实只要 adb 连接上就能用，不一定要走 USB 线。）

准备 GVT-g

把 kvmgt vfio-iommu-type1 vfio-mdev 这仨加到 /etc/mkinitcpio.conf 的 MODULES 数组里去。mkinitcpio -P 重新生成一下 initramfs。

添加内核参数 i915.enable_gvt=1。比如是 grub 引导就去改 /etc/default/grub 里的 GRUB_CMDLINE_LINUX 变量，然后 grub-mkconfig ...。

去把 /etc/systemd/system.conf 里的 DefaultLimitMEMLOCK 给改了。比如 DefaultLimitMEMLOCK=65536:1073741824。

重启。

这个时候应该已经有 /sys/devices/pciXXXX:XX/XXXX:XXXX.X/mdev_supported_types 这个目录了。里边有好几个选项呢。选择一下合适的（查看 description 文件），然后往里边的 create 文件里写一个 UUID 就创建了。

启动 KVM 虚拟机

呃，如果你还没有磁盘镜像就自己 qemu-img 创建一个，然后装机。如果你有别的虚拟机的，也可以用 qemu-img 去转格式。

另外准备一下网络。我早就有个网桥了，所以直接用它了。在 /etc/qemu/bridge.conf 里写一句 allow br0 不然不给用的，毕竟我是普通用户权限而网络接口是要 root 权限操作的，得明确允许一下。

我尽可能地使用了 virtio，据说性能好（VirtualBox 也支持一部分了呢）。如果用已有的虚拟机系统但以前没用过 virtio 的话，记得用 fallback 那个 initramfs 启动，然后进系统之后重新生成一个。

我给分配了四个逻辑 CPU 核，4G 内存。VGA 要关掉，不然两个显卡用起来麻烦。为了避免部分内容显示到别处去（如果关了 VGA 的话就看不到，否则能在默认的那个上看到），要加上 ramfb=on,driver=vfio-pci-nohotplug 选项。

声音当然是要的。添加个 PulseAudio 后端，一张 HDA 声卡。我不懂声卡型号所以找了个顺眼的，能用就好。

合起来是这样子的（那两个省略号，一个是磁盘镜像路径，一个是创建 vGPU 用的 UUID）：

#!/bin/bash -e

ulimit -l 1024000

exec qemu-system-x86_64 -enable-kvm \
       -name "ArchKDE" \
       -cpu host -smp 4 \
       -m 4G \
       -drive file=/.../ArchLinuxKDE.qcow2,if=virtio \
       -netdev bridge,id=eth0,br=br0 \
       -device virtio-net,netdev=eth0 \
       -device vfio-pci,sysfsdev=/sys/bus/mdev/devices/...,display=on,x-igd-opregion=on,ramfb=on,driver=vfio-pci-nohotplug \
       -vga none \
       -display gtk,gl=on \
       -audiodev pa,id=pa0,server=/run/user/$UID/pulse/native -device intel-hda -device hda-output,audiodev=pa0 \
       "$@"

如果你使用 GVT-g 显卡的时候整个系统都卡卡卡的话，去看一下宿主的内核日志，是不是有 vfio_pin_page_external: Task qemu-system-x86 (257364) RLIMIT_MEMLOCK (104857600) exceeded 这样的提示，然后去把 RLIMIT_MEMLOCK 给调大，大到它不再报这个错为止。我最后给了1000M才终于不报错地把 KDE 给跑起来了（默认是64K）。

当然如果你没有 GVT-g 支持的话，去掉那行配置，然后 -vga virtio 也能用。

参考链接

• ArchWiki: Intel GVT-g
• [GUIDE] Running Windows via QEMU/KVM and Intel GVT-g on Arch Linux : VFIO

VBox 可以从一个指向本地硬盘的 vmdk 文件启动虚拟机。

首先，为了避免使用 root 运行 VBox，我们需要给自己访问磁盘的权限。我即将启动的是位于 sda5 上的 openSUSE。它使用 UEFI 启动，所以 UEFI 分区的权限也是需要的。创建 vmdk 文件的时候需要读取分区表，因此，还需要 sda 的权限：

sudo setfacl -m u:${USER}:rw /dev/sda{,1,5}

然后我们创建 vmdk 文件。使用-partitions 1,5选项的话，只有这两个分区能在虚拟机里访问，别的分区读的时候是全零，写入操作会被忽略。-relative选择使用分区设备名（sda1、sda5），这样创建好之后 VBox 不再需要对整块硬盘 sda 的权限了。另外会附带创建一个名字以 -pt.vmdk 结尾的文件。它是单独的分区表。如果是 MBR 启动的话，是可以直接在虚拟机系统里更新引导器的，不影响外边的系统。不过我这次是使用 UEFI 启动，所以用不上了。

VBoxManage internalcommands createrawvmdk -filename hostdisk.vmdk -rawdisk /dev/sda -partitions 1,5 -relative

创建好之后就可以撤销对 sda 的权限了：

sudo setfacl -b /dev/sda

然后去 VirtualBox 界面那边创建新虚拟机，并「启用 EFI」。另外，可以在存储设置里，把「控制器: SATA」的「使用主机输入输出 (I/O) 缓存」启用，似乎这样 I/O 会快一点。

VBox 的 EFI 并不像电脑的那样，按 F12 可以选择启动项。因此，它会启动默认的那个，也就是 /EFI/Boot/bootx64.efi。如果你想启动的系统不是这个的话，就把它的 efi 文件复制过来覆盖它。比如我是这么做的：

cd /boot/EFI/Boot
sudo cp ../opensuse/grubx64.efi bootx64.efi

如果是 Windows 10 并使用 MBR 启动的话，可以在虚拟机里用如下命令更新 MBR，干掉原来用于多启动的 grub：

bootsect /nt60 c: /mbr

做好之后就可以启动啦～

对于设备的权限设置，重启之后会丢失的。需要的时候再加上好了。

PS: openSUSE 自带了 VBox 的驱动啊，不过剪贴板共享不能用，大概只有显示驱动没带上服务。

PPS: 启动没一会儿就通知我更新出现错误，一看软件源设置，果然是 HTTP 的，被垃圾鹏博士劫持了。

准备

首先检查 CPU 支持。需要 CPU 支持虚拟化的。

grep -E "(vmx|svm|0xc0f)" --color=always /proc/cpuinfo

没输出就没戏了。现在的 CPU 一般都支持的。

然后是内核支持。

zgrep CONFIG_KVM /proc/config.gz
zgrep CONFIG_VIRTIO /proc/config.gz

官方内核是支持的。

最后是用户态软件。Arch Linux 一向不怎么分包，安装 qemu 这个包就可以了。

哦对了，要安装 Arch 的话，还要准备它的安装镜像。

开始啦

一切就绪。

先创建虚拟机所用的磁盘文件。

qemu-img create -f qcow2 ArchVM.img 15G

这样就创建了一个 15G 容量的 qcow2 格式虚拟磁盘文件。之所以选用 qcow2，是因为它支持「母镜像」功能，对应于 Virtual Box 的差分存储。

然后就可以启动系统了。为了避免老是输入一长串命令，遵循 Gentoo Wiki 的建议，我们创建一个脚本：

#!/bin/sh
exec qemu-system-x86_64 -enable-kvm \
       -cpu host \
       -drive file=$HOME/ArchVM.img,if=virtio \
       -netdev user,id=vmnic,hostname=archvm,hostfwd=tcp:127.0.0.1:2222-:22 \
       -device virtio-net,netdev=vmnic \
       -m 1G \
       -curses \
       -name "Arch VM" \
       "$@"

注意到这里我已经加上了hostfwd参数，将虚拟机的 22 端口映射到 host 的 2222 端口上，方便以后通过 ssh 连接。

我这里指定了-curses参数，它将虚拟机的显示器直接使用 curses 库显示在当前终端上。当然能显示的只有显示器处于文本模式的时候，图形模式就只能知晓当前分辨率了。因为我是在服务器上使用，所以加上这个参数。当然你也可以使用 VNC 去连。

然后执行命令：

./startvm -boot once=d -cdrom path_to_file.iso

首先从光驱启动一次（once=d），重启之后恢复到默认的从硬盘启动。

系统启动啦～然后就会发现引导器 isolinux 把显示器切换到图形模式了……

不过还好。Arch 的引导界面我们知道。按Tab，然后输入<Space>nomodeset并回车。不然待会进系统里，KMS 之后一直是图形模式就什么也看不到了。

然后进入系统安装啦。注意硬盘设备是/dev/vda。当然也要注意安装并让 sshd 在开机时启动，虽然说有 curses 模式的「显示器」也可以用。

装好之后、重启之前还要注意一点，把/boot/grub/grub.cfg包含gfx和load_video之类的地方都去掉，不然会进图形模式的。

装好后就 reboot 吧。如果一切顺利的话就能看到已经安装好的 Arch 登录提示符了。

好不容易装好了系统，当然要把它作为母镜像，所有后续的修改放子镜像上啦：

qemu-img create -f qcow2 -b ArchVM.img ArchTest.img

然后修改一下启动脚本。以后就可以用./startvm脚本启动这个虚拟机啦。

参考文章

• KVM - ArchWiki
• Kvm教程 - Ubuntu中文
• QEMU/Linux guest - Gentoo Wiki