qm
是 [[Proxmox VE]] 系统上用来管理 Qemu/Kvm 虚拟机的命令。可以用这个命令来创建,销毁虚拟机,也可以用它来控制虚拟机的启动,暂停,继续和停止。另外也可以用 qm 命令来设定虚拟机的配置。qm
命令也可以用来创建和删除虚拟磁盘 (virtual disks).
使用已经上传到 local
storage 的 iso 文件来在 local-lvm
storage 上创建一个 4G IDE 的虚拟磁盘。
qm create 300 -ide0 local-lvm:4 -net0 e1000 -cdrom local:iso/proxmox-mailgateway_2.1.iso
启动 VM
qm start 300
发送一个停止请求,并等待 VM 停止:
qm shutdown 3000 && qm wait 300
等待 40 秒:
qm shutdown 3000 && qm wait 300 -timeout 40
虚拟机的配置文件可以在 /etc/pve/qemu
文件找到。
配置文件都是纯文本,你可以用任何编辑器来编辑。不过建议用 qm
命令或者通过界面来进行修改。对配置的任何修改都需要重启 VM 才能生效。
因为加入了一些 PT 的关系,本地的硬盘空间立即捉襟见肘,毕竟有些蓝光原盘动不动就 40+GB,所以陆陆续续给威联通也加了一些硬盘,之前一直买的是酷狼的 4T 盘,但是用了一年快两年的样子竟然挂了,这是我最初买的那一块所以也折腾了一下,因为系统和一些配置都在这一块盘上。所以强烈建议重要资料一定多处备份,不仅需要通过本地冗余备份,最好也多地备份,比如本地和其他云端备份服务实时同步。
再回到这次的主题,关于如何选购一块硬盘。打开京东能看到主流的硬盘厂商提供了种类丰富的各种用途的磁盘。但对于消费者而言,很多人其实并不知道其中的具体技术细节。很多人可能知道酷狼是 NAS 盘,酷鱼是普通家用盘,但谁也没有具体分析过这二者的区别,商家宣传也不会刻意宣传技术细节。
硬盘的技术最早在 1956 年被 IBM 发明,之后便迅速成为了 60 年代通用计算机的组成部分 1。 历史上最多的时候有超过 200 家硬盘制造厂商 2,经过兼容合并后目前市场上比较著名的就只有 Seagate, Toshiba 和 Western Digital 了。再之后的故事大家都知道了,随着 SSD(Solid-state Drive) 的兴起,尤其是 NAND 技术的发展,HDD 逐渐式微,但不可否认的是 HDD 目前依然保留着自己在计算机领域的地位。
目前市场是两个主要的硬盘大小就是 3.5 寸,主要给台式机用,和 2.5 寸主要给笔记本用。HDD 通过 PATA(Parallel ATA), SATA(Serial ATA, 600MB/s), USB 和 SAS(Serial Attached SCSI, 12Gb/s) 接口和其他硬件系统连接。
我们知道计算机的世界其实是一个二进制的世界,底层都是 0 和 1 的无尽组合,对于数据来说也是,那么作为二进制数据的存储设备硬盘而言,就是要记录下 0 和 1 的组合。在网上可以看到很多的硬盘拆解的图片,能看到一个大大的一个像 CD 一样的盘片,在盘片上会有很多磁性物质,通过盘片的快速旋转和磁头的移动来读写数据。但实际上可能要更加复杂一些。
硬盘的主要构造:
说明:
上面也提到盘片是真正用来存储数据的地方,那么盘片是如何做到的呢?盘面和磁带的原理比较相似,在磁盘的表面有一层磁性材料,而磁头通常是线圈缠绕在磁芯上
虽然原理很简单,但是盘片,磁头,以及机械内部的制作都是需要非常精密的工艺和材料的。
具体再看纵向每一个盘片之间。
图片源自 Cameron Hart
说明:
所有的盘片都固定在主轴上,所有盘片之间都是平行的,每一个盘片的存储面都有一个磁头,现在主流的硬盘盘面都会有上下两面。
操作系统以扇区的形式将信息存储在硬盘上,每个扇区包括 512 字节的数据和一些其他信息。每一个扇区有两个部分数据:
扇区头标,包括:
这三个部分可以唯一确定一块数据的具体地址。
盘片盘面区域
在了解了硬盘的物理结构后,再来看真实过程中硬盘如何读写数据。
当系统需要从磁盘读取数据时,系统将数据逻辑地址传给磁盘,磁盘的控制电路按照寻址逻辑将地址翻译成物理地址,确定要读取的数据在哪一个盘面,哪一个磁道,哪一扇区。为了读写这个扇区的数据需要做以下步骤:
一个 7200 转 / 每分钟的硬盘,旋转一周所需时间 60*1000/7200 = 8.33ms,平均旋转延迟时间,假设为半圈也就是 4.17ms。平均寻道时间和平均旋转时间称为平均存取时间。
磁盘单次 IO 时间 = 寻道时间 + 旋转时间 + 存取时间
总结上面磁盘的读写可以知道数据的读写是按照从上到下,在盘面上从外向内进行。
因为硬盘的这种机械构造,所以磁盘本身的存取速度要比内存慢很多,再加上机械运动更加耗时。
所以为了提高硬盘的效率,减少磁盘 IO,磁盘往往不是严格的按需读取,而是每次都预先读取,即使只需要一个字节,磁盘也会从这个位置开始,顺序读取后面一定长度的数据放入内存。这样做的依据是计算机科学中著名的局部性原理,当一个数据被用到时,其附近的其他数据通常也会马上被用到。
页 (Page) 是许多计算机存储管理器的逻辑块,硬件和操作系统往往将主存和磁盘存储区域分割为连续的大小相等的块,每一个存储块称为一页(通常为 4k),主存和磁盘以页为单位交换数据。当程序要读取的数据不在主存中,会产生一个缺页异常,系统会向磁盘发出读盘信号,磁盘会找到数据的起始位置并向后连续读取一页或几页载入内存中,然后异常返回,程序继续运行。
一般硬盘上都会带一个比较小的磁盘缓冲存储器,将要写的数据缓冲,进而减少磁头移动,再一次性写入。
硬盘内部因为是机械结构,在磁头和盘片之间有一个很小的空隙,如果硬盘有震动或者抖动,那么就可能造成磁盘数据损毁,所以在硬盘通电后就尽量不要移动硬盘,并且要尽量减缓硬盘转动可能带来的共振。
机械硬盘的内部构造必须保证觉得无尘,一旦有小的灰尘进入硬盘密封层,和磁头与盘片发生碰撞就可能造成机械设备的损坏。
另外也不要对正在运行的磁盘突然断电,用正常的方式关闭系统,等待系统将缓存数据写回磁盘,然后再断电。所以如果家里有 NAS,建议还是购入 UPS,以免家中停电或者跳闸时可能对数据造成损害。
介绍了硬盘物理的构成,现在回到操作系统软件层面,相信装过机的人一定知道分区,在安装系统的时候要给系统划分一个系统分区。那么硬件启动的时候引导然后在硬盘上对应的地方启动系统。那么这里就需要知道整个磁盘的第一个扇区。
每一块物理硬盘的第一个扇区记录了整块磁盘的重要信息,包括:
以前在使用 Windows 的时候有一个不小的疑惑,一块硬盘只能够划分四个分区(主分区 + 扩展分区),原因就在这里,分区表只有 64 bytes 大小,最多只能容纳四个分区。但实际上 Windows 可以通过逻辑分区来划分更多的分区。
再上面说了那么多原理之后,假如硬盘厂商要提高硬盘的容量会怎么做呢?数据是存放在盘片上的,而具体数据是存在扇区上的。所以很自然的会想到:
前两者会增加硬盘的体积和重量,而现在的硬盘标准是固定的,随意改变硬盘大小必然会引起问题。所以目前大部分的解决方案就是提高单个磁盘数据存储的密度。于是这个公司的硬件工程师就提出了各种各样的办法。
最早期磁性颗粒平铺在盘片上,磁感应的方向是水平的,这类技术被称为 LMR(Longitudinal magnetic recording, 水平磁性记录)。这种方式有一个缺点,盘片利用率不高,当磁力颗粒很小,相互靠近时,容易受到干扰,方向发生混乱。所以 LMR 时代,单盘存储的数据有限。
为了解决 LMR 容量的限制,工程师们又想出了让磁性颗粒和磁感应方向相对盘片垂直。这个就叫做 PMR(Perpendicular Magnetic Recordking, 垂直磁性记录)。
在 PMR 技术下,3.5 寸盘,单碟磁盘的容量可以达到 1TB 左右。
不过随着互联网发展人们要存储的东西越来越多,PMR 逐渐不够用了,所以硬件工程师又想出了 SMR(Shingled Magneting Recordking,叠瓦式磁记录技术)。
SMR 利用了磁道与磁道之间的距离,通常硬盘的磁道与磁道之间存在一个保护距离,保护不同磁道直接的磁性颗粒不造成干扰。另外一个现实情况便是,硬盘信息的读取和写入是两个不同的操作,读取磁头和写入磁头也是不一样的。现代硬盘读写的磁头不同,写入磁头是传统的磁感应磁头,比较宽,读取磁头是新型的 MR 磁头,比较窄,磁道在划分的时候,需要满足最宽的标准。但是写入磁头在工作的时候,实际上对于每一个磁道,写入的信息宽度和读取的宽度是一样的,那么,磁道的空间就造成了浪费。于是工程师想到,把这部分浪费的磁道重叠起来,和房屋的瓦片一样,写入的时候沿着每条磁道上方写入,中间留下一小段保护距离,然后接着写另一条磁道。
使用 SMR 技术的硬盘又被网友称为叠瓦盘。
在 SMR 技术的帮助下,磁盘存储的容量大大增加了,但是缺点也很明显。首先是磁盘信息密度高,转速不能太快。另外 SMR 硬盘,单纯读问题不大,但是如果要修改某个磁道上的数据就比较麻烦,磁道间隙小,磁头比较宽,修改相邻磁道数据必然会相互影响。
解决这个问题的方法就是,每重叠一部分磁道时,隔开一些,另外就是设置专用缓冲区,当修改磁道 2 数据时,把磁道 3 的数据先取出来放到缓冲区,等磁道 2 数据改完再将磁道 3 数据写回。
也正是因为这个原因,一般的 SMR 硬盘具有大缓存的特点,一般可以达到 256MB,而普通的硬盘 64MB 足够。因为这样特殊的设计,在修改大量数据时会比较慢,时间久了会对硬盘读写性能造成影响。
相较于 PMR 硬盘,SMR 硬盘不适合用来当作系统盘或者需要频繁读写的硬盘来使用
NAS 盘和普通盘的本质区别在于 Time Limited Error Recovery,TLER 技术(希捷叫 ERC,ErrorRecovery Control)3。
一块硬盘长时间运行过程中,可能会因为各种情况出现读写错误,并且运行时间越长,出现的可能性越大,但是出现错误后,硬盘不会因此而损坏,硬盘内部的控制器会尝试进行修复,转移,纠错等操作,这一过程根据修复的难度,会用时几秒到几百秒左右,在这期间,硬盘会处于一个停止响应的状态。
在 RAID 中,一旦发现一块硬盘在一定时间内无响应,就会认为硬盘损坏,剔除该硬盘。如果硬盘硬因为一个可恢复的读写错误进入无响应状态,而刚好这个硬盘处于一个 RAID 阵列,无响应时间一旦超过 8 秒的阈值,RAID 控制器自然会认为硬盘损坏,并开始一系列恢复操作。这时 TLER 就派上了用场,有 TLER 功能的硬盘将执行正常的错误恢复,但 7 秒后,会向 RAID 控制器发出错误消息,并将错误恢复任务推迟到稍后的时间。通过协调错误处理,硬盘驱动器不会从 RAID 阵列中删除,从而避免了整个 RAID 恢复、替换、重建和返回操作。也就是说有 TLER 功能的硬盘,在硬盘恢复期间,会每隔 7 秒向 raid 控制器报告一次”正常”从而阻止阵列的重建。
有 TLER 功能的 NAS 盘更加适合在 RAID 阵列中工作,TLER 不会减少读写时可能造成的错误,也不会加快错误恢复速度,但可以在纠错中保护未响应的硬盘不被 RAID 控制器因为超时而误判为硬盘损坏。
NAS 盘只有在 RAID 阵列中才能体现其价值。
在看了硬盘的工作原理,再回到如何选购一块硬盘的主题上。相信到这里,再去看硬盘的配置信息,比如转速 5400 RPM,7200 RPM,缓存 64MB, 256MB ,使用的 PMR, 还是 SMR 技术,就比较清楚了,然后再根据自身的情况酌情选购即可。
有的时候想要查看一个网页有多少其他的页面链接过来,这个搜索语法似乎在 Google 上没见过,平时用的比较多语法也就是用 site:
来查看某个站点中的关键字。
那有什么方法可以查看某一个页面有谁链接过来了呢?
在 Google Search Console 中可以查看到:
Search Console > choose your property > Links > External links > Top linking sites
ahrefs 是一个逆向链接的索引,可以简单的查看一些,但如果要查看完整的报告则需要订阅。
之前的文章讲了 Proxmox VE 的安装,以及在此基础上又安装了 OpenMediaVault,现在我的机器上一共三块硬盘,120G SSD 安装了系统,并作为默认的 lvm,放一些 ISO,以及存放一些系统盘,另外的 1T 准备做 Proxmox 相关的数据盘,而剩下的一块 4T 盘想要直通给 OpenMediaVault 做数据盘。所以就产生了这样的一个需求。
首先在设定之前,需要知道 Linux 下的硬盘都会以文件方式存放在 /dev/disk/by-id/
目录下。
安装:
apt install lshw
查看:
lshw -class disk -class storage
在输出的一串中,找到想要直通的硬盘 Serial,这一步一般也可以通过 Proxmox 后台 Disk 来查看到。比如我的情况是第一块硬盘 /dev/sda
然后假设 Serial 是 WFN1XXXX.
那么过滤出该硬盘:
ls -al /dev/disk/by-id |grep WFN1XXXX
然后添加到具体 ID 的 KVM 虚拟机。
qm set 100 -scsi2 /dev/disk/by-id/ata-ST4000DM004-2CV104_WFN1XXXX
说明:
-scsi2
表示的是使用 [[SCSI]] 的第二块硬盘,如果你要加多块硬盘,数字 2 需要往后加 -scsi3
这样。如果要检查虚拟机 100 中已经添加的硬盘,可以在 Proxmox 后台,点击虚拟机 ID,然后在 Hardware 中看 Hard Disk。
在上面添加到虚拟机之后,可以在 Proxmox 界面中查看,或者用命令:
grep "WFN" /etc/pve/qemu-server/100.conf
理论上应该输出 scsi2 然后后面是硬盘的位置及编号。
然后就能在 OpenMediaVault 中识别出该硬盘了。在 OpenMediaVault 中识别出硬盘之后就可以把这个硬盘加到联合硬盘池里面,扩展存储空间。
上面 qm
命令中用了 -scsi2
这里指的是磁盘总线类型 (scsi) 和编号 (2),目前磁盘总线类型大致上有这么几种:
三种类型的对比:
OpenMediaVault,是一个开源的基于 Debian Linux 的下一代网络附加存储 (NAS) 解决方案。
关于 NAS 系统的选择可以参考这篇文章.
OpenMediaVault 安装后的 Web UI,默认的用户名和密码是:
admin
openmediavault
登陆后进行修改。
Web UI 的用户名是 admin,但是 SSH 的用户名是 root
安装必要的 package
apt install dnsutils htop
如果安装的时候没有选择国内的镜像源,可以手动进行修改:
vi /etc/apt/sources.list
然后使用如下配置:
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-fre
OMV Extras 是一系列的扩展插件,开启后有不少的功能增强。
安装:
wget -O - https://github.com/OpenMediaVault-Plugin-Developers/packages/raw/master/install | bash
来自:
sudo locale-gen "en_US.UTF-8"
sudo dpkg-reconfigure locales
然后选择
en_US.UTF-8 UTF-8
zh_CN.UTF-8 UTF-8
这样以后终端就可以显示中文了,同样的道理如果是其他语言找对应的选上即可。
Docker 的安装可以在 OpenMediaVault 的 Web UI 上完成,在安装 OMV Extras 后可以直接启用。国内网络环境不好的情况下,一定先替换上面的源再安装。
编辑 vi /etc/docker/daemon.json
:
注意这里微软提供的 Docker 镜像已经限制只能 Azure 的机器使用了,如果使用 azk8s 会返回 403 错误:
Error response from daemon: error parsing HTTP 403 response body: invalid character '<' looking for beginning of value: "<html>\r\n<head><title>403 Forbidden</title></head>\r\n<body bgcolor=\"white\">\r\n<center><h1>403 Forbidden</h1></center>\r\n<hr><center>nginx/1.14.0 (Ubuntu)</center>\r\n</body>\r\n</html>\r\n"
自行替换成 aliyun 或者其他国内厂提供的 registry-mirrors 吧!
{
"registry-mirrors": [
"https://registry.azk8s.cn",
"https://reg-mirror.qiniu.com"
],
"data-root": "/var/lib/docker"
}
重启:
/etc/init.d/docker restart
我全新安装的 OpenMediaVault 5.3.4 中,创建共享文件夹,系统不会自动在 sharedfolders 中创建文件夹,查了一下,发现是 OpenMediaVault 在 5.3.3-1 版本中将 sharedfolders 功能给禁用了,官方的说明 是可能造成不稳定。不过可以通过如下方法手工开启:
Disable the '/sharedfolder/<xyz>' feature by default on new
installations because it makes too much problems.
It can be enabled by setting the environment variable to
'OMV_SHAREDFOLDERS_DIR_ENABLED="YES"'. Finally run the command
'omv-salt stage run prepare' to apply the modified default values
and 'omv-salt deploy run systemd' to create the unit files.
但是我尝试一下之后发现创建共享文件后,sharedfolder 中依然没有,那我就只能手动 ln
了。(注意这里的地址需要换成你自己系统的地址)
ln -s /srv/dev-disk-by-label-storage/appdata /sharedfolders/appdata
ln -s /srv/dev-disk-by-label-storage/ruTorrent/ /sharedfolders/ruTorrent
拉取镜像:
docker pull linuxserver/transmission
创建:
docker run -d \
--name=transmission \
-e PUID=1000 \
-e PGID=1000 \
-e TZ=Asia/Shanghai \
-e USER=user \
-e PASS=password \
-e TRANSMISSION_WEB_HOME=/transmission-web-control/ \
-p 9091:9091 \
-p 51413:51413 \
-p 51413:51413/udp \
-v <path to data>:/config \
-v <path to downloads>:/downloads \
-v <path to watch folder>:/watch \
--restart unless-stopped \
linuxserver/transmission
Pull 镜像:
docker pull linuxserver/rutorrent
创建:
docker run -d \
--name=rutorrent \
-e PUID=1000 \
-e PGID=100 \
-p 8080:80 \
-p 5000:5000 \
-p 51415:51413 \
-p 6881:6881/udp \
-v /sharedfolders/ruTorrent-config:/config \
-v /sharedfolders/ruTorrent:/downloads \
--restart unless-stopped \
linuxserver/rutorrent
然后根据 这里 的说明改一下主题。
docker run -d \
--name=syncthing \
-e PUID=1000 \
-e PGID=1000 \
-e TZ=Europe/London \
-e UMASK_SET=<022> \
-p 8384:8384 \
-p 22000:22000 \
-p 21027:21027/udp \
-v </path/to/appdata/config>:/config \
-v </path/to/data1>:/data1 \
-v </path/to/data2>:/data2 \
--restart unless-stopped \
linuxserver/syncthing
docker pull linuxserver/plex
安装:
docker run -d \
--name=plex \
--net=host \
-e PUID=1000 \
-e PGID=1000 \
-e VERSION=docker \
-e PLEX_CLAIM= `#optional` \
-v /path/to/library:/config \
-v /path/to/tvseries:/tv \
-v /path/to/movies:/movies \
--restart unless-stopped \
ghcr.io/linuxserver/plex
在 OpenMediaVault 上安装 AdGuard Home 的时候需要注意,OpenMediaVault 自身的 systemd-resolved 进程监听了 53 端口,和 AdGuard Home 产生了冲突。这个时候需要禁用系统 resolved 的 53 端口监听。
可以使用如下命令修改,也可以手动修改这两行:
sudo sed -i "s/^#Cache=yes/Cache=no/g" /etc/systemd/resolved.conf
sudo sed -i "s/^#DNSStubListener=yes/DNSStubListener=no/g" /etc/systemd/resolved.conf
然后重启进程 systemctl restart systemd-resolved
用 netstat 来查看 53 端口的占用情况。这个时候再用 Docker 启动 AdGuard Home:
docker run --name adguardhome -v /my/own/workdir:/opt/adguardhome/work -v /my/own/confdir:/opt/adguardhome/conf -p 53:53/tcp -p 53:53/udp -p 67:67/udp -p 68:68/tcp -p 68:68/udp -p 8080:80/tcp -p 443:443/tcp -p 853:853/tcp -p 3000:3000/tcp -d adguard/adguardhome
接触虚拟化的过程中慢慢的了解到了 [[Proxmox VE]],在此之前是看到很多人在用 [[ESXi]],一款 VMware 的商业化产品,个人授权是免费的,不过 Proxmox VE 是一个基于 Debian 的开源虚拟化系统,对于我这样的初学者,学习过程要比产品的稳定性来的重要,所以对我个人而言 Proxmox 是一个不错的选择。
Proxmox VE 全称是 Proxmox Virtual Environment 是一个开源的虚拟化解决方案,基于 QEMU/KVM 和 LXC。
Proxmox Virtual Environment is an open source server virtualization management solution based on QEMU/KVM and LXC. You can manage virtual machines, containers, highly available clusters, storage and networks with an integrated, easy-to-use web interface or via CLI. Proxmox VE code is licensed under the GNU Affero General Public License, version 3.
Proxmox VE,是一个开源的服务器虚拟化环境 Linux 发行版。Proxmox VE 基于 Debian,使用基于 Ubuntu 的定制内核,包含安装程序、网页控制台和命令行工具,并且向第三方工具提供了 REST API,在 Affero 通用公共许可证第三版下发行。
Proxmox VE 支持两类虚拟化技术:基于容器的 LXC(自 4.0 版开始,3.4 版及以前使用 OpenVZ 技术) 和硬件抽象层全虚拟化 KVM。
Proxmox 支持的虚拟化:
安装 Proxmox VE 之前有几件必须的东西需要准备:
egrep '(vmx|svm)' /proc/cpuinfo
),键盘和显示器(安装过程中需要,安装后就不用了)和安装其他 Linux 系统一样,先用 Etcher 将 Proxmox VE ISO 写入 U 盘。或者使用 dd
命令:
# dd bs=1M conv=fdatasync if=./proxmox-ve_*.iso of=/dev/XYZ
一定要注意 of
后别写错设备。如果不知道 dd 命令如何使用千万别复制粘贴上面命令。
将 U 盘插入主机,启动硬件,在 BIOS 中选择 U 盘启动,或者使用 F12 或者 F2,或者 DELETE 等等按键选择 U 盘启动。然后在 Proxmox 安装程序中下一步下一步既可,注意安装时输入的局域网 IP 地址,后面需要用该 IP 或者 (hostname) 来访问 Proxmox 的 Web 管理界面。
安装完成后,重启系统,进入 Proxmox VE,等待屏幕显示黑色登录等待命令,可以使用局域网中其他电脑登录:
https://ip:8006
这里有两点需要注意,一定要用 https 访问,我用 http 访问是没有回应的,还重装了一遍,还以为有硬件故障检查了半天,甚至 root 登录进去重启了各种服务,最后发现必须要使用 https 登录;第二点就是输入安装时设置的 IP 地址,加上 8006 端口进行访问。
PVE 官方要求设置 /etc/hosts
防止出现问题,可以手动执行 hostnamectl set-hostname pve
将本机 hostname 设置为 pve
127.0.0.1 localhost.localdomain localhost
your.ip pve.domain.com pve
Proxmox 源自于 Debian,所以 Proxmox 也可以用 apt 的包管理。但是 Proxmox 维护了一套自己的软件源,如果没有订阅企业授权,在 apt update 的时候会报错。所以需要注释掉企业的 source list:
vi /etc/apt/sources.list.d/pve-enterprise.list
然后用 # 注释掉其中的地址
# deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
然后添加非订阅的源,修改 vi /etc/apt/sources.list
: 1
# PVE pve-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pve buster pve-no-subscription
或者直接创建一个新文件:
echo 'deb http://download.proxmox.com/debian/pve buster pve-no-subscription' >> /etc/apt/sources.list.d/pve-no-subscription.list
国内的 Proxmox VE 软件源镜像:2
deb https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian buster pve-no-subscription
设置 Debian 国内镜像
Proxmox VE 基于 Debian 的软件源都可以替换成国内的镜像:3
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
然后更新 apt update
,然后升级 apt upgrade
生产环境中如果不想一直使用 root 账户来管理后台,可以参考官网 用户管理一章节的内容来添加账户,并分配给不同的角色。这一步可以先跳过,等后面部署真正用起来后再配置就行。
安装 sudo
apt install sudo
然后编辑 visudo
:
einverne ALL=(ALL:ALL) NOPASSWD:ALL
目前的Proxmox VE版本的linux内核版本比较新,已经包含了bbr模块了。
如果没有包含可以使用如下方法:
echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf
sysctl -p
# 验证
lsmod | grep bbr
经过上面的配置 Proxmox 已经处于一个可用的状态。
通过 ISO 镜像安装 Proxmox 后 Proxmox 会自动创建一个 pve 的 Volume Group,并在其上面创建 root, data 和 swap 三个逻辑卷。
默认情况下 Proxmox 会自动创建 local(pve) 和 local-lvm(pve) 这两个 Storage,分别用来存放镜像和磁盘:
上面两个存储是在 Proxmox 安装后自动创建的,使用 fdisk -l
来看,我的 Proxmox 是安装在了 /dev/sdc
这款 120G 的 SSD 上。
Proxmox 支持两类文件存储类型:
本地的存储类型肯定是最稳定的,但问题也就是空间大小有限制。但假如在万兆局域网中,网络传输造成的瓶颈就不存在了,那么可以创建网络存储,挂载其他设备,比如 NAS 上的文件系统。
在 GUI 界面中 Disks -> Directory 新建,要注意这里只有没有任何数据,没有任何分区的硬盘才能在菜单中显示,然后看到创建的执行日志:
# /sbin/sgdisk -n1 -t1:8300 /dev/sda
The operation has completed successfully.
# /sbin/mkfs -t ext4 /dev/sda1
mke2fs 1.44.5 (15-Dec-2018)
Creating filesystem with 976754385 4k blocks and 244195328 inodes
Filesystem UUID: rrrrr317-3e7f-4352-bda6-xxxxccde13fb
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000, 214990848, 512000000, 550731776, 644972544
Allocating group tables: 0/29809 done
Writing inode tables: 0/29809 done
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information: 0/29809 done
# /sbin/blkid /dev/sda1 -o export
Created symlink /etc/systemd/system/multi-user.target.wants/mnt-pve-sda.mount -> /etc/systemd/system/mnt-pve-sda.mount.
TASK OK
可以看到我创建的 Directory 在 /dev/sda
这款硬盘上,首先 Proxmox 用 sgdisk
创建了一个分区 sda1
,然后格式化了该分区为 ext4(这是我在 UI 界面中选择的),最后创建了一个挂载点,Proxmox 中是用 systemd 来管理的,具体可看到硬盘被挂载在了 /mnt/pve/sda
这个地方。
点击左侧边栏 DataCenter 下默认的 pve 节点,然后在右侧找到 Disks -> Directory ,新建 Directory。
这个时候需要注意,只有当硬盘没有任何数据的时候,才会在这里的菜单中显示。我在安装的时候是用的一块已经划分了分区的 1T 硬盘,所以需要 ssh 到后台,用 fdisk /dev/sda
来将分区删掉才能显示。
和 ISO 目录一样,ISO 目录用来存放 ISO 镜像,虚拟机目录则是真正划分给虚拟机用的分区。在 Disks 中选中 LVM,创建 Volume Group。
在安装成功的 Proxmox 系统中可以执行 pveperf
来检查一下 CPU 和其他硬件的性能。
右上角创建 Virtual Machine,这里以安装 OpenMediaVault 来举例子。在 OpenMediaVault 下载好镜像 ISO,并上传到 Proxmox 中 local(pve) 中。
创建虚拟机的第一步就是给虚拟机起一个名字。PVE 使用数字来标识虚拟机,Name 字段起一个标志性的名字。
在操作系统页面中,在 Storage 中选择刚刚建立的 ISO storage 目录,然后选择刚刚上传的 OpenMediaVault ISO 文件。
默认 Guest OS 会自动识别出对应的版本,下一步即可。
默认即可。
设置硬盘大小,这一块硬盘会划分给 OpenMediaVault 系统,因为 OpenMediaVault 安装后占用体积也非常小,划分 16G 磁盘空间就已经足够。
设置虚拟机可以使用的 CPU 核心数。
Type 选择 Host,可以提供最好的性能。
设置内存,OpenMediaVault 内存占用也非常少,动态的设定一个 1G 到 4G 的动态范围。
高级设置中可以设置动态的内存使用范围。
默认
点击既可创建成功。
安装及使用过程中的一些疑问和操作。
在界面中通过如下来移除一个存储:
Datacenter -> Storage -> Remove 选中的内容。
不过需要注意的是如果 GUI 移除了 Storage 定义, mount 文件并不会被删除,如果想要删除 mount 文件,只能通过 SSH 登录后台进行。Proxmox 中每一个 mount 都是由 systemd 管理,可以看到类似如下这样的文件。
假如新建了一个 testxfs
的存储,想要删掉:
cat /etc/systemd/system/mnt-pve-testxfs.mount
[Install]
WantedBy=multi-user.target
[Mount]
Options=defaults
Type=xfs
What=/dev/disk/by-uuid/xxxx6149-ce8f-4e36-94c4-xxxxxxj33e72
Where=/mnt/pve/testxfs
[Unit]
Description=Mount storage 'testxfs' under /mnt/pve
如果想要彻底删除的话,用 rm
把这个文件也删除。4
systemctl disable mnt-pve-testdir.mount
umount /mnt/pve/testdir
rm /etc/systemd/system/mnt-pve-testdir.mount
在创建磁盘的时候可以选择 Directory, ZFS, LVM, LVM-Thin 等等。
Directory 是最常见的文件格式,Proxmox 包括了 ext4,xfs 。更多的文件格式可以参考我之前的文章
Proxmox VE can use local directories or locally mounted shares for storage. A directory is a file level storage, so you can store any content type like virtual disk images, containers, templates, ISO images or backup files.
Directory 可以存储任何的类型。
LVM 是 Logical Volume Manager(逻辑卷管理)的简写,是 Linux 环境下对磁盘分区进行管理的一种机制
在 Proxmox 中 只有 LVM 有 Snapshot 快照功能,而 LVM-Thin 是没有的。相反如果建立了 LVM 分区,那么整个分区只能给虚拟机或者容器使用,其他文档是无法放进去的,LVM-Thin 则没有这个限制。5
在我想挂载 NAS 上 NFS 时,Proxmox 给了这错误,至今无解,不清楚是 NFS 版本不兼容的原因还是其他。
create storage failed: error with cfs lock ‘file-storage_cfg’: storage ‘Network-Proxmox’ is not online (500)
简单总结。
OpenVZ 基于 Linux 内核的操作系统级虚拟化技术。OpenVZ 允许物理服务器同时运行多个操作系统。目前正逐渐被 KVM 代替。
[[KVM]] 全称是 Kernel-based Virtual Machine,基于内核的虚拟机,
Xen 是开放源代码虚拟机监视器,由 XenProject 开发,经过十几年时间的发展,目前正逐渐被 KVM 代替。
[[LXC]] 名字来自于 Linux Containers 缩写,是操作系统级的虚拟化,LXC 是 Linux 内核容器功能的一个用户空间接口。
VMware ESXi 可以直接存取控制底层资源,有效的利用硬件。ESXi 是 VMware 推出的虚拟化系统,对个人的授权是免费的。
Hyper-V 是以 Hypervisor 为基础的虚拟化技术。适用于 x64 位的 Windows 系统。
一个 torrent 文件,本质上就是按照 BitTorrent 协议制作的一个包含一系列 meta 信息的文本文件,torrent 文件主要包含两部分重要信息,Tracker 信息和文件 meta 元信息。
在制作 torrent 文件时,会根据 BitTorrent 协议对目标文件进行分片,piece length 来表示一个分片,或者一块的大小,通常是 2 的 n 次方,根据目标文件的大小可以选择性的使用不同的 piece length。
通常情况下根据目标文件的大小选择合适的 piece length,如果分片太小就可能造成 torrent 文件过大。选择合适的分片大小,一方面可以减小 torrent 需要保存的元信息,另一方面也减少了对分片的校验耗时,下载时对分片的确认也可以加快。
如果使用 Transmission 那么 transmission-create 已经充分够用。
如果要使用 transmission-create 需要安装:
sudo apt install transmission-cli
创建一个 torrent:
transmission-create -o path/to/example.torrent --tracker tracker_announce_url --piecesize 2048 path/to/file_or_directory
创建一个私有 Torrent:
transmission-create -p -o path/to/example.torrent --tracker tracker_announce_url --piecesize 2048 path/to/file_or_directory
说明:
-p
: 私有种子,不使用 DHT-o
: 生成 torrent 文件路径-t
: tracker 地址-s
: 每个文件块大小(kb 单位,普通设置 2048即可)-c
: 备注,评论创建一个带 comment 的 torrent:
transmission-create -o path/to/example.torrent --tracker tracker_url1 -c comment path/to/file_or_directory
或者使用 mktorrent
命令也能够快速的制作 torrent 文件
sudo apt install mktorrent
或者使用源码编译安装:
git clone git@github.com:Rudde/mktorrent.git
cd mktorrent
sudo make
sudo make install
默认会安装到 /usr/local/bin/mktorrent
.
查看 man mktorrent
手册,非常容易理解。
mktorrent 1.0 (c) 2007, 2009 Emil Renner Berthing
Usage: mktorrent [OPTIONS] <target directory or filename>
Options:
-a, --announce=<url>[,<url>]* : specify the full announce URLs
at least one is required
additional -a adds backup trackers
-c, --comment=<comment> : add a comment to the metainfo
-d, --no-date : don't write the creation date
-h, --help : show this help screen
-l, --piece-length=<n> : set the piece length to 2^n bytes,
default is 18, that is 2^18 = 256kb
-n, --name=<name> : set the name of the torrent
default is the basename of the target
-o, --output=<filename> : set the path and filename of the created file
default is <name>.torrent
-p, --private : set the private flag
-t, --threads=<n> : use <n> threads for calculating hashes
default is 2
-v, --verbose : be verbose
-w, --web-seed=<url>[,<url>]* : add web seed URLs
additional -w adds more URLs
Please send bug reports, patches, feature requests, praise and
general gossip about the program to: esmil@users.sourceforge.net
举个例子:
mktorrent -v -p -d -c "Demo comments" -l 18 -a https://some.website/announce.php -o example.torrent path/to/dir_or_file
解释这个命令的含义一个一个选项看即可:
-p
标记 torrent 私有,不启用 DHT 和 Peer Exchange,如果不知道后面两个术语,可以参考我之前的文章-d
不写入创建时间-c
后接简短的描述信息-l 18
表示块大小,18 就是 2^18 bytes, 也就是 256kb 一块。如果不设置 -l 选项,默认也是 -l 18
-a
后接 announce URLs-o
后接输出的 torrent 文件mktorrent 在 1.1 版本之后添加了 -s
选项
-s : add source string embedded in infohash
表示添加额外的信息到 torrent 文件中。
使用 mktorrent 还可以使用 -w
选项来添加 web seed URLs。
Web seeding was implemented in 2006 as the ability of BitTorrent clients to download torrent pieces from an HTTP source in addition to the swarm. The advantage of this feature is that a website may distribute a torrent for a particular file or batch of files and make those files available for download from that same web server; this can simplify long-term seeding and load balancing through the use of existing, cheap, web hosting setups. In theory, this would make using BitTorrent almost as easy for a web publisher as creating a direct HTTP download. In addition, it would allow the “web seed” to be disabled if the swarm becomes too popular while still allowing the file to be readily available.
简而言之就是 Web seed 可以让 torrent 从 HTTP 来源来发布文件。
最后的最后求一枚 Open.CD 的邀请。
在之前文章总结的常见的 BitTorrent 客户端 中就曾经提及过 rTorrent, rTorrent 是一个 C++ 编写的 BitTorrent 客户端,ruTorrent 是它的其中一个 Web 界面,其他的还有 Flood 等等。
这篇文章就主要总结一下 rTorrent 和 ruTorrent 的使用和一些我使用的主题和插件。
这些天去看 LinuxServer 突然发现它们不再维护更新 rutorrent 的镜像,可以转用 crazy-max 编译的镜像。
或者直接使用我的 docker-compose.yml。先参考 README 修改对应的配置之后,docker-compose up -d
。
然后我比较喜欢 MaterialDesign 这个 ruTorrent 的主题,如果要使用可以通过下面方法,因为已经映射到了机器的路径,
~/rtorrent/data/rutorrent/themes
所以,直接在该目录中 clone 项目即可。
git clone git://github.com/phlooo/ruTorrent-MaterialDesign.git MaterialDesign
不过需要注意的是,只有重启了 Container 之后才会生效。
docker-compose restart
然后在设置中就可以切换主题了。
linuxserver 提供的 ruTorrent 很好用的。
docker pull linuxserver/rutorrent
如果想在该镜像的基础上增加 MaterialDesign 主题可以:
sudo docker exec -it rutorrent /bin/sh
cd /app/rutorrent/plugins/theme/themes/
git clone git://github.com/phlooo/ruTorrent-MaterialDesign.git MaterialDesign
chown -R abc:users MaterialDesign
最近有时间的话给 linuxserver 提一个 PR,先把 issue 提了
MaterialDesign 是当时用 QNAP 上 rtorrent-Pro 的默认主题,配色非常舒服就一直用着了。
MaterialDesign
如果还选择其他的主题可以看看这个合集
ruTorrent 还有一些很好用的第三插件,比如 File Manager,可以直接在网页中对文件进行复制,移动,压缩,重命名等。
LinuxServer 的 ruTorrent 镜像提供了最基本的 rtorrent 和 ruTorrent 功能,能用,但是不合心意。本来是提了 issue 和 PR 想把 MaterialDesign 主题提交进去的,后来发现 LinuxServer 本来的目的也并不是大二全,而成提供基础,任何人想要个性化或者扩展功能都可以以他们提供的镜像作为基础来扩展。1
所以我想的是在 LinuxServer 提供的 rutorrent 镜像基础上把我常用的功能给集成进去。
首先要说一下 Irssi, Irssi 是一个发明于 1999 年的基于文本的聊天应用。
autodl-irssi 是一个可以根据 filters 从 IRC announce channel 中自动下载 torrents 的工具。
而 autodl-rutorrent 则是在 rutorrent 之上的一个插件,但是配置则沿用了 autodl-irssi。
所有的过滤器都定义在 ~/.autodl/autodl.cfg
中。
适配移动界面:
Trigger
Do
archive the card
前两天看《软技能》一书作者提到了番茄工作法,回想起上一次接触这个词已经好几年前,虽然日常中也曾经尝试过几次,但都没有坚持下来。看书的过程中我就一直在想没有坚持下来的原因,整理思绪的过程中渐渐的有了一些概念,再结合番茄工作法的基本步骤,我发现遇到了这么几个问题:
番茄工作法是弗朗西斯科·西里洛在 1992 年创立的一个工作方式。Pomodoro 来自于意大利语。
美国一份研究显示,员工在公司,大约 3 分钟被打断一次。研究还表明,在电脑屏幕同时开启的窗口数平均是 8 个,精神病学家爱德华·哈洛威尔创造了名词“注意缺乏特征”(ADT) 来描述这个恶劣的现代生活方式。
并行处理和应对干扰的能力都面临同样的瓶颈:工作记忆的容量有限。每一次干扰都会使我们的大脑工作台上的原始信息丢失。当注意力丢失时,找回它需要付出昂贵的代价。1
自己造成的“内部中断”,比如在执行一个番茄时钟时,想要回复邮件,想要上厕所,或者诞生了其他想法。这个时候,不能直接中断,而是应该将新想法或者其他不紧急的事情放到“计划外紧急”中。然后在今日待办当前活动中记录一个撇号,表示一次中断。
如果是因为上厕所而中断的番茄时钟,则需要开启一个新的番茄时钟,来继续。保证番茄时钟的完整性。
别人造成的“外部中断”,应当尽可能的礼貌拒绝。而如果同时面临很多的事情需要立即处理,那么需要立即停止当前的番茄时钟,然后解决当前的事情,之后再开启新的时钟。
我之前就总结过我选择应用的准则:
显而易见,选择 Pomodoro 应用的时候必然要考虑到数据的问题。
KanbanFlow = Trello + Pomodoro
将看板和番茄工作法结合。
Windows, Mac, Linux
《泛滥的大脑:信息过载与工作记忆的限度》 ↩