Duplicacy 是一个用 Go 语言实现的,开源的,跨平台的备份工具。
特性:
这是一个对 Duplicacy 实现原理的简单介绍,完整的说明可以参考发布在 IEEE Transactions on Cloud Computing 的 Paper。
Lock-Free Deduplication 的三个重要内容:
variable-size chunking 算法又被称为 Content-Defined Chunking,被很多备份工具使用。相较于固定大小的块划分算法(rsync 所使用的),
检查一个块是否被上传过,只需要通过文件名(hash)执行一个文件查询。这使得只提供了非常有限操作的云端存储变成了一个非常强大的现代化的备份工具后端,既可以实现 block-level 的重复数据删除,也可以实现 file-level 的重复数据删除。不依赖于一个中心的索引数据库也就意味着没有必要实现一个存储系统上的分布式锁。
通过消除 chunk indexing database, 无锁的备份不仅减少了代码复杂度,也使得删除重复的过程变得没那么容易出错。
但存在一个问题,当并发访问时,如果没有一个中心化的索引数据库,那么删除 snapshots 的操作就变得非常困难。单一节点去访问文件存储是可以保证的,但是删除的操作可以简化成搜索没有被任何备份引用的块,然后删除他们。但是如果并发的访问,那么一个未被引用的块就不能被轻易地移除,因为可能另外一个备份进程正在引用同一块。正在执行的备份程序可能并不知道删除进程,所以在扫描的过程中可能认为该块存在,而不上传该块,但是删除进程可能在此时删除了该块,那么就造成了数据丢失。
但幸运的是,Lock-free deduplication 的删除问题有一个解决方案,就是 two-step fossil collection algorithm。这个算法会使用两个步骤来删除未被引用的块:
从项目 release 页面下载可执行二进制文件。
sudo wget -O /opt/duplicacy https://github.com/gilbertchen/duplicacy/releases/download/v2.0.10/duplicacy_linux_x64_2.0.10
sudo ln -s /opt/duplicacy /usr/local/bin/duplicacy
sudo chmod +x /usr/local/bin/duplicacy
在 Duplicacy 的概念中 storage 指的是备份存储的地方。这个地方可以是本地,也可以是 [[SFTP]],或者现成的云端存储服务比如 [[Backblaze]]。
repository 可以理解成仓库,可以将一个本地文件夹作为仓库。
snapshot 直译是快照,duplicacy backup
命令会将 repository 的一份本地快照备份到 storage。
Duplicacy 相关的命令:
NAME:
duplicacy - A new generation cloud backup tool based on lock-free deduplication
USAGE:
duplicacy [global options] command [command options] [arguments...]
VERSION:
2.7.2 (175ADB)
COMMANDS:
init Initialize the storage if necessary and the current directory as the repository
backup Save a snapshot of the repository to the storage
restore Restore the repository to a previously saved snapshot
list List snapshots
check Check the integrity of snapshots
cat Print to stdout the specified file, or the snapshot content if no file is specified
diff Compare two snapshots or two revisions of a file
history Show the history of a file
prune Prune snapshots by revision, tag, or retention policy
password Change the storage password
add Add an additional storage to be used for the existing repository
set Change the options for the default or specified storage
copy Copy snapshots between compatible storages
info Show the information about the specified storage
benchmark Run a set of benchmarks to test download and upload speeds
help, h Shows a list of commands or help for one command
GLOBAL OPTIONS:
-verbose, -v show more detailed information
-debug, -d show even more detailed information, useful for debugging
-log enable log-style output
-stack print the stack trace when an error occurs
-no-script do not run script before or after command execution
-background read passwords, tokens, or keys only from keychain/keyring or env
-profile <address:port> enable the profiling tool and listen on the specified address:port
-comment add a comment to identify the process
-suppress, -s <id> [+] suppress logs with the specified id
-help, -h show help
Duplicacy 可以备份目录级别数据。
cd path/to/dir
duplicacy init mywork sftp://user@192.168.2.100/path/to/storage/
开始备份
duplicacy backup -stats
每一次的备份都通过唯一的 repository id 和从 1 开始自增的 revision number 组成
#默认命令
duplicacy backup
#如果有多个存储目标,可以用-storage指定存储名称
duplicacy backup -storage storage_name
duplicacy list
# 查看指定存储的快照
duplicacy list -storage storage_name
# 查看所有存储的快照
duplicacy list -a
可以使用如下的命令还原:
duplicacy restore -r revision_number
说明:
list
命令查看。# 删除指定存储内所有快照
duplicacy prune -a
# 删除版本 2,`-r` 可以使用多次
duplicacy prune -r 2
# 删除一个范围
duplicacy prune -r 10-20
使用 -keep
选项可以指定保存策略,比如
duplicacy prune -keep 1:7
表示的是对于超过7天的版本,每天保留一个版本。总结一下,-keep
接受两个数字 n:m
,表示的是对于 m 天前的版本,每隔 n 天保留一个版本。如果 n 为 0,任何超过 m 天的版本会被删掉。
这样如果要实现删除 180 天前的版本:
duplicacy prune -keep 0:180
-keep
选项也可以使用多次,但是需要按照 m 值从大到小排列:
duplicacy prune -keep 0:180 -keep 7:30 -keep 1:7
[[Backblaze B2 Cloud Storage]] 提供了 10GB 免费存储空间
# 将本地存储加密备份到 B2 存储的 Bucket
duplicacy init -e repository_id b2://unique-bucket-name
执行命令后会需要输入 Backblaze 的 KeyID 和 applicationKey,这个在 Backblaze B2 后台可以查看。
执行备份:
duplicacy bacup
根据 [[3-2-1 备份原则]] 至少需要有三份完整的数据,其中一份必须在异地,Duplicacy 只需要添加多个存储即可实现多地备份。
cd path/to/dir
duplicacy init my-backups --storage-name backblaze b2://bucket-name
# add an additional storage
duplicacy add local snapshot_id /mnt/storage/
duplicacy add offsite_storage_name repository_id offsite_storage_url
说明:
add
子命令和 init
命令相差不多,主要区别在于需要为新的存储指定一个名字。这里的 offsite_storage_name
可以是任何想要的名字,主要是为了助记。Duplicacy 的第一个存储空间默认的名字是 default。当配置完成后使用 duplicacy backup
即可以实现多处备份。
如果只想要备份到一个地方,也可以使用 -storage
指定:
duplicacy backup -storage offsite_storage_name
另外一种推荐的做法是使用 copy
命令,将默认的存储内容复制到新配置的存储(offsite_storage) 上:
duplicacy copy -from default -to offsite_storage_name
cd path/to/dir1
duplicacy init backup1 sftp://user@192.168.2.100/path/to/storage
duplicacy backup -stats
如果在当前的文件夹想要恢复,那么直接使用 duplicacy restore -r 1
即可。
但是如果要在另外的文件夹,或另一台机器上恢复呢,也非常简单
cd path/to/dir2
duplicacy init backup1 sftp://user@192.168.2.100/path/to/storage
duplicacy restore -r 1
这里需要注意备份的远端地址需要是一样的。比如上面的例子中都使用 SFTP 的地址。
本地文件的话,直接写文件路径:
/path/to/backup
SFTP 语法:
sftp://username@server
Storage URL:
dropbox://path/to/storage
s3://amazon.com/bucket/path/to/storage (default region is us-east-1)
s3://region@amazon.com/bucket/path/to/storage (other regions must be specified)
需要提供 access key 和 secret key.
支持 [[2021-07-24-minio-usage | MinIO 自建对象存储]]: |
minio://region@host/bucket/path/to/storage (without TLS)
minios://region@host/bucket/path/to/storage (with TLS)
其他 S3 兼容的存储:
s3c://region@host/bucket/path/to/storage
wasabi://region@s3.wasabisys.com/bucket/path
wasabi://us-east-1@s3.wasabisys.com/bucket/path
wasabi://us-east-2@s3.us-east-2.wasabisys.com/bucket/path
wasabi://us-west-1@s3.us-west-1.wasabisys.com/bucket/path
wasabi://eu-central-1@s3.eu-central-1.wasabisys.com/bucket/path
s3://nyc3@nyc3.digitaloceanspaces.com/bucket/path/to/storage
gcs://bucket/path/to/storage
Google Cloud Storage 也可以在设置中开启 S3 兼容 那就可以使用:
s3://storage.googleapis.com/bucket/path/to/storage
azure://account/container
s3://us-east-1@storagegrid.netapp.com/bucket/path/to/storage
b2://bucketname
gcd://path/to/storage (for My Drive)
gcd://shareddrive@path/to/storage (for Shared Drive)
one://path/to/storage (for OneDrive Personal)
odb://path/to/storage (for OneDrive Business)
hubic://path/to/storage
swift://user@auth_url/container/path
[[WebDAV]] 链接:
webdav://username@server/path/to/storage (path relative to the home directory)
webdav://username@server//path/to/storage (absolute path with double `//`)
更多的 Storage URL 可以参考这里
#!/bin/bash
#关闭服务
#duplicacy变量
export DUPLICACY_B2_ID=b2_id
export DUPLICACY_B2_KEY=b2_key
export DUPLICACY_PASSWORD=your_password
#导出数据库
cd /data/mysql/
/usr/local/mysql/bin/mysqldump -h 127.0.0.1 -P 3306 --all-databases > /data/mysql/all.sql
zip -mqP password ./all.sql.zip ./all.sql
#增量备份mysql文件夹
cd /data/mysql/
duplicacy backup
#增量备份wordpress文件夹
cd /home/wordpress/
duplicacy backup
#删除60天前的快照,超过30天的快照每15天保留一个
duplicacy prune -all -keep 0:60 -keep 15:30
#启动服务
Duplicacy 和 duplicity 相比较而言,Duplicacy 在备份很多次的情况下会比 duplicity 占用更多的空间,但是 Duplicacy 每一次备份的时间都要远远少于 duplicity。
duplicity 有一个严重的缺陷在于其增量备份方法,每一次备份都需要用户选择是否全量备份或者增量备份,并且其设计决定了在一个备份了很多次的仓库中删除任何一个历史的备份变得不可能。
具体的比较可以参考这里。
很早就开始用 Netdata,新买来的 VPS 直接一行命令就可以安装,并且提供了一个非常不错的监控后台。但是因为没有办法在一个中心化的地方管理我所有的机器,所以之前都是用一个简单的 nodequery 服务来监控服务器是否在线,CPU、内存、流量使用率,但 nodequery 已经很多年没有更新,而最近去看 Netdata 官网的时候发现其退出了一个 Netdata Cloud 的服务,体验下来确实直接可以代替 nodequery 了。
[[Netdata]] 是一款非常漂亮并且非常强大的监控面板,由于 Netdata 并没有提供验证等等功能,所以一旦启动,所有人都可以通过 IP:19999 来访问监控面板,虽然 Netdata 做了充分的安全检查,后台面板对系统只读,黑客或破坏分子并不能通过监控面板来控制系统,但是有心人还是能够通过面板来看出系统运行的服务,从而进行破坏,所以一般会通过反向代理或放在防火墙后面来规避安全问题,但与此同时带来的管理上的困难。
在之前 Netdata 没有提供 Netdata Cloud 服务之前,需要自己配置防火墙,只允许特定 IP 访问;或者配置反向代理,通过密码进行保护1。现在通过 Netdata Cloud 多了一种完美的解决方案,我们可以将 Netdata 数据添加到 Cloud,然后禁用本地暴露在 19999 端口的面板。
并且通过 Cloud 后台,可以在一个中心化的地方监控到所有机器的状况,并且 Netdata Cloud 还提供了免费的邮件报警服务。
虽然 Netdata Cloud 服务并不复杂,但这里还是要提前把一些概念理清楚一下。
每一台机器都都相当于一个节点。
War Rooms 组织节点,提供了跨节点的视图。可以认为 War Rooms 是一系列节点的合集。
几种方式管理 War Rooms:
Spaces 是一个高层级的抽象,用来管理团队成员和节点。Spaces 下面会有不同的 War Rooms。这也就意味着通过 Space 可以让成员和节点在一起。
这样也就可以将特定的后台分配给不同的成员。
使用 docker exec 将已经在运行的节点添加到 Netdata
docker exec -it netdata netdata-claim.sh -token=TOKEN -rooms=ROOM1,ROOM2 -url=https://app.netdata.cloud
其中:
编辑 vi /etc/netdata/netdata.conf
配置文件:
找到 bind to 这样行,修改为:
[web]
bind to = 127.0.0.1 ::1
然后重启 sudo systemctl restart netdata
对于 Docker 安装的,直接在配置中将 19999 的端口映射移除即可。
不久之前和朋友约去了趟植物园,聊起读书是否是第一要务的时候产生了一些分歧,关于是否要去学习如何学习这一件事情产生了一些分歧。我站在的立场是读书是必须的,而我朋友则认为在有限的时间里面实践要优先于读书。而关于要不要学习如何学习这一件事情,他仍然坚持自己的实践而非去了解如何学习。
在我仔细思考,以及阅读了相关的文章之后慢慢地对我朋友的一些想法产生了一些理解。但在一些观点上我依然坚持我自己的看法。在我看来实践固然重要,但读书在我看来一样的重要,在我过去年的学习生活中,我曾经尝试过这种各样的媒介,但是没有一个能够提供图书所带来的成体系的知识。
首先我要来阐述一下,我自身的两种读书方式:
恰好不久前看到 [[罗翔]] 老师的一段话,让我深有感触:
如果读书的目的是为了成功,其实很多书是没有必要读的,学习法律就天天读法律条文就可以了?还需要读莎士比亚吗?还需要读[[201910271449-论法的精神]]吗?没有必要啊,你的目的成功了,多读读成功学不就得了吗? 我们读书一定有两种目的,不否认有功利性的目的,比如要准备高考,要准备其他考试,但是更重要的一种读书是非功利性的读书,因为只有这种非功利性的读书,你才能够抵制成功主义的读书,你才能够坦然的接受自己的命运,坦然的接受自己的失败,一个人真正的成功不是在他辉煌的时候有多么的风光,但关键在于在挫折的时候,在低迷的时候,你是不是依然有勇气继续前行,这就是为什么我们依然要进行非功利性的阅读。因为只有非功利性的阅读,才能够给我们提供一种真正的人生勇气,去面对人生的大风大浪,每个人这一生一定会遭遇苦难,那在苦难的时候,你是否依然有继续活下去的勇气。
在我看来非功利性地读书才是真正让我可以静下来理解这个世界的方式,让我的心智可以更加接近真实的世界。
虽然我认为读书是人进步非常重要的一环,但是我也知道读书不是获取[[知识]]唯一的来源。
既然提到了人类知识的来源,就要仔细的推敲人类的知识是从何而来的,[[洛克]]在[[人类理解论]]中对人类思维的方式做了概括性的描述:
- Combining several simple ideas into one compound one, and thus all complex ideas are made.
- The second is bringing two ideas, whether simple or complex, together, and setting them by one another so as to take a view of them at once, without uniting them into one, by which it gets all its ideas of relations.
- The third is separating them from all other ideas that accompany them in their real existence: this is called abstraction, and thus all its general ideas are made.
这一段话也被 Obsidian 描述在其帮助文档中,这一段话让我受益匪浅。那我继而追问,我们的 idea 从何而来,可以想到的便是,第一产生自我们自己(不管是根据自己的经验得来,还是观察这个社会总结而来),第二从别人那边吸收而来。
那么对应到我们的现实世界,我便认为从我们自身经验产生的 idea 可以以实践的方式获得,而从别人那边获取的 idea,以我自身的经验,图书便是非常重要的来源,当然如今这个信息化的时代还有许多其他的途径。任何产生新的 idea 的内容都是值得阅读的,对于走在一线的研究人员,期刊、文献可能是最重要的知识来源,对于在一线的开发人员,技术的实现原理 GitHub 上的代码可能是重要的知识来源。当认识到这一点之后便不会再局限与图书,读书固然是知识来源重要的一个来源,但是只要是能够产生新的 idea,并且可以和自己现有的 idea 产生新的碰撞的信息来源都是值得我们去阅读,了解的。
和我朋友所站的立场一样,我也认同实践的重要性,但是我认为光有实践是不行的。要从实践中获取经验,然后对经验反思总结和提炼,做到洛克在第三点中所说的那样,抽象化,形成新的思维模型和方法论。而这个「方法论」恰恰就是那些经典的图书所能带给我们的。
然而一旦通过图书获得了对某个观念,某个概念的基础认识之后,就应该通过理论去指导实践。读书无法代替实践,但是通过图书形成的理论可以让我走得更加自信。
在[[202008161501-如何阅读一本书笔记]] 中作者 [[Mortimer J. Adler]] 提出了阅读的四个层次
在结合自身的经验,我发现我经过这样三个阶段:
但这三个阶段都有一点要非常注意的事情就是,当我们去阅读的过程中,不仅要去了解作者的观点,也要将作者的观点溶化形成我们自己的观点,[[密尔]]、[[洛克]] 所生活的时代早已经过去,我们如今要思考的是,这些先哲们的思考对当今的生活有什么启示。
在说了这么多读书的必要性之后,还有必要在谈一谈图书存在的问题,我并不认为每一本都值得去阅读,在上面的提及的 [[检视阅读]]中作者就说,在阅读时,你可以快速的先了解一下书的目录,在特定的时间中快速完成阅读,了解这是什么类型的图书,这本书在讨论什么内容。在有了这个基础之后再决定哪一部分内容需要仔细阅读,又或者可以直接不读,或者放着以后再读。
当以这样的方式进行读书的时候,会发现图书这样一些问题:
在经过了上面的三个阶段之后,会发现自身不自觉的从一种被动的接受信息的状态,变成了主动探索信息的状态。我很早以前就使用 InoReader 来作为每天的新闻信息来源,但是我发现这样的方式仅仅停留在了第一个阶段,看过即忘,没有形成自己的体系,所以渐渐的就不再去追寻最新的新闻,慢慢的从这个嘈杂的新消息中脱离出来了。
那这个时候产生的问题便是如何以最快的速度获取信息,我的方法便是「搜索」,我发现我关心的事情也不会那么多,有什么我不清楚或我想要了解的主题时,我便使用搜索的方式,先确定我大致可以参考的书目,比如最近我想要了解[[期权]],那么我先看看 Kindle Unlimited 中包含这个词的书有哪些,再 Google 搜索一下推荐书目,看过两三个页面之后大概就会有一个基础印象,那么接下来就是完成这些图书的阅读,并且总结出自己的知识体系,然后通过这个知识体系来指导我的实践。然后在真实的操作之中总结出自己的理论,再放入到自己的知识库中(对我而言就是我的Zettelkasten笔记库,和博客)。
[[主动学习]],有针对性的获取信息,不仅可以避免自己陷入信息的汪洋,也可以扩展自己的认知边界,将新的、不同的理论纳入到自己的知识体系,不断地完善自己零散的思维模式。最关键的是,当不断阅读自己的感兴趣的内容时,会自发的产生兴奋的状态,并且可以不断往外延伸出不同的主题,当我去了解洛克的时候,我又发现了[[霍布斯]],当再去了解[[西方哲学史]]的时候,又追溯到[[柏拉图]],[[亚里士多德]]等等,而当我对[[期权]]感兴趣的时候,又会好奇郁金香球茎泡沫事件的发生,继而不断地发现新的好奇的事物。
早之前就已经在 Linux 和 macOS 上配置了 RIME 并且一直使用到现在,但是在主力的 Android 上从最早的触宝输入法,后来切换成 Gboard,日常使用倒是没什么大问题,就是有一些词总是需要翻页才能找到,这让我非常不爽,就想手机上能不能用 RIME,于是就有了这篇水文。
开源地址:https://github.com/osfans/trime
最大的问题便是词库不全,在桌面端虽然 [[RIME]] 也不能及时更新词库,但是只要我在 RIME 中输入一遍后,便再没有这个问题,并且 RIME 会记住你所造出来的词,并且根据输入习惯去调整该词出现的优先级,使用起来非常舒服。
另外一个便是 Gboard 没有同步桌面输入法的输入习惯,一是上面提到的词库问题,二便是词语出现的位置,我感受到我经常需要手动的去选择词语的位置。
这应该是一个被无数次提起,又被无数人遗忘的事情,就像我之前提到 的那样,很多人已经忘记了这些「云」输入法后台明文上传用户的输入,也很多人不知道其实搜狗输入法的云同步记录是无法让用户删除的。虽然我承认从 PC 切换到移动端的那几年个人的同步词库确实会有很多帮助,但实际上 RIME 也能轻松的做到。
不过每一次从闭源到开源的切换,都让我有意外的收获,感慨开源社区的伟大,从 Dropbox 切换到 Syncthing,让我体会到了同步文件原来还可以这样迅速,再不用考虑 Dropbox 中心服务器的同步速度问题;从 Evernote 切换到 Joplin,[[Joplin]]不仅网页剪切速度快,并且还可以调用本地编辑器,比如 vim 对笔记内容进行编辑;从 LastPass 切换到 Bitwarden,发现原来 Linux 客户端可以这么好用,macOS 也可以充分利用 Touch ID。
尝试 Trime 同文输入法也是一样,在 Play Store 上安装之后用 Syncthing 把我桌面端的 rime-config 配置同步到了手机上,然后拷贝了配置到 sdcard 下面的 rime 文件夹,Deploy 一下直接就能用了。
在进入基础配置使用之前,最好先熟悉一下桌面版 RIME 的配置。
RIME 使用 yaml
作为配置文件,在 RIME 的不同客户端中,会有一个单独的配置来配置该客户端相关的内容:
squirrel.yaml
weasel.yaml
而在 Android 上是 trime.yaml
,安装完成后你可以在手机 sdcard 根目录的 rime
文件夹中看到该配置文件。
个人推荐在 Android 端使用 Syncthing 将 rime
配置文件夹同步到电脑端,并使用 Vim 编辑,之后会实时同步到 Android 文件夹中,这样就避免了每次都需要使用 adb
把配置文件 push
到手机的麻烦。
同步之后可以看到文件夹下的相关配置,基本上和桌面版的 RIME 是一致的:
default.yaml
,各输入方案共享的全局配置default.custom.yaml
,(可选)对 default.yaml 的修改,不会随着客户端的更新而被覆盖,所以对 default 的修改可以通过 patch 的方式放入该配置文件xxx.schema.yaml
,xxx 输入方案的配置xxx.custom.yaml
,(可选)对 xxx.schema.yaml
的自定义修改xxx.dict.yaml
, xxx 输入方案的词库(字典)默认的主题并不是不能用,但如果你想更加个性化,你可以定制同文输入法键盘的任何地方。
在 Trime 的主题设置中,同一个主题可以包含多套配色。
主题中可以定义键盘布局,而配色则可以更改总体外观。
Trime 已经内置了常用的键盘布局,在 trime.yaml
中搜索 preset_keyboards
就可以看到:
我个人比较倾向于使用 36 键的布局,比如 Gboard 的布局,在输入数字的时候会方便很多。
在你所使用的主题中,比如 xxx.trime.yaml
中设定:
preset_keyboards:
double_pinyin_flypy:
__include: /preset_keyboards/qwerty0
首先找到 preset_keyboards
,如果没有自己手动创建,然后在它下面创建如上的配置。
之前使用整理 Evernote 代替品 的时候就提出了我自己的一个需求,就是有一个完善的 Web Clip 系统,Evernote 和 WizNote 都做的比较不错。但 Obsidian 并没有提供类似的工具,不过幸好 Obsidian 使用 Markdown 来管理文档,这样的开放程度使得我可以寻找一个将网页变为 Markdown 的浏览器扩展就能做到。
经过一段时间的调研和搜索我发现了如下这些可选项:
这三个插件都是开源的,各自有各自的特点,markdown-clipper 是我最早使用的插件,点击一下就可以将整个网页保存成 markdown 文件并下载到本地,而 markdownload 则可以在点击之后先预览一下生成的 markdown 调整之后再下载本地。obsidian-clipper 则可以选中内容,然后点击之后自动打开 Obsidian,然后新建并保存内容,但该插件处于早期开发阶段可能会遇上一些问题。不过我个人在 Linux 下尝试还是非常不错的,并且开发者还挺活跃。
不过一定要当心的是,别被可以无线膨胀的信息冲昏头脑,将网页内容存入 Obisidian 是为了后期阅读或消化,别放入之后便不再阅读。
所以我的方式是在 Obsidian 中单独新建了一个文件夹 Web Clip
所有摘录的文件第一站便是这个地方。一旦我有时间,就会向使用那个稍后阅读应用 Pocket/Instapaper 一样,将 Web Clip 文件夹中的内容按照次序阅读并拆解,并将重要的内容吸收到 Obsidian 之前的笔记体系中。一段时间之后 Web Clip 会自动清空。
我经过一段时间的使用之后,觉得 Obsidian Clipper 的使用最直接,选中,点击,然后就自动打开 Obsidian 新建了笔记。但目前为止唯一让我不太满意的就是有的时候无法调用起 Obsidian。这个时候就使用 markdownload 作为辅助。
配置:
{zettel}-{title}
#obsidian-clipper #web-clipper #markdown-clipper
{clip}
Clipped from [{title}]({url}) at {datetime}.
在使用一段时间之后,最终选定了 MarkDownload ,因为转换的 Markdown 文件格式最好,并且可以批量下载文章中的图片。
我在使用了半年 macOS 之后,又回到了 Linux 的怀抱,虽然 macOS 有其自身的优势,我也不否认 macOS 系统上软件生态的友好,但我发现即使我将日常开发主力机器装回到 Linux,也没有丧失操作系统的便捷性和易用性。这或许和我下意识的只使用跨平台的软件有关,并且最长使用的软件几乎都是一套快捷键。
一开始从一个系统切换到另一个系统的时候,难免会有一些东西需要学习,但是其内在的逻辑是一致的,操作系统无非是提高了上层应用运行时的环境。并且如今跨平台的软件越来越多,只要数据在我这里,无论在哪一个系统中都可以迅速地开始自己的工作。
这一次无意间迫使我回到 Linux 的原因之一就是我发现 macOS 并没有我想象的稳定,在最近的使用过程中经常发现一些古怪的问题,并且我无法自己解决,必须售后客服解决,这更让我意识到我不能完全依赖这一个系统,即使我每天备份,数据没有问题,但一旦发生致命性的问题,我依然需要借助客服去解决(当然这里要提一句苹果的售后客服确实是不错的)。
最近自动更新之后又发现了一个问题,/usr/libexec/secd
占用非常高的 CPU,然后导致风扇狂转。
幸而这个问题,我简单的搜索了一下之后就找到了解决方法,删除 ~/Library/Keychains
目录并重启电脑。这个目录中保存了本地的 Keychain 一些密码,网上的说法大概率和 Keychain 的更新机制有关系。
我一度以为 macOS 上的应用质量很高,但实际使用后发现,确实在日常使用上高于 Linux 上大多数的应用,但是 macOS 上依然会发生 Application Not Responding 的问题,即使我的配置是 i9+32G,也时不时的出现转圈。
记录一下常用的命令:
Bitwarden
sudo snap install bitwarden
Chrome
sudo apt update
sudo apt install google-chrome-stable
zsh, tmux, vim, rime,
同步的配置
之前在 Twitter 上看到一套将 Linux 上的快捷键和 macOS 映射成一致的解决方案:
但是,在经过我的尝试之后我还是没有使用上面的方案,在终端中 macOS 上也是使用 Ctrl
,在 Linux 和 macOS 上使用大部分快捷键,我能用 vim-key-binding 就使用 Vim-key-binding 的,比如在 Chrome 中使用 Vimium,在 Obsidian 开启 Vim 快捷键映射,在 IDEA 中使用 Vim 插件,已经满足我大部分的日常使用。
今天用得好好的电脑突然三次黑屏,两次发生在早上刚刚使用的时候,一次发生在晚上回家之后。所以一怒之下就直接上官网联系了 Apple Support,但是也不知道是不是我直接登录的 .com
网站,在我提交了 Support 之后一分钟一个外国小哥打了电话过来,我一下子没反应过来,只能用着不那么熟练的英语开始了 macOS 修复之路。
我简单地向这位技术小哥描述了我的问题,大致意思就是系统突然崩溃了三次,然后在聊的过程之中,经过他的提醒,我发现出现问题的时候都是系统从睡眠状态中恢复,并刚开机不久,在打字的过程中,突然风扇很响一声,电脑就黑屏了。
虽然这个时候能启动,并且启动之后运行有没有问题,但是技术小哥还是提议清理一下系统的缓存,和 NVRAM,虽然在讲电话的过程中我并不知道 NVRAM 是什么,但后来查了发现 macOS 会在这一块区域存放一些硬件配置信息。
在技术指导的过程中,发现我的硬盘剩余空间只剩下了 27G,技术就判断这可能是因为磁盘空间不足导致,睡眠的时候一些系统的内存的缓存问题而导致的系统故障,然后又指导我清理了一下系统 Cache。
我就在技术的指导下,进行了一系列的操作,总结如下。如果有人遇到了相同的问题,可以自行先试试了。
我在网上查询技术小哥让我执行的操作时,发现其实做的第一步就是重置了 S.M.C。
技术先让我正常关机,等 Mac 完全关机之后,让我按下左边的 Shift,Control 和 Option 按键,然后同时按下电源键(Touch ID 开机键)并持续 10 秒时间。这个是重置 MacBooks S.M.C 的方法。这个步骤之后,重新按下电源键,笔记本会正常启动。
S.M.C 是 System Management Controller 的缩写,这是电脑上的一块微控制器,在 Intel 芯片的 Mac 上同来处理不同的电源,灯光,传感器等等硬件。
如果 Mac 不响应电源按键也可以尝试使用上面的步骤进行重置。
当你发现电池无法正常充电, Mac 无法识别插入 USB-C 端口的设备,或者键盘背光无法正常工作,或者睡眠功能运行不正常的时候,重置 S.M.C 可能是有用的。其他的症状比如系统的风扇高速运转,或者即使没有运行很多应用程序但 Mac 也运行迟钝,这时候重置 S.M.C 可能有效。
An S.M.C. reset may help if you notice things like the battery is not charging properly, the Mac does not recognize devices plugged into its USB-C port, the keyboard backlight is not working correctly or the sleep function is out of whack. Other symptoms include the computer fan’s running at high speed or the Mac’s acting sluggish, even if you are not using a lot of processor-hogging programs.
Apple’s support site has a full guide to the S.M.C. reset process for all its Intel-based Macs, including those with removable batteries and desktop models. The guide also lists a series of things you should try before resetting the S.M.C. While performing a reset does not generate an alert box or notification, you can tell if you were successful if the odd Mac behavior stops. (You may also have to redo any preferences for your display and power-management settings.)
重置 S.M.C 可能修复一些不确定的错误行为,但不会对任何电源的损坏或者硬件的故障有任何帮助。
现在的 Mac 会在 nonvolatile random access memory(NVRAM) 的地方存储一些设置。如果 Mac 无法操作音量,屏幕分辨率,时区信息,或启动影片,那么极有可能是存放在 NVRAM 中的信息损坏了。
你通过如下的方式可以 重置 NVRAM 或 PRAM :
在执行这一步之前请一点先做好系统的全盘备份,使用 Time Machine 将系统备份到外置存储中。
然后打开 Finder:
在打开的文件夹中删除 Caches
文件夹:
我在执行完这一步之后释放了大约100G的空间。
用了半年多 macOS,虽然不错,但工作用还是觉得 Linux 比较顺手,所以经过了半年时间还是从 macOS 切换回了 Linux。然而需要解决的一个问题便是我之前的 macOS 上使用 VMware Fusion 的个人授权安装了一个 Windows 用来进行一些调试,现在有一些配置因为需要依赖外部人员进行操作,证书之类的,只能想办法把 Fusion 上的虚拟机转移到 Linux 下的 VMware Workstation 中。
在正式迁移之前先了解一下磁盘上的几类文件,这些文件都是和 VMware 虚拟机相关的。
VMware 虚拟化软件比如 VMware Workstation 和 VMware Fusion 的配置文件。
存储使用「新建虚拟机向导」创建的虚拟机设置;包括内存、硬盘和处理器限制等。
VMX 文件使用纯文本格式保存,并包含配置 属性=值
。
比如,内存限制是
memsize = "2048"
表示虚拟机允许的最大内存为 2G。
Fusion 保存的 VMX 文件通常存储在 .vmwarevm
包内。
VMDK 文件表示 Virtual Machine Disk
,是虚拟机的虚拟硬盘格式。通常 vmdk
文件包含这虚拟机所需要的所有文件。
经过一些调研,虽然 VMware的官网 写着可以通过菜单里面的 Export 来将虚拟机导出成 OVF 格式,但是我一查发现我用的并不是 Fusion Pro 版本,也没有这一个选项。
所以只能另找办法,后来发现有人发现了 VMware 这个命令行工具可以进行转换。
cd /Applications/VMware\ Fusion.app/Contents/Library/VMware\ OVF\ Tool/
./ovftool <PATH TO SOURCE VM's .vmx file> <PATH TO OUTPUT ova file>
# example
./ovftool --acceptAllEulas ~/Documents/Virtual\ Machines.localized/CentOS\ 6.5.vmwarevm/CentOS\ 6.5.vmx /tmp/CentOS6.5.ova
但还没进行尝试,就发现原来 VMware Workstation 和 Fusion 只是两个操作系统上的不同实现,其实虚拟机部分还是相同的,查看其硬盘上的文件,发现结构类似,文件类型也差不多,所以就萌生了先 scp
导过来看一下能不能直接使用的想法,经过一段时间的拷贝,发现 Linux 下的 Workstation 可以直接识别。
在迁移了 Windows 第一次启动的时候,报了一个错:
was created by a VMware product that is incompatible with this version of VMware Workstation and cannot be used. Cannot open the configuration file.
这个错一看就知道可能是版本不兼容的问题,我的 Fusion 是最新的 12 版本,而 Workstation 则是很多年前安装的 15 版本。后来查到可以通过修改 vmx
配置文件解决。
修改 vmx
中的 virtualHW.version
版本到一个比较低的版本即可。
二者对应的版本可以通过如下这张表进行查看。
Virtual Hardware Version | Products |
19 | ESXi 7.0 U2(7.0.2) |
18 | ESXi 7.0 U1 (7.0.1) Fusion 12.x Workstation Pro 16.x Workstation Player 16.x |
17 | ESXi 7.0 (7.0.0) |
16 | Fusion 11.x Workstation Pro 15.x Workstation Player 15.x |
15 | ESXi 6.7 U2 |
14 | ESXi 6.7 Fusion 10.x Workstation Pro 14.x Workstation Player 14.x |
13 | ESXi 6.5 |
12 | Fusion 8.x Workstation Pro 12.x Workstation Player 12.x |
11 | ESXi 6.0 Fusion 7.x Workstation 11.x Player 7.x |
10 | ESXi 5.5 Fusion 6.x Workstation 10.x Player 6.x |
9 | ESXi 5.1 Fusion 5.x Workstation 9.x Player 5.x |
8 | ESXi 5.0 Fusion 4.x Workstation 8.x Player 4.x |
7 | ESXi/ESX 4.x Fusion 3.x Fusion 2.x Workstation 7.x Workstation 6.5.x Player 3.x Server 2.x |
6 | Workstation 6.0.x |
4 | ESX 3.x ACE 2.x Fusion 1.x Player 2.x |
3 and 4 | ACE 1.x Lab Manager 2.x Player 1.x Server 1.x Workstation 5.x Workstation 4.x |
3 | ESX 2.x GSX Server 3.x |
在菜单栏 View 选择 Fit Guest Now.
Copy the VMDK file from the VMware Workstation virtual machine to the Mac running VMware Fusion.
Open VMware Fusion and create a new virtual machine.
Click “Continue without disk.”
Click “Use an existing virtual disk,” then double-click the VMDK file and click “Continue.”
Choose the operating system type, if prompted, then click “Continue.”
Select whether or not to run the virtual machine automatically.
Click “Customize Settings” to adjust the virtual machine’s allocated resources, such as CPUs and RAM.
Close the settings window and then power on the virtual machine.
总结一下 VMware Workstation 和 Fusion 中的虚拟机网络设置的选项。
VMware 产生的虚拟机会有以下几种网络模式:
虚拟机通过桥接,直接连接到物理网络。虚拟机会和主机在同一个子网中。比如你的宿主机的 IP 是 192.168.1.100,并且所在的网络中存在一个 HDCP 服务器(比如路由器等),那么虚拟机就会获得一个 192.168.1.x 的 IP 地址,表现成网络中的另外一台电脑一样。
Used to share the host’s IP address,这种模式给予了虚拟机连接到 Network Address Translation 网络的能力, 虚拟机会自动才 VMware Workstation DHCP 服务器获取一个 IP 地址,子网掩码。
这个 IP 和宿主机的网络不在同一个子网中,这个地址通过宿主机网络地址转化过。
一个和宿主机共享的私有的网络,虚拟机会被隔离在这个私有网络中,无法去访问宿主机本地网络和互联网。运行在 Host-only 网络下的虚拟机通过内部的 DHCP 服务器获取 IP 地址。你可以在这样的网络中运行一系列的虚拟机,他们之间可以网络通信。
事实上,如果禁用了和宿主机之间的网络和 DHCP,你就可以获得一个完全私有的网络。通常情况下,如果想要虚拟机访问互联网,你需要使用虚拟机的路由,比如 pfSense, VyOS 等等。
指定虚拟网络。
在 VMware Workstation 的 Edit 菜单中,可以看到 Virtual Network Editor 选项。在这个菜单中可以对虚拟网络进行管理。
在其中管理的虚拟网络,可以在虚拟机网络的 Custom 中进行使用。
LAN Segments 是 VMware Workstation 在 9 之后增加的功能。和其他网络设定不同,LAN Segments 只能通过每一个虚拟机的网络去管理。
LAN Segments 创建了一个没有 DHCP 的完全隔离的私有网络,这意味你必须给虚拟机分配一个 LAN segment。你必须要配置一个静态IP地址,或者使用自己的 DHCP 服务器。
相较于其他网络设置的好处是,你可以创建任意多个 LAN segments,并且可以指定你自己的名字来区别。这个功能在设置复杂的虚拟网络的时候尤其有用。
去年年中的时候切换到 macOS,一直用 ClashX,时隔半年又迁移回了 Linux1,发现原先使用的 V2rayL 虽然能用,但是有些简陋,并且不支持分流,并且如果一个地址失效了,还需要手动地进行切换。所以看到 Linux 的 Clash 可以自动进行流量切换的时候,就试一下。
Clash 是 Go 语言实现的,跨平台代理工具,支持 Shadowsocks/v2ray,支持规则分流等等。
可以在官方页面下载。
Linux 下载对应的 linux-amd64
即可。
在用了很长一段时间的 Clash 命令行之后,我发现 Clash For Windows 这个应用也能够在 Linux 下使用。所以最近就切换到了这个应用上。
另外欢迎订阅使用 EV Proxy 注册之后一键订阅即可使用。
下载对应的二进制,比如默认放到 ~/Downloads
目录,在终端进入该目录。
gunzip clash-linux-amd64-v0.18.0.gz
sudo mv clash-linux-amd64-v1.4.2 /usr/local/bin/clash
sudo chmod +x /usr/local/bin/clash
./clash
clash 启动后会在 ~/.config/clash
目录生成配置文件。
ls -al ~/.config/clash
.rw-r--r-- 10 einverne 23 Mar 19:30 config.yaml
.rw-r--r-- 4.0M einverne 23 Mar 19:30 Country.mmdb
比如说对于我使用的Wallless代理,在后台复制地址之后,在网址的后面增加 &flag=clash
获取 clash 的配置文件,右击网页 Save as,选择仅网页内容,下载到本地, sub.html
。
另外还有一个代理,有兴趣的可以试用一下。
然后将查看 sub.html
内容,应该是一个 yaml 格式的文件。将此格式的文件替换默认的配置。
cat ~/Downloads/sub.html > ~/.config/clash/config.yaml
然后重新执行 /usr/local/bin/clash
。
此时检查一下配置中的 socks 端口,我一般用本地的 1080,修改一下:
socks-port: 1080
然后再运行。去浏览器中,访问 youtube.com 检查一下。
如果正常访问即完成了配置。
在配置开机启动之前,将配置文件移动到 /etc
目录:
sudo mv ~/.config/clash /etc
以后修改配置都记住修改 /etc/clash
目录下的这个配置文件。
然后使用 vi
增加 systemd 配置 sudo vi /systemd/system/clash.service
放入如下内容:
[Unit]
Description=Clash Daemon
[Service]
ExecStart=/usr/local/bin/clash -d /etc/clash/
Restart=on-failure
[Install]
WantedBy=multi-user.target
启用 clash service:
sudo systemctl enable clash.service
手动启动 clash.service:
sudo systemctl start clash.service
可以使用 systemd 提供的 disable
, stop
等等命令来管理。
如果要查看 Clash service 的日志可以使用:
journalctl -e -u clash.service
如果想要将日志单独记录到文件,可以使用 systemd 的 StandardOutput
和 StandardError
将日志定向到文件中。这部分可以参考 systemd 的文档
# Works only in systemd v240 and newer!
StandardOutput=append:/var/log/clash/log.log
StandardError=append:/var/log/clash/error.log
Clash 提供了默认的 9090 端口作为远端管理端口,在配置中可以看到:
external-controller: '127.0.0.1:9090'
这样的配置。
可以使用 Clash 远程管理的页面进行管理: http://clash.razord.top/#/proxies
这个页面要求提供,Host,Port,Secret 三个输入:
其中 Secret 是在配置文件中通过:
secret: 'xxx'
进行配置的。