再见公有云

2019 年一整年都在履行着一件事情,那就是把以前所有用过的云服务替换成自己部署的私有云服务。

文件同步

我是很多年 的 Dropbox 用户,至今为止所有的设备上也都安装着 Dropbox, 很多经常性使用的文件,配置也都在同步着,除了有些时候的网络问题,绝大部分使用完全没有问题。但之后陆续接触了一些其他文件同步工具,比如 pCloud,知道了原来可以端到端同步让文件同步更加安全;知道了 NextCloud,原来可以把数据交付给自己,让自己的数据更加安全;之后又知道了 SyncThing,原来可以让数据交换不像 NextCloud 那样走中心节点,可以自己实现一套分布式的文件同步系统,甚至这套系统部署节点越多,同步速度越快,并且不用互联网也能用。

所以最后的结果就是我彻底放弃了中心化的同步工具 (Dropbox, Google Drive),转而使用分布式的 SyncThing,并且让 SyncThing 同步原来的 Dropbox 文件夹,无痛迁移。

代码托管

代码托管倒是没太多可谈的,毫无疑问 GitHub,最多在配置一下 mirror, 定期从 GitHub repository 中备份到 GitLab 或者自建的 Gogs 中。

另外 Gogs 的社区 fork 版本 Gitea 也不错。

笔记

笔记是另一个重头,之前从 Evernote 叛逃 到 WizNote,陆陆续续也续了三年会员,但一直也非常担心 WizNote 做不下去,所以一直留着一手,方便快速导出走人。

不过前不久再次发现 Joplin,作为一款本地笔记应用非常完美,唯独缺少同步功能,不过 Joplin 依赖本地文件,那么用上面提到的文件同步工具就完美地解决了同步问题。

另外 leanote 似乎也是一个自建不错的选择,不过目前我没尝试。

reference


2020-02-05 cloud , nextcloud , qnap , dropbox , notebook

搭建自己的导航页面

最近 QNAP 后台换了内存后起了很多应用,已经到了完全记不住端口的地步,为了不用每次都登录后台查看,只能用记事本记着,略感不方便,所以想起了能不能搞一个导航页给我自己用。所以就找到了 webstack,webstack 看到有好几个实现,不过其他的都需要数据库,不如纯文本来的方便,所以直接搞 Jekyll 的。

侧边栏调整

让其初始化就是缩小状态。


2020-02-01 navigation , jekyll , website , self-host

威联通折腾篇十七:Docker 安装的 NextCloud 升级、备份及恢复

之前有文章写过如何在 Qnap 上使用 Container Station 来安装 NextCloud,之前重度使用 NextCloud,里面已经存了近 70G 的文件内容,这次系统重建后,下载新的镜像,然后重新恢复,费了一番时间,主要是恢复数据库,然后还有本地挂载的文件,以及升级版本。

从备份的角度来看,也正是这三个部分比较重要:

  • 数据库备份
  • 本地数据备份,也就是 /var/www/html 挂载的目录,我的是 /share/NextCloud
  • Docker 镜像备份

以上三个内容,前两个需要完全备份,否则会造成数据丢失。第三个则可以从 Docker Hub 上拉下来。

docker pull nextcloud:latest

我是从 13.0.4 版本的镜像升级到 14.0.9 版本,升级后重启容器,出现了如下的错误:

AH00169: caught SIGTERM, shutting down

调查发现,NextCloud 在升级过程中将自己变成了维护状态,这个配置在数据目录下的 config/config.php 文件中,打开该文件,搜索 maintenance:

'maintenance' => true

将 true 改成 false, 然后重启容器,即可进入 NextCloud 应用。


2020-01-16 qnap , qnap-tutorial , nextcloud , file-sync , dropbox , backup , restore , mysql , sql

威联通折腾篇十六:为 Container Station 更换镜像

都知道其实 QNAP 的 Container Station 就是 Docker,所以桌面版可以修改的国内镜像地址,QNAP 系统上也能够修改,可以快速提高镜像的下载速度。

其实在网页管理段也能够手动添加,在 Container Station 属性中,Registry 服务器可以手动添加。

或者我们可以 SSH 登录到后台,然后手动编辑配置文件,docker 的路径是 /share/CACHEDEV1_DATA/.qpkg/container-station/

然后在改目录下有 etc/docker.json 文件,手动修改该文件:

{
  "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]
}

然后重启 Container Station 服务:

/etc/init.d/container-station.sh restart

可用的镜像地址,可以参考我另外一篇文章。

备份一下用的 Docker Container

bookstack

version: "2"
services:
  bookstack:
	image: linuxserver/bookstack
	container_name: bookstack
	environment:
	  - PUID=1000
	  - PGID=1000
	  - DB_HOST=10.0.3.1:3306
	  - DB_USER=bookstack
	  - DB_PASS=password
	  - DB_DATABASE=bookstack
	volumes:
	  - /share/Container/bookstack_config:/config
	ports:
	  - 6875:80
	restart: unless-stopped

FileRun

version: '2'

services:
  filerun:
    image: afian/filerun
    container_name: filerun
    environment:
      FR_DB_HOST: 10.0.3.1
      FR_DB_PORT: 3306
      FR_DB_NAME: filerun
      FR_DB_USER: filerun
      FR_DB_PASS: password
      APACHE_RUN_USER: www-data
      APACHE_RUN_USER_ID: 1000
      APACHE_RUN_GROUP: www-data
      APACHE_RUN_GROUP_ID: 100
    ports:
      - "30080:80"
    volumes:
      - /share/filerun/html:/var/www/html
      - /share/filerun/user-files:/user-files
    restart: unless-stopped

Calibre-web

docker run --name=calibre-web --restart=always \
-v /share/vol4Book/CalibreBooks:/books \
-v /share/Container/calibre-web/app:/calibre-web/app \
-v /share/Container/calibre-web/kindlegen:/calibre-web/kindlegen \
-v /share/Container/calibre-web/config:/calibre-web/config \
-e USE_CONFIG_DIR=true \
-e APP_REPO=https://github.com/janeczku/calibre-web.git \
-e APP_BRANCH=master \
-e SET_CONTAINER_TIMEZONE=true \
-e CONTAINER_TIMEZONE=Asia/Shanghai \
[-e PGID=100 -e PUID=1000 \]
-p 8083:8083 \
technosoft2000/calibre-web

Nextcloud

docker run -d \
    -v /share/NextCloud:/var/www/html \
	-p 20080:80 \
    nextcloud

Gogs

docker run --name=gogs \
-p 10022:22 \
-p 10080:3000 \
-v /share/gogs:/data \
gogs/gogs

TT RSS

Tiny Tiny RSS

docker run -d --name ttrss --restart=unless-stopped \
-e SELF_URL_PATH=http://192.168.2.200:181 \
-e DB_HOST=10.0.3.1 \
-e DB_PORT=5432 \
-e DB_NAME=ttrss \
-p 181:80 \
wangqiru/ttrss

全文插件:

docker run -d \
--name=mercury-parser-api \
-p 3080:3000 \
wangqiru/mercury-parser-api

weblate

version: '3'
services:
  weblate:
    image: weblate/weblate
    volumes:
      - /share/Container/weblate/weblate-data:/app/data
    env_file:
      - ./environment
    restart: always
	ports:
	  - 5080: 8080
    depends_on:
      - database
      - cache
  database:
    image: postgres:11-alpine
    env_file:
      - ./environment
    volumes:
      - /share/Container/weblate/postgres-data:/var/lib/postgresql/data
    restart: always
  cache:
    image: redis:4-alpine
    restart: always
    command: ["redis-server", "--appendonly", "yes"]
    volumes:
      - /share/Container/weblate/redis-data:/data

还需要把这个项目 中的 environment 文件拷贝过来,然后再:

docker-compose build
docker-compose up

rrshare

docker run -d \
--name rrshare \
-p 3001:3001 \
-v /share/rrshare:/opt/work/store \
oldiy/rrshare64:latest

Lychee

docker run -d \
--name=lychee-laravel \
--restart always \
-v /share/Container/lychee/conf:/conf \
-v /share/Picture/Lychee:/uploads \
-e PHP_TZ=Asia/Shanghai \
-e PHP_MAX_EXECUTION_TIME=600 \
-e DB_CONNECTION=sqlite \
-e DB_DATABASE=/conf/lychee.db \
-p 90:80 \
80x86/lychee:latest

flexget

docker run -d \
    --name=flexget \
    -p 3539:3539 \
    -v /share/Container/flexget/data:/data \
    -v /share/Container/flexget/config:/config \
    -e FG_WEBUI_PASSWD=password \
    -e FG_LOG_LEVEL=info \
    -e PUID=1000 \
    -e PGID=1000 \
    -e TZ=Asia/Shanghai \
    wiserain/flexget

2020-01-16 qnap , qnap-tutorial , linux , docker , mirror

备份数据及系统思考

上周五 NAS 系统盘挂掉后一个周末都没有过好,一边忙着备份数据,一边要忙着整理系统应用和配置。早以前除了云端同步数据曾经出现过一两次数据丢失的情况,本地保存的数据还没有出现过管理的问题,系统会用 Clonezilla 全量备份,笔电数据则辅以同步工具 Dropbox 和自建的 NextCloud,平时丢数据的可能倒是比较小,但唯一疏漏的 NAS,因为硬盘不是一次性买全而是分了几次,所以从一开始就没有规划好存储与备份,而系统的酷狼 4T 盘可能经过几次家里停电,SMART INFO 出现警告的时候也没有来得及备份,所以造成了从周五开始突然系统盘只读状态,无奈只能立即开启 rsync 手动先将系统盘中的数据备份到其他盘。等到周日把损坏的系统盘送修之后,是时候来思考一下如何管理本地数据了。

经过这一次的“事故”,倒是没有丢到多少数据,但是却是一件非常闹心的事情,去年花了一年的时间渐渐的逃离了云端服务,将照片从 Google Photos 离线到本地,将音乐从网易云音乐离线备份了一份到本地,想想这一切非常美好,没想到发生这么一件事情,所以也渐渐感受到本地 RAID 的重要性,对于重要的数据在本地一定要有一份备份。

数据划分等级

原来我对数据的划分非常模糊,一股脑的备份笔电磁盘中所有数据,当然这种不会出现漏备份某些文件的情况,但这也是成本比较高的一种做法,不仅备份数据量大,并且备份的过程也比较长。而经过这次的事故,渐渐的对需要备份的数据有了一定区分度,由我产生的文件,比如写下的文本(包括笔记,博客,TODO),拍摄的照片视频,代码文件,配置以及数据库文件(当然绝大部分代码都是 git 在另外有备份),不过还有一种非常容易忽略的就是,创建的比如音乐歌单,读书列表,当然大部分情况下都是对应的服务中,网易云音乐就曾经莫名其妙地弄丢我一个歌单,这些”文件”都需要提高备份级别。

数据分类存储

所以简单的来说数据需要分类处理,依据重要程度不同需要备份的方法也可以有对应不同,就目前我个人遇到的情况而言。

备份方法

代码等文本使用 git 备份

对于纯文本的内容,适合 git 来备份,commit && push 就能够至少在两地有备份了。Git 的分布式特性天然的适合文本的存档和备份管理。

适合 git 来备份的有:

  • code
  • dotfiles
  • rime config
  • idea config
  • software config

Dropbox NextCloud

对于云同步工具,适合同步二进制文件,比如文档或者图片

  • 常用的 word, ppt, pdf 等
  • 常用照片
  • 自动脚本备份的网站数据,或者 SQL
  • Joplin 数据
  • 各种二进制导出的配置
  • 日常需要同步的文件

Hard Drive backup

对于需要备份,但是查看次数非频繁的文档,适合单独使用硬盘来备份,比如:

  • 一段时间拍摄的照片,视频等
  • 整理的电子书
  • 音乐
  • 电影,电视剧

对于媒体文件,尤其是较大的电影,电视剧,图片,等等适合使用单独的备份盘来备份。

数据重要程度分级

对于我个人的使用场景而言,有这几类的文件需要重要备份:

  • 系统配置,以及 vim, tmux, zsh 等等配置
  • 个人数据,包括文本的,媒体的
  • 个人整理的笔记
  • 自建的应用数据库

对于不同的数据备份方法照上面提到的方法也不尽相同。

根据作用隔离磁盘

对磁盘的管理,对数据的种类进行划分,对不同的数据进行不同的备份处理。

如果磁盘存放的是个人数据,则要尽量减少磁盘的写入,尽量在备份的时候对磁盘写入,从而延长磁盘的寿命,如果可能这部分个人数据尽量使用 RAID1 或者 RAID5,做到即使有一块磁盘故障时数据不会丢失。

而另外一类场景则是下载电影,当使用 BT 或者 PT 时,磁盘会有大量的读写会大大减少磁盘的寿命,所以我的建议是单独使用一块磁盘作为下载盘,有对磁盘的大量不间断读写时都存放到该磁盘,并周期性对磁盘进行维护,比如使用同步工具定时将数据移动或者拷贝到另外的磁盘中进行保存。

网上有一种说法,说家用 RAID 实际用途并不大,这句话并不完全正确,如果家用 24h 挂机 PT 的话,如果数据是写到 RAID5 中,那么实际上三块磁盘都在工作,无形中就同时降低了三块磁盘的寿命。如果是常年 PT 的话,还是根据个人事情情况来选择最合适的方案。


2020-01-12 backup , data , system , nas

QNAP 上 SQL server 数据备份

平时没有注意备份 QNAP 上系统盘的数据,从昨天开始系统盘突然只读,而无法写入,发现磁盘有问题了,无奈只能边申请售后,边想着怎么备份数据,还要恢复这么多的配置。

平常的哪些文件备份倒是还好说,但是一直有用 QNAP 提供的 SQL server 服务,这部分数据平时也没有 mysqldump 下来,所以这就变得比较尴尬,但是 sql server 还有一种方法可以从物理文件中恢复。

用 ps 工具查看可以看到 1

/bin/sh /usr/local/mysql/bin/mysqld_safe --datadir=/usr/local/mysql/var --pid-file=/var/lock/qmysql.pid --user=admin

datadir 就是 marialdb 真正存放数据的地方,ssh 进后台,备份该部分数据。

在该目录中能看到不同的文件

  • FRM 表定义
  • MYD 文件保存真实数据
  • MYI 是索引文件

通常情况下 linux 是在 /var/lib/mysql/ 文件夹下,QNAP 的地址是 /usr/local/mysql/var 目录下。

Backup

使用 rsync 将该目录下的数据全部备份到另外的磁盘上

rsync -azvhP --progress /usr/local/mysql/var/ /share/Backup/mysql_var/

Restore

等 QTS 系统安装完成后,再使用 rsync 来将数据恢复回来。


2020-01-11 qnap , sql-server , mysql , maria , sql , backup

云服务 free tier

AWS

EC2

750 小时的运行时间,Amazon Elastic Compute Cloud (Amazon EC2) 是一种 Web 服务,可以在云中提供安全并且可调整大小的计算容量。

S3

对象存储服务

  • 5G 存储
  • 20000 GET
  • 2000 PUT

RDS

MySQL、PostgreSQL、MariaDB、Oracle BYOL 或 SQL Server 的托管关系数据库服务。

  • 750 小时 / 月
  • 20G SSD
  • 20G 备份

Amazon DynamoDB

快速灵活的 NoSQL 数据库,具有无缝可扩展性。

  • 25G
  • 足以处理每月最多 2 亿次请求

Lambda

计算服务

  • 1000000 次请求
  • 320 万秒免费

SNS

快速、灵活、完全托管的推送消息收发服务。

腾讯云


2020-01-05 cloud , aws , amazon , tencent

在 Linux Mint 上使用 PlayOnLinux 安装网易云音乐

虽然网易云音乐发布了 Linux 版本的客户端,但网易隐藏的云音乐的上传入口只有 Windows 版本的也有,所以这里记录一下如何在 Linux Mint 下使用 PlayOnLinux 来安装网易云音乐 Windows 客户端。

准备工作

  1. Linux Mint 中准备好 PlayOnLinux,并准备好 3.x 以上版本的 Wine
  2. 下载好网易云音乐的 exe 安装包

安装

安装过程比较简单,我个人使用 Wine 3.20 版本,然后按照 PlayOnLinux 提示的步骤一步步执行即可。

playonlinux install netease music


2020-01-01 playonlinux , wine , linux , linux-mint , netease-music

关于 Rime 输入法思考和整理

很多年前写过一篇 Rime 配置,这几年陆陆续续,用过搜狗,也用回过 Rime,还试过 Linux 上其他的输入法,但是最后终于在 2019 年完全的切换到 Rime 下,并且经过一系列的折腾发现 Rime 的能力远远超过我的想象。其实输入法是一个及其有依赖性的工具,输入习惯,输入的常用词等等,都累积在了输入法中。这些年输入法引入了云同步功能,但我倒是觉得带来的便利性甚至不如其带来的缺点,唯一的好处是记录输入习惯,和常用词库,但是实际上可能带来的问题更多,比如

  • 隐私没有得到有效保护,有没有发现有的时候输入了某些词,可能一会儿广告就来了
  • 安全问题,甚至有过报道输入法将用户输入的内容不加密传输到服务器,假如真的能够拿到一个用户的输入历史记录,真的可以查到这个用户非常多的习惯,甚至有可能会泄漏用户密码等等
  • 我在弃用搜狗的时候甚至不允许用户删除自己的云端词库,这一部分原本属于用户的资产,无形中变成了一个商业公司的资产

多输入法

就像 Rime 自己说的那样,Rime 是一个输入方案的合集。所以只要有合适的输入方案,就可以输入对应的语言,从方言,到世界其他各国的语言,Rime 都可以轻松的实现,甚至可以借助 Rime 来实现一套自己的输入编码方案,比如官网教学中的一套输入中文大写数字的输入方案,定义 schema, 字典,然后就实现了一套中文大写数字的输入法。

安全

Rime 输入法不会联网,所有的配置都以文本的方式保存在本地,虽然一定成都上削弱了 Rime 的便捷性,但实际上就加强了 Rime 的安全性。只要保证自己的电脑安全,所有的数据都是安全的。

完全可配置

Rime 输入法从外观到词库,到甚至到输入方案都可以自己定制。熟悉 Rime 的机制后,完全可以使用 Git 将一整套配置管理起来。你可以使用一个输入法输入多国语言,Ctrl</kdb> + \` 非常轻松的就可以实现。

自定义短语

输入的候选词也能够配置,

可以在 custom_phrase.txt 中配置:

地平线:黎明时分	hzd	2

这样在输入法中输入 hzd 就可以直接出现前面的短语,只要在配置方案中配置了 custom_phrase,就可以使用。

custom_phrase:
  db_class: stabledb
  dictionary: ""
  enable_completion: false
  enable_sentence: false
  initial_quality: 1
  user_dict: custom_phrase

然后在 translators 中加入该词典:

translators:
  - xxxxx
  - "table_translator@custom_phrase"

2019-12-30 rime , linux , input-method , fcitx

终端的输入历史以及管理

配置终端历史文件地址

bash 会将所有终端的输入历史保存在 ~/.bash_history 中,同理,zsh 会保存在 ~/.zsh_history 中。

zsh 使用 HISTFILE 变量来管理保存的 zsh_history 文件,默认一般保存在 ~/.zsh_history 中。

配置 zsh 中记录的终端历史条数

在 zsh 的配置中:1

说明:

  • HISTSIZE 是终端历史中保存的最大行数 2
  • SAVEHIST 是保存在历史文件中的最大行数
  1. https://unix.stackexchange.com/a/273863/115007

    HISTFILE=”$HOME/.zsh_history” HISTSIZE=10000000 SAVEHIST=10000000 setopt BANG_HIST # Treat the ‘!’ character specially during expansion. setopt EXTENDED_HISTORY # Write the history file in the “:start:elapsed;command” format. setopt INC_APPEND_HISTORY # Write to the history file immediately, not when the shell exits. setopt SHARE_HISTORY # Share history between all sessions. setopt HIST_EXPIRE_DUPS_FIRST # Expire duplicate entries first when trimming history. setopt HIST_IGNORE_DUPS # Don’t record an entry that was just recorded again. setopt HIST_IGNORE_ALL_DUPS # Delete old recorded entry if new entry is a duplicate. setopt HIST_FIND_NO_DUPS # Do not display a line previously found. setopt HIST_IGNORE_SPACE # Don’t record an entry starting with a space. setopt HIST_SAVE_NO_DUPS # Don’t write duplicate entries in the history file. setopt HIST_REDUCE_BLANKS # Remove superfluous blanks before recording entry. setopt HIST_VERIFY # Don’t execute immediately upon history expansion. setopt HIST_BEEP # Beep when accessing nonexistent history. 

  2. http://zsh.sourceforge.net/Doc/Release/Parameters.html#index-HISTSIZE 


2019-12-26 terminal , history , clear , command , cli

电子书

最近文章

  • 配置 Rime 在 Vim 下退出编辑模式时自动切换成英文输入法 半年以前在 Obisidian 的文章下面有人曾经问过我一个问题,如何在 Vim 或者其他使用 Vim 模式的编辑器,比如 IntelliJ,或者 Obisidian 开启 Vim 模式后方便地切换中英文输入法,因为在编辑模式和普通模式下,需要经常切换输入法,使得体验变得非常槽糕。
  • Asus RT-AC86U 设置 前些天给家里买手机正好凑单了一个 Asus RT-AC86U,正好可以代替出了两次故障的小米 3G。
  • 扩展 Proxmox 系统分区以及 Proxmox 文件系统初识 昨天想要扩展一下之前安装的 Proxmox 容量,对系统进行了一次关机,然而关机之后就悲剧的发现在 U 盘中的系统启动不了了,将 U 盘拔下检测之后发现 U 盘可能挂了,一个全新的 U 盘,在连续 192 天运行之后挂掉了。无奈之下只能想办法先恢复一下 Proxmox 系统以及安装在系统之上的 OpenMediaVault 了。
  • 『译』我最喜欢的命令行工具 偶然间看到一篇介绍 cli 的文章,感觉写得不错,正好借此机会也整理一下我之前使用过,以及觉得非常值得推荐的 CLI 工具。
  • 使用 Clonezilla 将硬盘中系统恢复到虚拟机中 今年陆陆续续将工作的环境迁移到了 macOS,虽然已经把日常的资料迁移到了 macOS,但是之前的 Linux 上还有一些配置,以及可以的一些测试还需要用到 Linux 虚拟机,所以我就想能不能用 Clonezilla 将磁盘中的系统备份然后恢复到虚拟机里面。因为我发现 macOS 下的 Fusion 还是很强大的。