Fabric 在升级 2.x 之后,几乎就是重写了。很多以前的用法都变了,然后在 1.x 时代,本地和远程都是用一套代码处理,但是 2.x 的时候将 local 处理部分和远程处理部分分别拆分为 fab 和 invoke 了,拆分的理由可以参考这里。
以前 Fabric 是不支持 Python 3 的,升级之后的版本可以完美支持 Python 3,然后下面是 Fabric 2.x 的升级理由:
更多关系 1.x 和 2.x 的对比可以参考这个网址
忘记 1.x 的一切,然后从头开始
总得来说这本书按照微服务的各个内容介绍了一遍,但是只适合入门,并不适合深入了解。看完可以对什么是微服务有一个大致的了解,对于自己实现一个微服务架构还是需要更多的阅读。
微服务架构的目的是为了解决传统单体应用在业务急剧增长时遇到的水平扩展问题。通过拆分服务,将微服务系统中的服务划分明确的职责,做到低耦合,高内聚。
微服务交互模式
两个概念:
SOA 面向服务的架构
分布式系统 CAP 原理
三者不能同时兼得。
BASE 思想,满足 CAP 原理,牺牲强一致性获得可用性,通过最终达到一致性来满足业务
解决方案:
容量:按照峰值 5 倍冗余计算
MySQL
Redis
读写 40000/s
Kafka 单机 读 30000/s 写 5000/s
然后书上介绍了一些压测工具,ab,jmeter,mysqlslap,sysbench,dd,loadRunner,hprof 等等
首先介绍了一些日志框架,然后是 ELK。
这部分没有细看,先开始介绍了 APM 的功能和作用,然后介绍了 Dapper 论文里面提到的调用链跟踪原理。
[[海恩法则]]:
每一次严重事故的背后,必然有 29 次轻微事故和 300 起未遂先兆及 1000 起事故隐患。
[[墨菲定律]],这个条太熟悉了,星际穿越中就提及了
如果有两种或两种以 上 方式去做某件事情,而选择其中一种方式将导致灾难,则必定有人会做出这种选择。
墨菲定律实际上是个心理学效应,如果你担心某种情况会发生,那么它更有可能发生,久而久之就一定会发生。
后面介绍了 java 自带的调试工具,还有一些 Linux 下的常用命令。
后面作者举了一个真实的线上问题解决思路。
主要就是介绍 [[Docker]] 了。
关于敏捷开发,持续集成,持续交付和持续部署。然后是一些常用的开发,运维工具。
这一篇讲在威联通上安装和使用下载工具 – Transmission,一个知名的轻量级,跨平台,开源的 BT 下载工具。
Transmission 是一个 BT 客户端,提供了 Web 和命令行界面,非常适合在威联通机子上跑。威联通自身的 Download Station 根本无法用,而迅雷和百度也基本无法用。只能尝试一下这个方法了。
如果看过之前的文章,应该知道威联通第三方的应用市场 QNAP CLUB,在其中直接能够找到 QTransmission。安装完成之后用户名密码是 qnap 和 qnap。
配置文件路径:
/opt/QTransmission/etc
/share/CACHEDEV1_DATA/.qpkg/QTransmission/etc
为什么有两个路径呢,是因为 opt 目录下的路径其实是一个软链接,指向真实在 /share/CACHEDEV1_DATA/.qpkg/QTransmission
的目录。
如果要修改 WEB 界面的端口,需要同时修改 /mnt/HDA_ROOT/.config/qpkg.conf
里面 QTransmission 配置的端口。
安装完成后直接在威联通 WEB 界面上点击进入,然后使用 qnap - qnap 登录。设置限速、关闭 DHT,然后在路由器上做端口转发,保证 51413 端口开放。
使用 vi 修改配置 vi /share/CACHEDEV1_DATA/.qpkg/QTransmission/etc/settings.json
,需要注意的是在修改配置的时候,停用 QTransmission,否则再启用 QTransmission 就会恢复到默认配置。
其他常用的配置
"cache-size-mb": 16
然后在威联通中新建共享文件夹,配置下载保存的位置。
"download-dir": "/share/Transmission"
等等。
配置详解见文末。
默认情况下可以尝试使用如下命令来启动和停止。
/etc/init.d/QTransmission.sh start
/etc/init.d/QTransmission.sh stop
如果启动之后 51413 端口在界面上依然显示无法连接,可以尝试等待一段时间再试试。我的实际测试情况是界面上无法连接,但是实际还是能够正常工作。
在配置中:
"watch-dir": "/share/bt", # 监听文件夹目录
"watch-dir-enabled": true # 是否监听文件夹
即可
配合 Android 上的 [[Transdroid]] 使用,需要开启远程访问控制,如果有固定的访问 IP 段,可以对应的配置,直接禁用下面两个白名单危险系数较高,慎重:
"rpc-whitelist-enabled": false,
"rpc-host-whitelist-enabled": false,
打开 Transmission 的配置能看到非常多的配置选项,这里列举一下重要的配置:
"alt-speed-up": 500, # 限速时段上传限速值
"alt-speed-down": 500, # 限速时段下载限速值
"alt-speed-enabled": false,
"alt-speed-time-begin": 540,
"alt-speed-time-day": 127, # 时段限速日期(星期几),127 表示每天,更复杂配置参考官网。用 7 位二进制数表示,然后转换成十进制数,0000001 表示周日,1000000 表示周六,0000010 表示周一,0000100 表示周二。如果你只要在周末限速,该数应该 1000001,转换为十进制就是 65
"alt-speed-time-enabled": true, # 启用限速,为 false 时,以上计划配置则不生效,生效时会自动禁用 alt-speed-enabled 配置,二者只能选一个
"alt-speed-time-end": 420, # 限速时段结束时间,这个配置表示的是凌晨零点到开始时间的分钟数,比如 7:00 就是 7*60=420。需要注意的是,该时间是用的 GMT 时间,即北京时间 -8 小时。比如你计划北京时间 7 点 30 分开始,这个数字应该是(7-8+24)*60+30=1410
"bind-address-ipv4": "0.0.0.0", # IPv4 地址绑定,一般不要改动
"bind-address-ipv6": "::", #IPv6 地址绑定,一般不要改动
"blocklist-enabled": true, # 启动白名单,默认不启动,需要启动改为 true
"blocklist-updates-enabled": false,
"blocklist-url": "http://www.example.com/blocklist",
"cache-size-mb": 4, #缓存大小,以 MB 为单位,建议设大一些,避免频繁读写硬盘而伤硬盘,建议设为内存大小的 1/6~1/4
"compact-view": false,
"dht-enabled": false, #关闭 DHT(不通过 tracker 寻找节点)功能,不少 PT 站的要求,但 BT 下载设置为 true 会使得下载更好
"download-dir": "/share/Downloads", #下载的内容存放的目录
"download-queue-enabled": true, # 下载队列开关
"download-queue-size": 5, # 下载队列数量
"encryption": 1, # 加密。指定节点的加密模式,默认 1。0 表示关闭 , 0= 不加密,1= 优先加密,2= 必须加密
"lazy-bitfield-enabled": true, # 默认为 true,设置为 true 时可以避免某些 ISP 通过查询完整位段来屏蔽 BT,从而破解部分 ISP 对 BT 的封杀,当然不一定完全有效
"idle-seeding-limit": 30,
"idle-seeding-limit-enabled": false,
"incomplete-dir": "/share/Downloads", # 临时文件路径
"incomplete-dir-enabled": false,
"inhibit-desktop-hibernation": true,
"lpd-enabled": false, #禁用 LDP(本地节点发现,用于在本地网络寻找节点), 不少 PT 站的要求
"main-window-height": 500,
"main-window-is-maximized": 0,
"main-window-width": 615,
"main-window-x": 337,
"main-window-y": 211,
"message-level": 2,
"open-dialog-dir": "/share/Download", # 网页对话框打开的根目录
"peer-congestion-algorithm": "",
"peer-limit-global": 240, # 全局连接数
"peer-limit-per-torrent": 60, # 每个种子最多的连接数
"peer-port": 51413, # 传入端口,预设的 port 口
"peer-port-random-high": 65535, # 传入端口随机值范围上限
"peer-port-random-low": 49152, # 传入端口随机值范围下限
"peer-port-random-on-start": false, # 启用随机端口,默认关闭,不建议改为 true
"peer-socket-tos": "default",
"pex-enabled": false, # 是否启用用户交换,默认为 true,关于 PEX,有兴趣的朋友可参考 http://en.wikipedia.org/wiki/Peer_exchange,对于只用 PT 的朋友,可以设为 false, 禁用 PEX(节点交换,用于同已与您相连接的节点交换节点名单), 不少 PT 站的要求
"port-forwarding-enabled": true, # 启用端口转发(uPnP),如果路由支持并且也开启了 uPnP,则路由会自动做端口映射,但是需要注意的是如果内网有几台机器同时使用 transmission,就必须更改 peer-port 值为不一样
"preallocation": 1, # 预分配文件磁盘空间,0= 关闭,1= 快速,2= 完全。建议取 1 开启该功能,防止下载大半了才发现磁盘不够。取 2 时,可以减少磁盘碎片,但速度较慢。
"prefetch-enabled": 1,
"queue-stalled-enabled": true,
"queue-stalled-minutes": 30,
"ratio-limit": 2, # 分享率限制
"ratio-limit-enabled": false, # 启用分享率限制,默认不启用
"rename-partial-files": true, #在未完成的文件名后添加后缀.part,false= 禁用
"rpc-authentication-required": true, # 远程控制需要验证,默认为需要
"rpc-bind-address": "0.0.0.0", # 远程控制地址绑定,允许 IP 通过 RPC 访问,默认值表示任何地址都可以访问
"rpc-enabled": true, # 启用远程控制,默认启用
"rpc-host-whitelist-enabled": true, # 是否开启主机白名单
"rpc-host-whitelist": "", # 白名单,如果需要远程访问,最好配置
"rpc-password": "{cxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxaE", #web-ui 的密码,可直接修改,重新运行或者 reload 服务的时候密码会自动 HASH 增加安全性
"rpc-port": 9091, # 默认 web-ui 的 port 口,也是远程控制端口,可自行更改
"rpc-url": "/transmission/",
"rpc-username": "transmission", #默认登入名称,也是远程控制用户名
"rpc-whitelist": "127.0.0.1", # 远程控制白名单,默认值为所有地址,支持通配符*,如 192.168.2.*
"rpc-whitelist-enabled": true, # 启用远程控制白名单,如果启用,则仅仅上面列出的地址可以远程连接
"scrape-paused-torrents-enabled": true,
"script-torrent-done-enabled": false,
"script-torrent-done-filename": "/home/",
"seed-queue-enabled": false,
"seed-queue-size": 10,
"show-backup-trackers": true,
"show-extra-peer-details": false,
"show-filterbar": true,
"show-notification-area-icon": false,
"show-options-window": true,
"show-statusbar": true,
"show-toolbar": true,
"show-tracker-scrapes": true,
"sort-mode": "sort-by-age",
"sort-reversed": false,
"speed-limit-down": 300, #平时的下载限速
"speed-limit-down-enabled": true, #启用平时下载限速
"speed-limit-up": 30, #平时上传限速
"speed-limit-up-enabled": true, #启用平时上传限速
"start-added-torrents": false,
"statusbar-stats": "total-ratio",
"torrent-added-notification-enabled": true,
"torrent-complete-notification-enabled": true,
"torrent-complete-sound-enabled": true,
"trash-can-enabled": true,
"trash-original-torrent-files": false,
"umask": 18,
"upload-slots-per-torrent": 14
"utp-enabled": true, #启用μTP 协议
"watch-dir": "/share/bt", # 监听文件夹目录
"watch-dir-enabled": false # 是否监听文件夹
跟多的详细配置可以参考官网文档
选择合适的 [[Tracker]] 可以显著的提升下载体验。 可以从下面两个地址中找到每天更新的 Tracker 服务器地址:
写一个脚本,使用 transmission-remote 命令添加到 bt 。
这里有一个更强大的网页界面。
默认的 Transmission 安装的地点是:/share/CACHEDEV1_DATA/.qpkg/QTransmission/
进入该目录,然后进入 //share/transmission/
完整路径如下:
/share/CACHEDEV1_DATA/.qpkg/QTransmission/share/transmission/
在该目录中有一个 web
文件夹,这个文件夹就是要被替换的前端界面。
mv web/index.html index.original.html
unzip xxx.zip
解压该文件如果在 QNAP 上开启了远程控制,那么在桌面版系统上可使用这个 Remote control GUI,可以有更多的功能。
Android 推荐使用 Transdroid 来管理。之后在做一下管理端口映射,那就可以无论在哪里都能远程管理了。
文件同步应该算是 NAS 最最基本的一个服务了,但是为什么直到篇六才提到他呢,是因为威联通自带的 QSync ,嗯,虽然能用,但是,没有 Linux 客户端,虽然其他平台客户端 OK,但是作为我主力工作的平台没有同步客户端,只能 smb 挂载。而之前搞 zerotier 同局域网速度不佳,其他 frp 内网穿透 也最多拉一些小文件,完全做不到 Dropbox 那样无缝,无痛。
而到现在,腾讯云上的 NextCloud 已经稳定运行近半年,所以如果在威联通上装上 NextCloud 只要网络访问畅通的情况下,做到所有平台访问 NAS 应该问题不大。而说到文件同步,之前的时候还用过 Resilio Sync 和 Syncthing ,为什么不用这两个呢? 一来前者确实很好用,只要手握 key ,就能够做到随时随地同步,但是这个神器 tracker 被屏蔽了,导致根本无法连接到节点,虽然有人 VPN 搞,但终究是躲猫猫的游戏,故放弃。而 Syncthing 同为开源的点对点同步工具,其实一点都不差,虽然需要用到的客户端 Linux Android 都有,但是终究不全,虽然现在好像已经有了 gtk 版本,但也不是那么好用。关于二者的具体对比可以参考后文。
在 Container Station 中安装 NextCloud 相对比较容易,如果熟悉 Docker 可以直接使用 Docker Compose 文件,如果不熟悉,那直接使用 GUI 也比较方便。
安装步骤简单描述如下:
docker pull nextcloud
, 如果熟悉命令行推荐使用命令行下载避免界面可能出现的各种奇怪问题/var/www/html
完成容器的创建之后,需要首次登录配置,在容器成功运行之后,在界面中会出现一个链接,http://
这边我选择使用 NAS 宿主机的 MySQL 服务,而不像之前使用 Docker Compose 那样 使用 MySQL 容器,主要是 NAS 上可以方便的使用 phpMyAdmin 来管理。NAS 上 MySQL 服务端口 3306。然后还需要注意的一个配置是,在 Container Station 属性,网络属性中有一个桥接地址,该配置为 Docker 容器提供网络访问,记住这边的网关比如我的是 10.0.3.1
在 NextCloud 容器运行成功之后也可以通过在命令行中使用 docker inspect nextcloud
然后查看 Gateway 地址 docker inspect nextcloud | grep "Gateway"
来查看 Docker 容器的网络配置。
在 Docker 中连接宿主机 MySQL 时需要特别注意,这个时候不能使用 localhost
或者 127.0.0.1
,因为这个时候 localhost
或者 127.0.0.1
会指向 Docker 容器本地的地址,需要换成宿主机,比如这里 NAS 的地址,也就是容器的网关地址,比如我这边上面查看得到的 10.0.3.1
填写 NextCloud 配置之前,在 phpMyAdmin 中先创建 nextcloud 用户和 nextcloud 数据库,记住用户名密码,然后在网页中的配置中填写,然后数据库地址一定需要填写 10.0.3.1:3306
,这边一定要记住使用容器 Gateway 地址。
选择 NextCloud 的一大原因就是因为 NextCloud 的跨平台支持太棒了,所有的平台都有非常好用的客户端。
下面是我的 Mint 上客户端和网页中同步的内容,局域网中速度还是很快的。
或者如果熟悉 compose 也可以使用
version: "3"
services:
nextcloud:
image: nextcloud:apache
container_name: nextcloud
restart: always
ports:
- 20080:80
volumes:
- /share/NextCloud:/var/www/html
确保 /share/NextCloud
也就是 NextCloud 共享文件夹以及创建
他们都可以免费使用,都是为了解决文件在多台设备之间同步的问题,都采用了 P2P 点对点传输技术(数据不经过第三方,从一点直接加密传输到另一点)。
特别的,Resilio Sync 拥有近乎完美的跨平台产品线,Android、iOS、Windows Phone、MacOS、Windows、Linux、BSD、以及几乎所有的商业 NAS 操作系统都有对应的客户端。
从软件界面来说,Resilio Sync 对桌面系统和手机系统都提供了原生的客户端界面,对 Linux、BSD、NAS 等系统则提供基于网页的管理界面。
从原理上来讲 Resilio Sync 是通过官方的 Tracker 追踪服务器建立多台设备之间的连接,最终实现数据从一台设备以最快速度传输到另外一台设备。由于软件本身是闭源的,因此软件在与 Tracker 服务器连接的过程中是否会泄露用户隐私就不得而知了。
有人说,Syncthing 就是为替代 Resilio Sync 而生的,它不但能实现相应的数据同步功能,它还完全开放源代码。
Syncthing 由社区驱动,即程序是由社区里的技术爱好者们共同开发的,任何人都可以参与到软件的开发中去,人人都可以看到软件的源代码。因此,社区负责人敢拍着胸脯说,我们尊重隐私、我们真正安全、我们简单好用。
然而,Syncthing 在跨平台的方面的确略逊一筹,社区仅以开发核心软件为主,如果需要某个特殊系统平台的客户端,要么你自己动手开发,要么就是等其他技术高手开发。比如苹果手机系统 iOS、Windows Phone 就没有对应版本的 Syncthing 客户端。
在软件界面方面,Syncthing 原生仅提供基于终端的命令行控制和基于网页的管理界面。移动端仅提供 Android 系统客户端。近期社区又发布了跨平台的 Syncthing-GTK 客户端支持 Linux 各发行版和 Windows 系统。
如果你想选择这两者,这里有些参考:
威联通上有一个 Container Station 的应用,可以直接用官方的 App Center 中下载安装,这其实就是一个 Docker 本地环境,如果熟悉 Docker 使用,那么其实都直接可以 ssh 登录 NAS 然后完全使用命令行来操作。
不过既然威联通提供了一个直观的界面,那么久来使用看看。官方的例子中有一个 GitLab,我的体验来看是非常完美的,几乎就是一键下载部署,即使不了解容器,也不知道 Docker 内部怎么实现,也能够快速的搭建好 GitLab 的服务。威联通 Container Station 中自带很多的服务,比如这个 GitLab,还有 WordPress, MySQL,CentOS, Ubuntu,甚至还有 TensorFlow, Caffe 等等。如果这些还不能满足需求,其实威联通是默认使用的 Docker Hub 的 registry,甚至用户也可以自定义 docker registry,只要能够得到镜像,威联通就能够跑起来,本质上他就是一台虚拟的 Linux 嘛。
官方例子,这边不多说了。App 为一群 Docker 镜像文件的集合,目的是提供完整的服务,如 Application+Database,即一个快速的安装包。以 GitLab app 为例,它内含了 GitLab 主程序、PostgreSQL 和 Redis 三个镜像文件。
比如我使用默认的设置创建的 GitLab 服务,在编辑的时候威联通直接展示给我了一个 Docker compose 文件,里面的配置都很详细。
gitlab:
environment:
DEBUG: 'false'
GITLAB_PORT: 10080
GITLAB_SECRETS_DB_KEY_BASE: qcs-gitlab-app
GITLAB_SECRETS_OTP_KEY_BASE: qcs-gitlab-app
GITLAB_SECRETS_SECRET_KEY_BASE: qcs-gitlab-app
GITLAB_SSH_PORT: 10022
image: sameersbn/gitlab:10.0.4
links:
- redis:redisio
- postgresql:postgresql
ports:
- 10080:80
- '10022:22'
restart: always
postgresql:
environment:
DB_EXTENSION: pg_trgm
DB_NAME: gitlabhq_production
DB_PASS: password
DB_USER: gitlab
image: sameersbn/postgresql:9.6-2
restart: always
redis:
command:
- --loglevel warning
image: sameersbn/redis:latest
restart: always
GitLab 实在是太占内存了
Docker hub 中有无数的应用可供选择,这边以 GitLab 的代替品 Gogs 为例,首先在 Container Station -> 创建 -> 搜索 gogs,选择 Docker Hub 然后从中选择 gogs/gogs
下载镜像。
等待镜像完成之后,创建容器,在高级中选择 NAT 模式,端口映射 10080 和 10022 ,为了不和宿主 NAS 端口产生冲突。然后我习惯创建一个共享文件夹,比如 gogs 来挂载 gogs 的文件内容,以便于快速访问。然后完成创建。
在创建完成,得到 IP 地址之后,点击进入然后开始配置,这边我容器的网关地址是 10.0.3.1,这个地址可以在 Container 界面 -> 属性中找到,或者登录 NAS,然后运行 docker inspect container-name | grep "Gateway"
来查看(查看任意一个容器的),因为我启用了 NAS 上的 MySQL(MariaDB) 服务,所以可以直接可以使用 10.0.3.1:3306
作为数据库地址。然后 Gogs 的其他配置照着填写即可。
完成安装之后对比一下和 GitLab 的内存占用会发现,GitLab 简直就是巨兽。
更多的 Container Station 的使用可以参考下面官方的链接,Docker 真的很好用。
如果想要给威联通安装一个 qpkg 的安装包时,最直观界面方式就是在 App Center 中,右上角,将本地的 .qpkg
文件上传到 NAS 并安装。
但是这种方式在外网图形界面加载很慢的情况下是非常难用的,那么这个时候如果能使用命令行安装就非常方便。需要在系统中预先开启 SSH 连接,当然这一步早就做好了。然后使用 ssh 连接登录上。比如下面以安装 Entware 为例:
wget http://bin.entware.net/other/Entware_1.00std.qpkg
sh Entware_1.00std.qpkg
经过这两个步骤就 OK 了。使用 opkg
命令可能需要重新登录 NAS SSH。
其他版本的 Entware 可以从这里 获取。
关于什么是 Entware ,可以查看该 wiki,一句话概括 Entware 是一个适用于嵌入式系统的软件包库,使用 opkg 包管理系统进行管理。
软件包列表:
需要注意的是安装 Entware 之后很多命令都存放在 /opt/bin
目录下,需要修改 /root
目录下的 .bashrc
文件中的 PATH 来使这些命令被命令行所见。
export PATH=/opt/bin:$PATH
下面是安装 ng 0.97 版本的日志:
wget http://pkg.entware.net/binaries/x86-64/installer/Entware-ng_0.97.qpkg
--2018-06-15 10:05:57-- http://pkg.entware.net/binaries/x86-64/installer/Entware-ng_0.97.qpkg
Resolving pkg.entware.net (pkg.entware.net)... 81.4.123.217
Connecting to pkg.entware.net (pkg.entware.net)|81.4.123.217|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25045 (24K) [application/x-gzip]
Saving to: ‘Entware-ng_0.97.qpkg’
Entware-ng_0.97.qpkg 100%[======================================================================================================>] 24.46K 46.2KB/s in 0.5s
2018-06-15 10:05:58 (46.2 KB/s) - ‘Entware-ng_0.97.qpkg’ saved [25045/25045]
[~] # sh Entware-ng_0.97.qpkg
Install QNAP package on TS-NAS...
33+1 records in
33+1 records out
24322 bytes (23.8KB) copied, 0.000060 seconds, 386.6MB/s
./
./qinstall.sh
./package_routines
./qpkg.cfg
0+1 records in
0+1 records out
3842 bytes (3.8KB) copied, 0.000018 seconds, 203.6MB/s
3+1 records in
3+1 records out
3842 bytes (3.8KB) copied, 0.001489 seconds, 2.5MB/s
Sym-link /opt ...
Info: Opkg package manager deployment...
Info: Basic packages installation...
Downloading http://pkg.entware.net/binaries/x86-64/Packages.gz.
Updated list of available packages in /opt/var/opkg-lists/packages.
Installing entware-opt (222108-5) to root...
Downloading http://pkg.entware.net/binaries/x86-64/entware-opt_222108-5_x86-64.ipk.
Installing libc (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libc_2.23-6_x86-64.ipk.
Installing libgcc (6.3.0-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libgcc_6.3.0-6_x86-64.ipk.
Installing libssp (6.3.0-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libssp_6.3.0-6_x86-64.ipk.
Installing librt (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/librt_2.23-6_x86-64.ipk.
Installing libpthread (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libpthread_2.23-6_x86-64.ipk.
Installing libstdcpp (6.3.0-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libstdcpp_6.3.0-6_x86-64.ipk.
Installing ldconfig (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/ldconfig_2.23-6_x86-64.ipk.
Installing findutils (4.6.0-1) to root...
Downloading http://pkg.entware.net/binaries/x86-64/findutils_4.6.0-1_x86-64.ipk.
Installing terminfo (6.0-1c) to root...
Downloading http://pkg.entware.net/binaries/x86-64/terminfo_6.0-1c_x86-64.ipk.
Installing locales (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/locales_2.23-6_x86-64.ipk.
Installing opkg (2011-04-08-9c97d5ec-17a) to root...
Downloading http://pkg.entware.net/binaries/x86-64/opkg_2011-04-08-9c97d5ec-17a_x86-64.ipk.
Configuring libgcc.
Configuring libc.
Configuring libssp.
Configuring libpthread.
Configuring librt.
Configuring terminfo.
Configuring ldconfig.
Configuring locales.
Entware uses separate locale-archive file independent from main system
Creating locale archive - /opt/usr/lib/locale/locale-archive
Adding en_EN.UTF-8
Adding ru_RU.UTF-8
You can download locale sources from http://pkg.entware.net/sources/i18n_glib223.tar.gz
You can add new locales to Entware using /opt/bin/localedef.new
Configuring opkg.
Configuring libstdcpp.
Configuring findutils.
Configuring entware-opt.
Updating /opt/etc/ld.so.cache... done.
Link service start/stop script: Entware-ng.sh
Set QPKG information in /etc/config/qpkg.conf
Enable Entware-ng/opkg
[App Center] Entware-ng 0.97 installation succeeded.
[App Center] Entware-ng enabled.
这是 QNAP NAS 折腾第二篇,使用 frp 来从外网访问 NAS。威联通自带的 qlink.to 实在是太慢几乎到了无法使用的地步,用 Zerotier 也依然很慢,所以无奈还是用回了 frp.
之前就写过一篇很简单的 frp 使用,不过那是是在 PC 客户端和树莓派上,不过 NAS 就是一个 Linux 嘛,所以也很简单。不过需要注意的是,映射本地 8080 端口,如果需要其他端口,需要相应的添加配置:
[common]
server_addr = frp.server.com # frp 服务端地址,可以为 IP 或者域名
server_port = 7000 # 服务端 端口
[ssh-qnap]
type = tcp
local_ip = 127.0.0.1
local_port = 22 # qnap 22 端口
remote_port = 6022 # 映射到 6022 端口,这样就可以通过 6022 端口来访问 NAS 22 端口
use_encryption = true
use_compression = true
[qnap-web]
type = tcp
local_ip = 127.0.0.1
local_port = 8080 # 同理 qnap 8080 管理页面
remote_port = 6080 # 通过服务端 6080 端口访问 NAS 8080 端口
use_encryption = true
use_compression = true
我现在把所有的 frp 配置放到一个 git 项目中配置,所以一般我也很少更新 frp 的二进制,如果你想要使用最新的 frp 二进制可以到 GitHub 页面。
ZeroTier 是为了解决复杂网络以及因特网过于中心化而提出的组网解决方案。ZeroTier 可以使得在不同网络,不同物理空间的机器组件在同一个虚拟局域网中,使得他们之间可以交换数据,直接连接。
ZeroTier 使用点对点 的网络,并且在上面附加一层 VXLAN-like 虚拟网络层 来提高局域网的可见性,安全性。
所以简单来说,ZeroTier 通过创建一个虚拟网络,把你的设备添加到这个网络,那么在这个网络内,你的设备就像在同一个路由器内那样可以使用各种端口。
免费版 ZeroTier 支持局域网内 100 个设备。ZeroTier 支持 Windows、macOS、Linux 三大桌面平台,iOS、Android 两大移动平台,QNAP(威连通)、Synology(群晖)、Western Digital MyCloud NAS(西部数据)三个 NAS 平台,还支持 OpenWrt/LEDE 开源路由器项目。
官网地址:
官网下载:
Debian/Ubuntu:
curl -s https://install.zerotier.com | sudo bash
curl -s 'https://raw.githubusercontent.com/zerotier/ZeroTierOne/master/doc/contact%40zerotier.com.gpg' | gpg --import && \
if z=$(curl -s 'https://install.zerotier.com/' | gpg); then echo "$z" | sudo bash; fi
sudo apt install zerotier-one
zerotier-cli join <network id>
(或在网页上添加 ZeroTier address)Windows 系统用命令 ipconfig
,Linux/Unix 用命令 ifconfig
,然后会看到一个虚拟网卡,有一个 IP 地址。这个 IP 和在官网看到的 network 下的 IP 是一致的,只有同在该虚拟网络下的机器才能访问。
接下来,就可以访问同一个局域网中的其他节点的任何内容,比如 FTP 服务(端口 21),比如搭建在局域网的网站(端口 80)
图文教程可以参考这篇文章
ZeroTier 的网络地址采用 64 位格式,前 40 位(10个十六进制数字)表示网络控制器,剩下的 24 位(6 个十六进制数字)表示控制器内的网络。
ZeroTier 的官方服务器在国外,国内客户端使用时延迟较大,网络高峰期时甚至各个客户端节点之间访问不了。此时,“自定义根服务器”,又称 moon 中转服务器就显得非常重要,它的主要功能是通过自定义的服务器作为跳板加速内网机器之间的互相访问。
ZeroTier 定义了几个需要知道的专业名词:
PLANET
行星服务器,ZeroTier 各地的根服务器,有日本、新加坡等地moon
卫星级服务器,用户自建的私有根服务器,起到中转加速的作用LEAF
相当于各个枝叶,就是每台连接到该网络的机器节点。在使用 zerotier-cli listpeers
命令时能看到这几个名词。
充当 moon 的机子最好有公网 IP,现在我们尝试用 QNAP 搭建一个 moon 中转:
zerotier 安装好之后会带有 zerotier-idtool
这个命令,之后的内容需要依赖该命令。假设现在有一台公网固定 IP 的 VPS,在上面安装完 ZeroTier 之后。
cd /var/lib/zerotier-one
zerotier-idtool initmoon identity.public > moon.json
获得 moon.json
文件。查看文件内容,其中 id
为 VPS 的 ZeroTier ID。 vi 编辑 moon.json
,修改 “stableEndpoints” 为 VPS 的公网的 IP,以 IPv4 为例:
"stableEndpoints": [ "121.121.121.121/9993" ]
121.121.121.121 为公网 IP,9993 为 ZeroTier 默认端口。
另外,记录下 json
中的 id 值,是一个 10 位的字符串。
用到上一步中的 moon.json
, 执行
zerotier-idtool genmoon moon.json
执行之后生成 000000xxxx.moon
文件。
在 VPS 的 ZeroTier 安装目录下(/var/lib/zerotier-one)建立文件夹 moons.d
,将生成的 .moon
文件拷贝进去。
重启 zerotier,重启电脑。至此,VPS 上(moon 服务器)配置完成。
其他虚拟局域网中的机器想要连接到 moon 节点的话有两种方法,第一种方法就是使用 zerotier-cli orbit
命令。连接 moon 节点方法一,使用之前步骤中 moon.json
文件中的 id 值 (10 位的字符串)
分别在客户端机器里执行:
zerotier-cli orbit <world-id> <seed-id>
完成。
第二种方法是需要在 /var/lib/zerotier-one
目录下新建 moons.d
文件夹和 moon 节点一样,将 000000xxxx.moon
文件放到其中,并重启 zerotier。
zerotier-cli listpeers
如果有 moon 服务器 IP 地址的那一行后面有 moon 字样,证明 moon 节点已经被本机连接。
不同系统下的 ZeroTier 目录位置:
C:\ProgramData\ZeroTier\One
/Library/Application\ Support/ZeroTier/One)
/var/lib/zerotier-one
/var/db/zerotier-one
zerotier-cli 命令的基本使用。
Usage: zerotier-cli [-switches] <command/path> [<args>]
Available switches:
-h - Display this help
-v - Show version
-j - Display full raw JSON output
-D<path> - ZeroTier home path for parameter auto-detect
-p<port> - HTTP port (default: auto)
-T<token> - Authentication token (default: auto)
Available commands:
info - Display status info
listpeers - List all peers
listnetworks - List all networks
join <network> - Join a network
leave <network> - Leave a network
set <network> <setting> - Set a network setting
listmoons - List moons (federated root sets)
orbit <world ID> <seed> - Join a moon via any member root
deorbit <world ID> - Leave a moon
和 ngrok 和 frp 功能类似,但是 ZeroTier 明显入手简单。ZeroTier 只有客户端开源,服务端并没有开源。而 ngrok 和 frp 都是完全开源。但是 ngrok 和 frp 严重依赖于公网固定 IP 的 VPS,是一个中心化的内网穿透工具,一旦中心节点挂掉,那么所有的节点都无法工作。ZeroTier 帮助用户实现了服务端,虽然安全性有待考验,但至少还是能用状态。
另外很多人提到的 N2N 开上去也不错,不过我还没怎么用过。等以后尝试过后再补上。
ZeroTier 是私有协议,而 [[Tailscale]] 是在 [[WireGuard]] 协议基础之上。但 ZeroTier 官方提供了第三方对代码 review 的认证,安全性应该还好。
更具体的差异可以见官方说明
Celery 使用过程中又遇一坑,最近升级项目中使用的 Celery 到 4.1.1,突然发现一些定时任务突然不执行了。开始还以为代码哪里做了变化,尝试找了很久,然后打开 scheduler 的日志观察了一段时间。
Celery config 中的配置是如下所示,理论上,早间的任务应该在 8 点到 12 点 每隔 5 分钟执行一次,然后午间和晚间的以此类推。
app.conf.timezone = 'Asia/Shanghai'
app.conf.beat_schedule = {
'morning': {
'task': 'worker.xxx.get_xxx',
'schedule': crontab(minute='*/5', hour='8-12'),
'args': ('早间',),
'options': {
'queue': 'xxx'
}
},
'afternoon': {
'task': 'worker.xxx.get_xxx',
'schedule': crontab(minute='*/5', hour='12-18'),
'args': ('午间',),
'options': {
'queue': 'xxx'
}
},
'evening': {
'task': 'worker.xxx.get_xxx',
'schedule': crontab(minute='*/5', hour='19-21'),
'args': ('晚间',),
'options': {
'queue': 'xxx'
}
},
}
但是观察日志发现,即使现在是下午 4 点,但是上午的任务依然在跑,这个时候突然想起来,是不是因为版本升级导致,果不然,一查 GitHub 就有人反馈这个问题,目前解决方法很简单,为了恢复可用状态,将 celery 回滚到了 4.0.2 版本。暂时没有发现问题。
看 issue 已经意识到该问题,希望能在 4.2 版本中修复吧,有时间的话我再看看他的源码。
lombok 在编译器编译时通过操作 AST(抽象语法树)改变字节码生成。也就是说他可以改变 Java 语法。lombok 不像 Spring 的依赖注入是运行时的特性,而是编译时的特性。使用 lombok 需要对应 IDE 插件配合,具体可参考官网。
官网地址:https://projectlombok.org/
添加 maven
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.16.20</version>
</dependency>
最新的版本号,可以在官网或者 mvnrepository 找到。 如果使用 Intellij IDEA 还需要安装一个插件。
类注解
import lombok.Data;
@Data
public class Thing {
private Long id;
private String desc;
}
通过添加注解 @Data
可以给类快速添加 get
和 set
方法,toString()
方法等等。 @Data
注解其实是 @ToString
,@Getter
,@Setter
,RequiredArgsConstructor
,@EqualsAndHashCode
注解的缩写。
其实等效于
import lombok.EqualsAndHashCode;
import lombok.Getter;
import lombok.RequiredArgsConstructor;
import lombok.Setter;
import lombok.ToString;
@ToString
@RequiredArgsConstructor
@EqualsAndHashCode
public class Thing {
@Setter @Getter private Long id;
@Setter @Getter private String desc;
}
相关的注解:
@Getter/@Setter
:用在属性上,再也不用自己手写 setter 和 getter 方法了,还可以指定访问范围@ToString
:用在类上,可以自动覆写 toString 方法,当然还可以加其他参数,例如 @ToString(exclude=”id”) 排除 id 属性,或者 @ToString(callSuper=true, includeFieldNames=true) 调用父类的 toString 方法,包含所有属性@EqualsAndHashCode
:用在类上,自动生成 equals 方法和 hashCode 方法@NoArgsConstructor
, @RequiredArgsConstructor
and @AllArgsConstructor
:用在类上,自动生成无参构造和使用所有参数的构造函数以及把所有 @NonNull 属性作为参数的构造函数,如果指定 staticName = “of”参数,同时还会生成一个返回类对象的静态工厂方法,比使用构造函数方便很多@Data
:注解在类上,相当于同时使用了@ToString
、@EqualsAndHashCode
、@Getter
、@Setter
和@RequiredArgsConstrutor
这些注解,对于 POJO 类十分有用@Value
:用在类上,是 @Data 的不可变形式,相当于为属性添加 final 声明,只提供 getter 方法,而不提供 setter 方法@NonNull
用在方法参数上,该变量不能为空,否则就抛出异常@Builder
:用在类、构造器、方法上,为你提供复杂的 builder APIs,让你可以像如下方式一样调用 Person.builder().name(“Adam Savage”).city(“San Francisco”).job(“Mythbusters”).job(“Unchained Reaction”).build(); 更多说明参考 Builder@SneakyThrows
:自动抛受检异常,而无需显式在方法上使用 throws 语句@Synchronized
:用在方法上,将方法声明为同步的,并自动加锁,而锁对象是一个私有的属性 $lock 或 $LOCK,而 java 中的 synchronized 关键字锁对象是 this,锁在 this 或者自己的类对象上存在副作用,就是你不能阻止非受控代码去锁 this 或者类对象,这可能会导致竞争条件或者其它线程错误@Getter
(lazy=true):可以替代经典的 Double Check Lock 样板代码@Log
:根据不同的注解生成不同类型的 log 对象,但是实例名称都是 log,有六种可选实现类
@CommonsLog Creates log = org.apache.commons.logging.LogFactory.getLog(LogExample.class); @Log Creates log = java.util.logging.Logger.getLogger(LogExample.class.getName()); @Log4j Creates log = org.apache.log4j.Logger.getLogger(LogExample.class); @Log4j2 Creates log = org.apache.logging.log4j.LogManager.getLogger(LogExample.class); @Slf4j Creates log = org.slf4j.LoggerFactory.getLogger(LogExample.class); @XSlf4j Creates log = org.slf4j.ext.XLoggerFactory.getXLogger(LogExample.class);
正如上面所例举,lombok 可以使用的日志框架有很多,拿最常见的 @Slf4j
来举例
@Slf4j
public class A {
public A() {
log.info("I'm sectionVO : {}", toString());
}
}
编译会自动生成
private static final Logger log = LoggerFactory.getLogger(A.class);
如果在类上使用 @Builder
注解,则会给该类直接生成 builder 模式,然后可以使用 builder() 方法返回的 builder 来构造类。
如果要对 Builder 中的值赋予默认值,有两种方式,比如对于
@Builder
public class Person {
private String firstname = "John";
private String lastname = "Doe";
}
第一种方式就是手动编写一个静态内部类
@Builder
public class Person {
private String firstname;
private String lastname;
private String middleName;
public static class PersonBuilder {
private String firstname = "John";
private String lastname = "Doe";
}
}
或者在 v1.16.16 之后添加的新功能
@Builder
public class Person {
@Builder.Default private String firstname = "John";
@Builder.Default private String lastname = "Doe";
private String middleName;
}
当一个类被标注 @Builder
后会自动产生下面 7 件事情:
FooBuilder
,类内部有着和类相同类型的内部变量最后,如果在类上注解 @AllArgsConstructor(access = AccessLevel.PACKAGE)
那么可以将 @Builder
应用到类上。如果自己显示定义了构造函数,那么将 @Builder
用在该构造方法上。
其他的特性可以在这里看到:https://projectlombok.org/features/all