威联通折腾篇五:安装 Transmission 下载 BT

这一篇讲在威联通上安装和使用下载工具 – Transmission。

Transmission 是一个 BT 客户端,提供了 Web 和命令行界面,非常适合在威联通机子上跑。威联通自身的 Download Station 根本无法用,而迅雷和百度也基本无法用。只能尝试一下这个方法了。

安装

如果看过之前的文章,应该知道威联通第三方的应用市场 QNAP CLUB,在其中直接能够找到 QTransmission。安装完成之后用户名密码是 qnap 和 qnap。

配置文件路径:

  • /opt/QTransmission/etc
  • /share/CACHEDEV1_DATA/.qpkg/QTransmission/etc

为什么有两个路径呢,是因为 opt 目录下的路径其实是一个软连接,指向真实在 /share/CACHEDEV1_DATA/.qpkg/QTransmission 的目录。

如果要修改 WEB 界面的端口,需要同时修改 /mnt/HDA_ROOT/.config/qpkg.conf 里面 QTransmission 配置的端口。

配置

安装完成后直接在威联通 WEB 界面上点击进入,然后使用 qnap - qnap 登录。设置限速、关闭 DHT,然后在路由器上做端口转发,保证 51413 端口开放。

其他常用的配置

"cache-size-mb": 16

然后在威联通中新建共享文件夹,配置下载保存的位置。

"download-dir": "/share/Transmission"

等等。

不过经过我这番尝试,我的 51413 端口依然无法连上,所以放弃了。代替方案先用小米路由器好了。


2018-06-17

威联通折腾篇六:文件同步

文件同步应该算是 NAS 最最基本的一个服务了,但是为什么直到篇六才提到他呢,是因为威联通自带的 QSync ,嗯,虽然能用,但是,没有 Linux 客户端,虽然其他平台客户端 OK,但是作为我主力工作的平台没有同步客户端,只能 smb 挂载。而之前搞 zerotier 同局域网速度不佳,其他 frp 内网穿透 也最多拉一些小文件,完全做不到 Dropbox 那样无缝,无痛。

而到现在,腾讯云上的 NextCloud 已经稳定运行近半年,所以如果在威联通上装上 NextCloud 只要网络访问畅通的情况下,做到所有平台访问 NAS 应该问题不大。而说到文件同步,之前的时候还用过 Resilio Sync 和 Syncthing ,为什么不用这两个呢? 一来前者确实很好用,只要手握 key ,就能够做到随时随地同步,但是这个神器 tracker 被屏蔽了,导致根本无法连接到节点,虽然有人 VPN 搞,但终究是躲猫猫的游戏,故放弃。而 Syncthing 同为开源的点对点同步工具,其实一点都不差,虽然需要用到的客户端 Linux Android 都有,但是终究不全,虽然现在好像已经有了 gtk 版本,但也不是那么好用。关于二者的具体对比可以参考后文。

安装 NextCloud

在 Container Station 中安装 NextCloud 相对比较容易,如果熟悉 Docker 可以直接使用 Docker Compose 文件,如果不熟悉,那直接使用 GUI 也比较方便。

安装步骤简单描述如下:

  1. 打开 Container Station ,选择创建,然后搜索 nextcloud,选择 Docker Hub
  2. 安装官方提供的 NextCloud 镜像。 注:以上两步可以简化为 ssh 登陆后 docker pull nextcloud, 如果熟悉命令行推荐使用命令行下载避免界面可能出现的各种奇怪问题
  3. 等待镜像下载完成,选择从镜像创建容器
  4. 修改名字为 “nextcloud”,CPU 内存等配置自己选择
  5. 高级设置中,网络选择 NAT 模式,并且在下方选择一个合适的端口,比如 20080,这样以后访问 NAS 该端口就转发到 Docker 80 端口
  6. 设置共享文件夹,如果使用 docker 默认的 volume ,那么会存储在一个很深的目录中,这里我选择挂载本机共享文件夹,这边到 File Station 中创建一个共享文件夹 NextCloud(注意给予其他用户访问权限),然后回到设置,新增挂载,然后本地路径选择刚刚创建的共享文件夹,然后挂载路径填写 /var/www/html
  7. 完成创建。稍等片刻就会发现 NextCloud 共享文件夹中多出了很多容器的文件,其中 NextCloud 之后会同步的文件也在其中。

完成容器的创建之后,需要首次登录配置,在容器成功运行之后,在界面中会出现一个链接,http://:20080 这样的形式,点击进入,如果一切都没问题,这边应该会出现 NextCloud 首次安装的配置,需要创建管理员和连接数据库。

这边我选择使用 NAS 宿主机的 MySQL 服务,而不像之前使用 Docker Compose 那样 使用 MySQL 容器,主要是 NAS 上可以方便的使用 phpMyAdmin 来管理。NAS 上 MySQL 服务端口 3306。然后还需要注意的一个配置是,在 Container Station 属性,网络属性中有一个桥接地址,该配置为 Docker 容器提供网络访问,记住这边的网关比如我的是 10.0.3.1

在 NextCloud 容器运行成功之后也可以通过在命令行中使用 docker inspect nextcloud 然后查看 Gateway 地址 docker inspect nextcloud | grep "Gateway" 来查看 Docker 容器的网络配置。

在 Docker 中连接宿主机 MySQL 时需要特别注意,这个时候不能使用 localhost 或者 127.0.0.1,因为这个时候 localhost 或者 127.0.0.1 会指向 Docker 容器本地的地址,需要换成宿主机,比如这里 NAS 的地址,也就是容器的网关地址,比如我这边上面查看得到的 10.0.3.1

填写 NextCloud 配置之前,在 phpMyAdmin 中先创建 nextcloud 用户和 nextcloud 数据库,记住用户名密码,然后在网页中的配置中填写,然后数据库地址一定需要填写 10.0.3.1:3306 ,这边一定要记住使用容器 Gateway 地址。

选择 NextCloud 的一大原因就是因为 NextCloud 的跨平台支持太棒了,所有的平台都有非常好用的客户端。

下面是我的 Mint 上客户端和网页中同步的内容,局域网中速度还是很快的。

nextcloud qnap docker

或者如果熟悉 compose 也可以使用

version: "3"
services:
  nextcloud:
    image: nextcloud:apache
    container_name: nextcloud
    restart: always
    ports:
      - 20080:80
    volumes:
      - /share/NextCloud:/var/www/html

确保 /share/NextCloud 也就是 NextCloud 共享文件夹以及创建

Resilio Sync VS Syncthing

他们都可以免费使用,都是为了解决文件在多台设备之间同步的问题,都采用了 P2P 点对点传输技术(数据不经过第三方,从一点直接加密传输到另一点)。

Resilio Sync

特别的,Resilio Sync 拥有近乎完美的跨平台产品线,Android、iOS、Windows Phone、MacOS、Windows、Linux、BSD、以及几乎所有的商业 NAS 操作系统都有对应的客户端。

从软件界面来说,Resilio Sync 对桌面系统和手机系统都提供了原生的客户端界面,对 Linux、BSD、NAS 等系统则提供基于网页的管理界面。

从原理上来讲 Resilio Sync 是通过官方的 Tracker 追踪服务器建立多台设备之间的连接,最终实现数据从一台设备以最快速度传输到另外一台设备。由于软件本身是闭源的,因此软件在与 Tracker 服务器连接的过程中是否会泄露用户隐私就不得而知了。

Syncthing

有人说,Syncthing 就是为替代 Resilio Sync 而生的,它不但能实现相应的数据同步功能,它还完全开放源代码。

Syncthing 由社区驱动,即程序是由社区里的技术爱好者们共同开发的,任何人都可以参与到软件的开发中去,人人都可以看到软件的源代码。因此,社区负责人敢拍着胸脯说,我们尊重隐私、我们真正安全、我们简单好用。

然而,Syncthing 在跨平台的方面的确略逊一筹,社区仅以开发核心软件为主,如果需要某个特殊系统平台的客户端,要么你自己动手开发,要么就是等其他技术高手开发。比如苹果手机系统 iOS、Windows Phone 就没有对应版本的 Syncthing 客户端。

在软件界面方面,Syncthing 原生仅提供基于终端的命令行控制和基于网页的管理界面。移动端仅提供 Android 系统客户端。近期社区又发布了跨平台的 Syncthing-GTK 客户端支持 Linux 各发行版和 Windows 系统。

如果你想选择这两者,这里有些参考:

  • 如果你需要在多种不同系统的设备之间同步数据,那么就选择 Resilio Sync;
  • 如果你要同步的是机密级别数据,那么就选择 Syncthing;
  • 喜欢折腾就选 Syncthing,闲麻烦就选 Resilio Sync;
  • 如果你想要可靠稳定,未来有意向付费使用更多功能,Resilio Sync 是不二之选;
  • 设备的硬件配置不高的情况下 Syncthing 会更轻便;

2018-06-17 qnap , qnap-tutorial , file-sync , syncthing , dropbox , resilio-sync , resilio , nextcloud

威联通折腾篇四:Container Station 运行 Docker 容器

威联通上有一个 Container Station 的应用,可以直接用官方的 App Center 中下载安装,这其实就是一个 Docker 本地环境,如果熟悉 Docker 使用,那么其实都直接可以 ssh 登录 NAS 然后完全使用命令行来操作。

不过既然威联通提供了一个直观的界面,那么久来使用看看。官方的例子中有一个 GitLab,我的体验来看是非常完美的,几乎就是一键下载部署,即使不了解容器,也不知道 Docker 内部怎么实现,也能够快速的搭建好 GitLab 的服务。威联通 Container Station 中自带很多的服务,比如这个 GitLab,还有 WordPress, MySQL,CentOS, Ubuntu,甚至还有 TensorFlow, Caffe 等等。如果这些还不能满足需求,其实威联通是默认使用的 Docker Hub 的 registry,甚至用户也可以自定义 docker registry,只要能够得到镜像,威联通就能够跑起来,本质上他就是一台虚拟的 Linux 嘛。

使用默认配置创建 GitLab

官方例子,这边不多说了。App 为一群 Docker 镜像文件的集合,目的是提供完整的服务,如 Application+Database,即一个快速的安装包。以 GitLab app 为例,它内含了 GitLab 主程序、PostgreSQL 和 Redis 三个镜像文件。

比如我使用默认的设置创建的 GitLab 服务,在编辑的时候威联通直接展示给我了一个 Docker compose 文件,里面的配置都很详细。

gitlab:
  environment:
    DEBUG: 'false'
    GITLAB_PORT: 10080
    GITLAB_SECRETS_DB_KEY_BASE: qcs-gitlab-app
    GITLAB_SECRETS_OTP_KEY_BASE: qcs-gitlab-app
    GITLAB_SECRETS_SECRET_KEY_BASE: qcs-gitlab-app
    GITLAB_SSH_PORT: 10022
  image: sameersbn/gitlab:10.0.4
  links:
  - redis:redisio
  - postgresql:postgresql
  ports:
  - 10080:80
  - '10022:22'
  restart: always
postgresql:
  environment:
    DB_EXTENSION: pg_trgm
    DB_NAME: gitlabhq_production
    DB_PASS: password
    DB_USER: gitlab
  image: sameersbn/postgresql:9.6-2
  restart: always
redis:
  command:
  - --loglevel warning
  image: sameersbn/redis:latest
  restart: always

GitLab 实在是太占内存了

docker gitlab

使用自定义镜像安装容器

Docker hub 中有无数的应用可供选择,这边以 GitLab 的代替品 Gogs 为例,首先在 Container Station -> 创建 -> 搜索 gogs,选择 Docker Hub 然后从中选择 gogs/gogs 下载镜像。

等待镜像完成之后,创建容器,在高级中选择 NAT 模式,端口映射 10080 和 10022 ,为了不和宿主 NAS 端口产生冲突。然后我习惯创建一个共享文件夹,比如 gogs 来挂载 gogs 的文件内容,以便于快速访问。然后完成创建。

在创建完成,得到 IP 地址之后,点击进入然后开始配置,这边我容器的网关地址是 10.0.3.1,这个地址可以在界面 -> 属性中找到,或者登录 NAS,然后运行 docker inspect container-name | grep "Gateway" 来查看,因为我启用了 NAS 上的 MySQL 服务,所以可以直接可以使用 10.0.3.1:3306 作为数据库地址。然后 Gogs 的其他配置照着填写即可。

完成安装之后对比一下和 GitLab 的内存占用会发现,GitLab 简直就是巨兽。

qnap docker gogs

更多的 Container Station 的使用可以参考下面官方的链接,Docker 真的很好用。

reference


2018-06-17 qnap , qnap-tutorial , container , docker , linux

威联通折腾篇一:使用命令行安装威联通 QNAP 的 qpkg 安装包

如果想要给威联通安装一个 qpkg 的安装包时,最直观界面方式就是在 App Center 中,右上角,将本地的 .qpkg 文件上传到 NAS 并安装。

但是这种方式在外网图形界面加载很慢的情况下是非常难用的,那么这个时候如果能使用命令行安装就非常方便。需要在系统中预先开启 SSH 连接,当然这一步早就做好了。然后使用 ssh 连接登录上。比如下面以安装 Entware 为例

wget http://bin.entware.net/other/Entware_1.00std.qpkg
sh Entware_1.00std.qpkg

经过这两个步骤就 OK 了。使用 opkg 命令可能需要重新登录 NAS SSH。

其他版本的 Entware 可以从这里 获取。

关于什么是 Entware ,可以查看该 wiki,一句话概括 Entware 是一个适用于嵌入式系统的软件包库,使用 opkg 包管理系统进行管理。

软件包列表:

下面是安装 ng 0.97 版本的日志:

wget http://pkg.entware.net/binaries/x86-64/installer/Entware-ng_0.97.qpkg
--2018-06-15 10:05:57--  http://pkg.entware.net/binaries/x86-64/installer/Entware-ng_0.97.qpkg
Resolving pkg.entware.net (pkg.entware.net)... 81.4.123.217
Connecting to pkg.entware.net (pkg.entware.net)|81.4.123.217|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25045 (24K) [application/x-gzip]
Saving to: ‘Entware-ng_0.97.qpkg’

Entware-ng_0.97.qpkg                            100%[======================================================================================================>]  24.46K  46.2KB/s    in 0.5s

2018-06-15 10:05:58 (46.2 KB/s) - ‘Entware-ng_0.97.qpkg’ saved [25045/25045]

[~] # sh Entware-ng_0.97.qpkg
Install QNAP package on TS-NAS...
33+1 records in
33+1 records out
24322 bytes (23.8KB) copied, 0.000060 seconds, 386.6MB/s
./
./qinstall.sh
./package_routines
./qpkg.cfg
0+1 records in
0+1 records out
3842 bytes (3.8KB) copied, 0.000018 seconds, 203.6MB/s
3+1 records in
3+1 records out
3842 bytes (3.8KB) copied, 0.001489 seconds, 2.5MB/s
Sym-link /opt ...
Info: Opkg package manager deployment...
Info: Basic packages installation...
Downloading http://pkg.entware.net/binaries/x86-64/Packages.gz.
Updated list of available packages in /opt/var/opkg-lists/packages.
Installing entware-opt (222108-5) to root...
Downloading http://pkg.entware.net/binaries/x86-64/entware-opt_222108-5_x86-64.ipk.
Installing libc (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libc_2.23-6_x86-64.ipk.
Installing libgcc (6.3.0-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libgcc_6.3.0-6_x86-64.ipk.
Installing libssp (6.3.0-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libssp_6.3.0-6_x86-64.ipk.
Installing librt (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/librt_2.23-6_x86-64.ipk.
Installing libpthread (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libpthread_2.23-6_x86-64.ipk.
Installing libstdcpp (6.3.0-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/libstdcpp_6.3.0-6_x86-64.ipk.
Installing ldconfig (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/ldconfig_2.23-6_x86-64.ipk.
Installing findutils (4.6.0-1) to root...
Downloading http://pkg.entware.net/binaries/x86-64/findutils_4.6.0-1_x86-64.ipk.
Installing terminfo (6.0-1c) to root...
Downloading http://pkg.entware.net/binaries/x86-64/terminfo_6.0-1c_x86-64.ipk.
Installing locales (2.23-6) to root...
Downloading http://pkg.entware.net/binaries/x86-64/locales_2.23-6_x86-64.ipk.
Installing opkg (2011-04-08-9c97d5ec-17a) to root...
Downloading http://pkg.entware.net/binaries/x86-64/opkg_2011-04-08-9c97d5ec-17a_x86-64.ipk.
Configuring libgcc.
Configuring libc.
Configuring libssp.
Configuring libpthread.
Configuring librt.
Configuring terminfo.
Configuring ldconfig.
Configuring locales.
Entware uses separate locale-archive file independent from main system
Creating locale archive - /opt/usr/lib/locale/locale-archive
Adding en_EN.UTF-8
Adding ru_RU.UTF-8
You can download locale sources from http://pkg.entware.net/sources/i18n_glib223.tar.gz
You can add new locales to Entware using /opt/bin/localedef.new
Configuring opkg.
Configuring libstdcpp.
Configuring findutils.
Configuring entware-opt.
Updating /opt/etc/ld.so.cache... done.
Link service start/stop script: Entware-ng.sh
Set QPKG information in /etc/config/qpkg.conf
Enable Entware-ng/opkg
[App Center] Entware-ng 0.97 installation succeeded.
[App Center] Entware-ng enabled.

2018-06-15 qnap , qpkg , install , qnap-usage , qnap-tutorial

威联通折腾篇二:使用 frp 内网穿透

这是 QNAP NAS 折腾第二篇,使用 frp 来从外网访问 NAS。威联通自带的 qlink.to 实在是太慢几乎到了无法使用的地步,用 Zerotier 也依然很慢,所以无奈还是用回了 frp.

之前就写过一篇很简单的 frp 使用,不过那是是在 PC 客户端和树莓派上,不过 NAS 就是一个 Linux 嘛,所以也很简单。不过需要注意的是,映射本地 8080 端口,如果需要其他端口,需要相应的添加配置:

[common]
server_addr = frp.server.com          # frp 服务端地址,可以为 IP 或者域名
server_port = 7000                    # 服务端 端口

[ssh-qnap]
type = tcp
local_ip = 127.0.0.1
local_port = 22                       # qnap 22 端口
remote_port = 6022                    # 映射到 6022 端口,这样就可以通过 6022 端口来访问 NAS 22 端口
use_encryption = true
use_compression = true

[qnap-web]
type = tcp
local_ip = 127.0.0.1
local_port = 8080                     # 同理 qnap 8080 管理页面
remote_port = 6080                    # 通过服务端 6080 端口访问 NAS 8080 端口
use_encryption = true
use_compression = true

我现在把所有的 frp 配置放到一个 git 项目中配置,所以一般我也很少更新 frp 的二进制,如果你想要使用最新的 frp 二进制可以到 GitHub 页面


2018-06-15 frp , qnap , qnap-tutorial , qnap-usage , qnap

使用 Zerotier 组建虚拟局域网实现内网穿透

首先 Zerotier 是什么呢? Zerotier 是一拨人为了解决网络复杂,以及因特网过于中心化而提出的解决方案。他们使用点对点 的网络,并且在上面附加一层 VXLAN-like 虚拟网络层 来提高局域网的可见性,安全性。

所以简单来说,Zerotier 通过创建一个虚拟网络,把你的设备添加到这个网络,那么在这个网络内,你的设备就像在同一个路由器内那样可以使用各种端口。

免费版 Zerotier 支持局域网内 100 个设备。Zerotier 支持 Windows、macOS、Linux 三大桌面平台,iOS、Android 两大移动平台,QNAP(威连通)、Synology(群晖)、Western Digital MyCloud NAS(西部数据)三个 NAS 平台,还支持 OpenWrt/LEDE 开源路由器项目。

官网地址:

使用

  • 注册 ZeroTier
  • 创建 Network 私有局域网,得到一个 16 位的 Network ID
  • 在需要加入虚拟局域网的设备上安装各个平台客户端,设备会生成一个 10 位的 ZeroTier address
  • 在设备上加入刚刚创建的 Network ID zerotier-cli join <network id>(或在网页上添加 ZeroTier address)
  • 在官网 network 页面上找到设备,在设备前勾选,信任设备,获得局域网 IP

Windows 系统用命令 IPconfig,Linux/Unix 用命令 ifconfig,然后会看到一个虚拟网卡,有一个 IP 地址。这个 IP 和在官网看到的 network 下的 IP 是一致的,只有同在该虚拟网络下的机器才能访问。

接下来,你可以设置远程桌面(端口号 3389),或者 FTP 服务(端口 21),或者搭建内网网站(端口 80),各种玩法都可以尝试咯。

图文教程可以参考这篇文章

对比

和 ngrok 和 frp 功能类似,但是 ZeroTier 明显入手简单。ZeroTier 只有客户端开源,服务端并没有开源。而 ngrok 和 frp 都是完全开源。但是 ngrok 和 frp 严重依赖于公网固定 IP 的 VPS,是一个中性化的内网穿透工具,一旦中心挂掉,那么所有的节点都无法工作。Zerotier 帮助用户实现了服务端,虽然安全性有待考验,但至少还是能用状态。

另外很多人提到的 N2N 开上去也不错,不过我还没怎么用过。等以后尝试过后再补上。

建立中转服务器 moon

Zerotier 的官方服务器在国外,国内客户端使用时延迟较大,网络高峰期时甚至各个客户端节点之间访问不了。此时,“自定义根服务器”,又称 moon 中转服务器就显得非常重要,它的主要功能是通过自定义的服务器作为跳板加速内网机器之间的互相访问。

Zerotier 定义了几个专业名词:

  • PLANET 行星服务器,Zerotier 各地的根服务器,有日本、新加坡等地
  • moon 卫星级服务器,用户自建的私有根服务器,起到中转加速的作用
  • LEAF 相当于各个枝叶,就是每台连接到该网络的机器节点。

在使用 zerotier-cli listpeers 命令时能看到这几个名词。充当 moon 的机子最好有公网 IP,现在我们尝试用 qnap 搭建一个 moon 中转:

获取 moon.json 文件

zerotier 安装好之后会带有 zerotier-idtool 这个命令,之后的内容需要依赖该命令。假设现在有一台公网固定 IP 的 VPS,在上面安装完 Zerotier 之后。

cd /var/lib/zerotier-one
zerotier-idtool initmoon identity.public > moon.json

获得 moon.json 文件。查看文件内容,其中 id 为 VPS 的 Zerotier ID。 vi 编辑 moon.json,修改 “stableEndpoints” 为 VPS 的公网的 IP,以 IPv4 为例:

"stableEndpoints": [ "8.8.8.8/9993" ]

8.8.8.8 为公网 IP,9993 为 Zerotier 默认端口。

另外,记录下 json 中的 id 值,是一个 10 位的字符串。

生成签名文件

用到上一步中的 moon.json, 执行

zerotier-idtool genmoon moon.json

执行之后生成 000000xxxx.moon 文件。

将 moon 节点加入网络

在 VPS 的 Zerotier 安装目录下(/var/lib/zerotier-one)建立文件夹 moons.d,将生成的 .moon 文件拷贝进去。

重启 zerotier,重启电脑。至此,VPS 上(moon 服务器)配置完成。

其他客户端机器连接 moon 节点

其他虚拟局域网中的机器想要连接到 moon 节点的话有两种方法,第一种方法就是使用 zerotier-cli orbit 命令。连接 moon 节点方法一,使用之前步骤中 moon.json 文件中的 id 值 (10 位的字符串)

分别在客户端机器里执行:

zerotier-cli orbit <id> <id>

完成

第二种方法是需要在 /var/lib/zerotier-one 目录下新建 moons.d 文件夹和 moon 节点一样,将 000000xxxx.moon 文件放到其中,并重启 zerotier。

测试

zerotier-cli listpeers

如果有 moon 服务器 IP 地址的那一行后面有 moon 字样,证明 moon 节点已经被本机连接。

不同系统下的 ZeroTier 目录位置:

  • Windows: C:\ProgramData\ZeroTier\One
  • Macintosh: /Library/Application\ Support/ZeroTier/One)
  • Linux: /var/lib/zerotier-one
  • FreeBSD/OpenBSD: /var/db/zerotier-one

2018-06-14 zerotier , linux , nas , network , virtual-networks

Celery 又一坑:时区错误

Celery 使用过程中又遇一坑,最近升级项目中使用的 Celery 到 4.1.1,突然发现一些定时任务突然不执行了。开始还以为代码哪里做了变化,尝试找了很久,然后打开 scheduler 的日志观察了一段时间。

Celery config 中的配置是如下所示,理论上,早间的任务应该在 8 点到 12 点 每隔 5 分钟执行一次,然后午间和晚间的以此类推。

app.conf.timezone = 'Asia/Shanghai'

app.conf.beat_schedule = {
    'morning': {
        'task': 'worker.xxx.get_xxx',
        'schedule': crontab(minute='*/5', hour='8-12'),
        'args': ('早间',),
        'options': {
            'queue': 'xxx'
        }
    },
    'afternoon': {
        'task': 'worker.xxx.get_xxx',
        'schedule': crontab(minute='*/5', hour='12-18'),
        'args': ('午间',),
        'options': {
            'queue': 'xxx'
        }
    },
    'evening': {
        'task': 'worker.xxx.get_xxx',
        'schedule': crontab(minute='*/5', hour='19-21'),
        'args': ('晚间',),
        'options': {
            'queue': 'xxx'
        }
    },
}

但是观察日志发现,即使现在是下午 4 点,但是上午的任务依然在跑,这个时候突然想起来,是不是因为版本升级导致,果不然,一查 GitHub 就有人反馈这个问题,目前解决方法很简单,为了恢复可用状态,将 celery 回滚到了 4.0.2 版本。暂时没有发现问题。

看 issue 已经意识到该问题,希望能在 4.2 版本中修复吧,有时间的话我再看看他的源码。


2018-06-13 celery , python , linux , message , queue , bug

使用 lombok 简化 Java 代码

lombok 在编译器编译时通过操作 AST(抽象语法树)改变字节码生成。也就是说他可以改变 Java 语法。lombok 不像 Spring 的依赖注入是运行时的特性,而是编译时的特性。

安装配置

官网地址:https://projectlombok.org/

添加 maven

<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.16.20</version>
</dependency>

最新的版本号,可以在官网或者 mvnrepository 找到。 如果使用 Intellij IDEA 还需要安装一个插件。

使用

Data 注解

类注解

import lombok.Data;

@Data
public class Thing {
    private Long id;
    private String desc;
}

通过添加注解 @Data 可以给类快速添加 get 和 set 方法,toString 方法等等。 @Data 注解其实是 @ToString@Getter@SetterRequiredArgsConstructor@EqualsAndHashCode 注解的缩写。

其实等效于

import lombok.EqualsAndHashCode;
import lombok.Getter;
import lombok.RequiredArgsConstructor;
import lombok.Setter;
import lombok.ToString;

@ToString
@RequiredArgsConstructor
@EqualsAndHashCode
public class Thing {
    @Setter @Getter private Long id;
    @Setter @Getter private String desc;
}

相关的注解:

  • @Getter/@Setter:用在属性上,再也不用自己手写 setter 和 getter 方法了,还可以指定访问范围
  • @ToString:用在类上,可以自动覆写 toString 方法,当然还可以加其他参数,例如 @ToString(exclude=”id”) 排除 id 属性,或者 @ToString(callSuper=true, includeFieldNames=true) 调用父类的 toString 方法,包含所有属性
  • @EqualsAndHashCode:用在类上,自动生成 equals 方法和 hashCode 方法
  • @NoArgsConstructor, @RequiredArgsConstructor and @AllArgsConstructor:用在类上,自动生成无参构造和使用所有参数的构造函数以及把所有 @NonNull 属性作为参数的构造函数,如果指定 staticName = “of”参数,同时还会生成一个返回类对象的静态工厂方法,比使用构造函数方便很多
  • @Data:注解在类上,相当于同时使用了@ToString@EqualsAndHashCode@Getter@Setter@RequiredArgsConstrutor这些注解,对于 POJO 类十分有用
  • @Value:用在类上,是 @Data 的不可变形式,相当于为属性添加 final 声明,只提供 getter 方法,而不提供 setter 方法
  • @NonNull 用在方法参数上,该变量不能为空,否则就抛出异常
  • @Builder:用在类、构造器、方法上,为你提供复杂的 builder APIs,让你可以像如下方式一样调用 Person.builder().name(“Adam Savage”).city(“San Francisco”).job(“Mythbusters”).job(“Unchained Reaction”).build(); 更多说明参考 Builder
  • @SneakyThrows:自动抛受检异常,而无需显式在方法上使用 throws 语句
  • @Synchronized:用在方法上,将方法声明为同步的,并自动加锁,而锁对象是一个私有的属性 $lock 或 $LOCK,而 java 中的 synchronized 关键字锁对象是 this,锁在 this 或者自己的类对象上存在副作用,就是你不能阻止非受控代码去锁 this 或者类对象,这可能会导致竞争条件或者其它线程错误
  • @Getter(lazy=true):可以替代经典的 Double Check Lock 样板代码
  • @Log:根据不同的注解生成不同类型的 log 对象,但是实例名称都是 log,有六种可选实现类

    @CommonsLog Creates log = org.apache.commons.logging.LogFactory.getLog(LogExample.class); @Log Creates log = java.util.logging.Logger.getLogger(LogExample.class.getName()); @Log4j Creates log = org.apache.log4j.Logger.getLogger(LogExample.class); @Log4j2 Creates log = org.apache.logging.log4j.LogManager.getLogger(LogExample.class); @Slf4j Creates log = org.slf4j.LoggerFactory.getLogger(LogExample.class); @XSlf4j Creates log = org.slf4j.ext.XLoggerFactory.getXLogger(LogExample.class);

其他的特性可以在这里看到:https://projectlombok.org/features/all


2018-06-11 lombok , java

kafka 基础知识笔记

Kakfa 起初是由 LinkedIn 公司开发的一个分布式的消息系统,后成为 Apache 的一部分,它使用 Scala 编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Apache Storm、Spark 等都支持与 Kafka 集成。

体系架构

生产者使用 push 向 broker 发送消息,消费者使用 pull 模式拉取并消费消息

  • producer 可能是服务器日志,业务数据
  • broker 消息中间件节点,支持水平扩展,一般 broker 数量越多,集群吞吐率越高
  • consumer
  • zookeeper 集群, Kafka 依赖 zookeeper 管理

存储策略

Kafka 中消息是以 topic 进行分类的,生产者通过 topic 向 Kafka broker 发送消息,消费者通过 topic 读取数据。topic 在物理层面以 partition 为分组,partition 还可以细分为 segment。

假设 Kafka 消息文件存储目录

log.dirs=/tmp/kafka-logs

假设 partition 数量为 4

/bin/kafka-topics.sh –create –zookeeper localhost:2181 –partitions 4 –topic mytopic –replication-factor 4

然后就能在 /tmp/kafka-logs 目录中看到 4 个目录。

在 Kafka 文件存储中,同一个 topic 下有多个不同的 partition,每个 partiton 为一个目录,partition 的名称规则为:topic 名称 + 有序序号,第一个序号从 0 开始计,partition 是实际物理上的概念,而 topic 是逻辑上的概念。

每个 partition(目录)相当于一个巨型文件被平均分配到多个大小相等的 segment(段)数据文件中(每个 segment 文件中消息数量不一定相等)这种特性也方便 old segment 的删除,即方便已被消费的消息的清理,提高磁盘的利用率。每个 partition 只需要支持顺序读写就行,segment 的文件生命周期由服务端配置参数(log.segment.bytes,log.roll.{ms,hours}等若干参数)决定。

segment 文件由两部分组成,分别为.index文件和.log文件,分别表示为 segment 索引文件和数据文件。这两个文件的命令规则为:partition 全局的第一个 segment 从 0 开始,后续每个 segment 文件名为上一个 segment 文件最后一条消息的 offset 值,数值大小为 64 位,20 位数字字符长度,没有数字用 0 填充。.index 索引文件存储大量的元数据,.log 数据文件存储大量的消息,索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。

每条消息都具有固定的物理结构,包括:offset(8 Bytes)、消息体的大小(4 Bytes)、crc32(4 Bytes)、magic(1 Byte)、attributes(1 Byte)、key length(4 Bytes)、key(K Bytes)、payload(N Bytes) 等等字段,

topic vs partition

一类 topic 可以认为一类消息,每个 topic 会被分成多个 partition,每个 partition 使用 append log 文件存储。

在创建 topic 时可以在 $KAFKA_HOME/config/server.properties 中指定 partition 的数量,也可以在 topic 创建之后去修改 partition 的数量。

# The default number of log partitions per topic. More partitions allow greater
# parallelism for consumption, but this will also result in more files across
# the brokers.
num.partitions=4

broker 重要配置

Kafka 有非常多的参数可以控制其工作和运行,大部分情况下默认值就可以,但是要用到生产上,就需要自定义一些参数来适应不同的环境。broker 中有一些非常重要的参数,这里列举一些,关于 broker 所有其他的参数可以参考 Kafka 的官方文档。

broker.id

每个 kafka broker 都需要有一个整型的唯一标识,这个标识通过 broker.id 来设置。默认的情况下,这个数字是 0, 但是它可以设置成任何值。需要注意的是,需要保证集群中这个 id 是唯一的。这个值是可以任意填写的,并且可以在必要的时候从 broker 集群中删除。比较好的做法是使用主机名相关的标识来做为 id, 比如,你的主机名当中有数字相关的信息,如 hosts1.example.com,host2.example.com, 那么这个数字就可以用来作为 broker.id 的值。

port

默认启动 kafka 时,监听的是 TCP 的 9092 端口,端口号可以被任意修改。如果端口号设置为小于 1024, 那么 kafka 需要以 root 身份启动。但是并不推荐以 root 身份启动。

zookeeper.connect

这个参数指定了 Zookeeper 所在的地址,它存储了 broker 的元信息。在前一章节的例子中,Zookeeper 是运行在本机的 2181 端口上,因此这个值被设置成 localhost:2181。这个值可以通过分号设置多个值,每个值的格式都是 hostname:port/path, 其中每个部分的含义如下:

  • hostname 是 zookeeper 服务器的主机名或者 ip 地址
  • port 是服务器监听连接的端口号
  • /path 是 kafka 在 zookeeper 上的根目录。如果缺省,会使用根目录

log.dirs

这个参数用于配置 Kafka 保存数据的位置,Kafka 中所有的消息都会存在这个目录下。可以通过逗号来指定多个目录,kafka 会根据最少被使用的原则选择目录分配新的 parition。注意 kafka 在分配 parition 的时候选择的规则不是按照磁盘的空间大小来定的,而是分配的 parition 的个数多小。

num.recovery.thread.per.data.dir

kafka 可以配置一个线程池,线程池的使用场景如下:

  • 当正常启动的时候,开启每个 parition 的文档块 segment
  • 当失败后重启时,检查 parition 的文档块
  • 当关闭 kafka 的时候,清除关闭文档块

默认,每个目录只有一个线程。最好是设置多个线程数,这样在服务器启动或者关闭的时候,都可以并行的进行操作。尤其是当非正常停机后,重启时,如果有大量的分区数,那么启动 broker 将会花费大量的时间。注意,这个参数是针对每个目录的。比如,num.recovery.threads.per.data.dir 设置为 8, 如果有 3 个 log.dirs 路径,那么一共会有 24 个线程。

auto.create.topics.enable

在下面场景中,按照默认的配置,如果还没有创建 topic,kafka 会在 broker 上自动创建 topic:

  • 当 producer 向一个 topic 中写入消息时
  • 当 cosumer 开始从某个 topic 中读取数据时
  • 当任何的客户端请求某个 topic 的信息时

在很多场景下,这都会引发莫名其妙的问题。尤其是没有什么办法判断某个 topic 是否存在,因为任何请求都会创建该 topic。如果你想严格的控制 topic 的创建,那么可以设置 auto.create.topics.enable 为 false。

num.partitions

这个参数用于配置新创建的 topic 有多少个分区,默认是 1 个。注意 partition 的个数只可以被增加,不能被减少。这就意味着如果想要减少主题的分区数,那么就需要重新创建 topic。

Kafka 通过分区来对 topic 进行扩展,因此需要使用分区的个数来做负载均衡,如果新增了 broker, 那么就会引发重新负载分配。这并不意味着所有的主题的分区数都需要大于 broker 的数量,因为 kafka 是支持多个主题的,其他的主题会使用其余的 broker。需要注意的是,如果消息的吞吐量很高,那么可以通过设置一个比较大的分区数,来分摊压力。

log.retention.ms

用于配置 kafka 中消息保存的时间,也可以使用 log.retention.hours, 默认这个参数是 168 个小时,即一周。另外,还支持 log.retention.minutes 和 log.retention.ms。这三个参数都会控制删除过期数据的时间,推荐还是使用 log.retention.ms。如果多个同时设置,那么会选择最小的那个。

过期时间是通过每个 log 文件的最后修改时间来定的。在正常的集群操作中,这个时间其实就是 log 段文件关闭的时间,它代表了最后一条消息进入这个文件的时间。然而,如果通过管理员工具,在 brokers 之间移动了分区,那么这个时候会被刷新,就不准确了。这就会导致本该过期删除的文件,被继续保留了。

log.retention.bytes

这个参数也是用来配置消息过期的,它会应用到每个分区,比如,你有一个主题,有 8 个分区,并且设置了 log.retention.bytes 为 1G, 那么这个主题总共可以保留 8G 的数据。注意,所有的过期配置都会应用到 patition 粒度,而不是主题粒度。这也意味着,如果增加了主题的分区数,那么主题所能保留的数据也就随之增加。

log.segment.bytes

用来控制 log 段文件的大小,而不是消息的大小。在 kafka 中,所有的消息都会进入 broker, 然后以追加的方式追加到分区当前最新的 segment 段文件中。一旦这个段文件到达了 log.segment.bytes 设置的大小,比如默认的 1G, 这个段文件就会被关闭,然后创建一个新的。一旦这个文件被关闭,就可以理 解成这个文件已经过期了。这个参数设置的越小,那么关闭文件创建文件的操作就会越频繁,这样也会造成大量的磁盘读写的开销。

log.segment.ms

控制段文件关闭的时间,它定义了经过多长时间段文件会被关闭。

message.max.bytes

这个参数用于限制生产者消息的大小,默认是 1000000, 也就是 1M。生产者在发送消息给 broker 的时候,如果出错,会尝试重发;但是如果是因为大小的原因,那生产者是不会重发的。另外,broker 上的消息可以进行压缩,这个参数可以使压缩后的大小,这样能多存储很多消息。需要注意的是,允许发送更大的消息会对性能有很大影响。更大的消息,就意味着 broker 在处理网络连接的时候需要更长的时间,它也会增加磁盘的写操作压力,影响 IO 吞吐量。

Kafka 特点

  • kafka 也被设计为多个消费者去读取任意的单个消息流而不相互影响;同时多个 kafka 消费者也可以选择作为一个组的一部分,来分担一个消息流,确保这整个组,这个消息只被消费一次
  • 基于硬盘的消息保存,消息将按照持久化配置规则存储在硬盘上。这个可以根据每个 topic 进行设置,允许根据不同的消费者的需求不同设置不同消息流的保存时间不同,持久化保存意味着一旦消费者来不及消费或者突然出现流量高峰,而不会有丢失数据的风险。同样也意味着消息可以由 consumer 来负责管理,比如消费消息掉线了一段时间,不需要担心消息会在 producer 上累积或者消 息丢失,consumer 能够从上次停止的地方继续消费
  • 水平扩展能力强,扩展可以在集群正常运行的时候进行,对于整个系统的运作没有影响,集群如果要同时容忍更多的故障的话,可以配置更高的 replication factors
  • 高性能

Kafka 的使用场景

关于该部分,Kafka 官方的入门教程中有非常详细的介绍,包括从最早在 LinkedIn 中为记录用户访问数据设计该系统,到后面日志,消息处理,到流处理等等,Kafka 有着非常广阔的使用场景。

更多关于如何使用命令行启动 Kafka,还有一些基础内容可以参考翻译的 Kafka 中文文档

reference


2018-05-29 kafka , linkedin , message , broker

SSH 端口转发

SSH 全称 Secure Shell,是一种加密的网络传输协议,可以在不安全的网络中为网络服务提供安全的传输环境。

几个 ssh 命令的参数

  • C 压缩数据传输
  • -f 后台登录用户名密码,如果省去该参数 ssh 会一直等待
  • -g 允许打开的端口让远程主机访问
  • -N 不执行shell
  • -T 表示不为该连接分配TTY
  • -p 后接端口

本地端口转发

本地端口转发,就是将发送到本地端口的请求,转发到目标主机端口。

ssh -L 本地网络地址:本地端口:目标主机地址:目标端口 root@<主机地址>
ssh -L localhost:3000:localhost:80 root@<ip>  # 将发送到本地3000端口的请求,转发到远程主机80端口
ssh -L 3000:localhost:80 root@<ip>  # 将发送到本地3000端口的请求,转发到远程主机80端口,省略掉本地地址
ssh -p port -C -f -NT -g -L 3000:localhost:80 root@<ip>

远程端口转发

远程端口转发,就是将发送到远程端口的请求,转发到目标端口,一般用来将公网主机端口请求转发到局域网内机器端口以实现外网访问。

ssh -R 远程地址:远程端口:目标地址:目标端口 root@<主机地址>
ssh -R localhost:3000:localhost:80 root@<ip>  # 将远程主机 80 端口的请求转发到本地3000端口
ssh -p port -C -f -NT -g -R 3000:localhost:80 root@<ip>

动态端口转发

动态端口转发,则是绑定一个本地端口,目标地址,目标端口不固定,目标地址和目标端口由发起的请求决定。只有root才能转发特权,支持 Socks 5 本地。

ssh -D 本地地址:本地端口 root@<主机地址>
ssh -D localhost:5000 root@<ip>
ssh -D 5000 root@<ip>           # 省略 localhost,监听本地5000端口
ssh -p port -C -f -NT -g -D 8080 root@<ip>        # Sock监听本地 8080 端口,任何发给 8080 端口的内容都会被转发到远程主机

reference


2018-05-28 ssh , port , forward , linux

电子书

Google+

最近文章

  • 威联通折腾篇五:安装 Transmission 下载 BT 这一篇讲在威联通上安装和使用下载工具 – Transmission。
  • 威联通折腾篇六:文件同步 文件同步应该算是 NAS 最最基本的一个服务了,但是为什么直到篇六才提到他呢,是因为威联通自带的 QSync ,嗯,虽然能用,但是,没有 Linux 客户端,虽然其他平台客户端 OK,但是作为我主力工作的平台没有同步客户端,只能 smb 挂载。而之前搞 zerotier 同局域网速度不佳,其他 frp 内网穿透 也最多拉一些小文件,完全做不到 Dropbox 那样无缝,无痛。
  • 威联通折腾篇四:Container Station 运行 Docker 容器 威联通上有一个 Container Station 的应用,可以直接用官方的 App Center 中下载安装,这其实就是一个 Docker 本地环境,如果熟悉 Docker 使用,那么其实都直接可以 ssh 登录 NAS 然后完全使用命令行来操作。
  • 威联通折腾篇一:使用命令行安装威联通 QNAP 的 qpkg 安装包 如果想要给威联通安装一个 qpkg 的安装包时,最直观界面方式就是在 App Center 中,右上角,将本地的 .qpkg 文件上传到 NAS 并安装。
  • 威联通折腾篇二:使用 frp 内网穿透 这是 QNAP NAS 折腾第二篇,使用 frp 来从外网访问 NAS。威联通自带的 qlink.to 实在是太慢几乎到了无法使用的地步,用 Zerotier 也依然很慢,所以无奈还是用回了 frp.