解压和打包 jar 包,使用如下的方式。
unpack
jar xf filename.jar
pack
jar cf filename.jar path/to/dir
将打包好的 jar 包上传到 Nexus
mvn deploy:deploy-file -DgroupId=my.group.id \
-DartifactId=my-artifact-id \
-Dversion=1.0.1 \
-Dpackaging=jar \
-Dfile=realfilename.jar \
-DgeneratePom=true \
-DrepositoryId=my-repo \
-Durl=http://my-nexus-server.com:8081/repository/maven-releases/
记住这里的 repositoryId 一定是 ~/.m2/settings.xml
文件中的 ID, 另外 url 也要区分一下 releases 和 snapshots.
<servers>
<server>
<id>my-repo</id>
<username>admin</username>
<password>admin123</password>
</server>
</servers>
记录一下在 Linux 下测试硬盘读写速度的命令和方法。
使用 dd 测试写速度,千万有注意 of
后接的文件必须是一个不存在的文件,否则可能造成数据丢失!
sync; dd if=/dev/zero of=/tmp/tempfile bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 2.55331 s, 421 MB/s
同样的道理,如果要测试一个外部存储,需要知道挂载点,然后用 dd 命令:
sync; dd if=/dev/zero of=/media/user/MyUSB/tempfile bs=1M count=1024; sync
使用 dd 测试读取速度,注意这里的 if
后需要接上一个命令生成的文件:
dd if=/tmp/tempfile of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 0.271083 s, 4.0 GB/s
清楚 cache,准确的测试真实的读速度:
sudo /sbin/sysctl -w vm.drop_caches=3
dd if=/tmp/tempfile of=/dev/null bs=1M count=1024
使用 hdparm 也可以对硬盘进行测试。
apt install hdparm
先用 lsblk
或者 fdisk -l
来查看设备信息,一般磁盘都是 /dev/sda
这样。
然后用如下命令测试:
sudo hdparm -Tt /dev/sda
/dev/sda:
Timing cached reads: 31236 MB in 1.99 seconds = 15733.75 MB/sec
Timing buffered disk reads: 504 MB in 3.01 seconds = 167.51 MB/sec
昨天在整理同步工具的时候接触到了 [[Syncthing]],简直秒杀了我现在使用的任何同步工具,所以不得不花一些篇幅来记录一下。
在看到 Syncthing 的介绍时,就非常好奇它的同步原理。也幸亏它的官方文档也有非常详细的 QA
几个比较重要的点:
下载及安装过程不再赘述,官网已经非常详细了。
使用 Linuxserver 的镜像安装:
Syncthing 有个端口需要注意一下
tcp://0.0.0.0:22000
服务监听地址udp://0.0.0.0:21027
本地发现服务端口在 Unix 下在 $HOME/.config/syncthing
下
vi ~/.config/syncthing/config.xml
然后修改本地监听地址从 127.0.0.1 到 0.0.0.0.
如果熟悉 supervisord 可以使用官方提供的文档配置,如果在 Linux 下可以尝试使用 Systemd
sudo systemctl enable syncthing@yourname.service
sudo systemctl start syncthing@yourname.service
记得把 yourname 替换成用户名。
Syncthing 服务启动后端口是 8384.
推荐的理由:
有一种情况是,加入只想要在本地局域网中传输数据,那么可以关闭全局 Discovery 服务器,然后在设置中手动指定某一态服务器的 IP 和 端口,而不是使用默认的 dynamic。这样所有的数据就会在本地传输。
Syncthing 支持文件的版本控制,当从 cluster 同步,删除或者同步一个新版本之后备份之前的老版本。File Versioning 是每一个文件夹,每一个设备可以单独控制的。默认情况下是 「No File Versioning」,也就意味着本地不回保存远程设备删除的文件。
Syncthing 有好几种文件版本控制策略:
.stversions
文件夹的垃圾箱中,如果垃圾箱中已经存在同名文件,将会被替换.stversions
文件夹中。选择此策略之后还可以设置“保留版本”选项,告诉 Syncthing 应该保留该文件的旧版本数量。例如,如果将此值设置为 5,则在远程设备上替换文件 5 次时,在共享相同文件夹的.stversions
文件夹中将看到 5 个带有时间戳的文件版本。.stversions
文件夹。如果设置自定义版本路径,请确保它位于与共享文件夹路径相同的分区或文件系统上,否则移动文件可能会失败。您可以使用绝对路径(推荐)或相对路径。相对路径是相对于 Syncthing 当前或启动目录解释的。Syncthing 支持三种工作模式:1
比较容易理解,但是假如 A 设备设置仅发送,B 设备设置发送和接收,A 是不会同步 B 的更改的!
忽略列表,和 gitignore
类似。每一台设备上的 .stignore
都是分别设置的,不会进行同步。
如果 A 的.stignore
忽略了 test
,而 B 没有这样做,实际上会发生这样的事情:
这里有一个小提示,因为 .stignore
文件是不会同步的,每个设备都需要自行设置。如果想要同步这个配置,那么可以先创建一个 .globalstignore
文件,把需要忽略的内容写到这个文件中,然后在 Syncthing 中配置:
#include .globalstignore
一份常用的 .globalstignore
:
//---Mac-specific---//
//Mac Comments, Finder Windows Size, Tags, ...
(?d).DS_Store
.DocumentRevisions-V100
//Mac Folder Icons, which will not sync to Windows
(?d)Icon*
.Spotlight-V100
.TemporaryItems
.Trashes
.fseventsd
(?d).localized
//Mac Temporary iCloud files while synching
.iCloud
//Mac OS Metadata on Windows or Linux filesystems
(?d)._*
//---Windows-Specific---//
(?d)desktop.ini
(?d)Thumbs.db
(?d)$RECYCLE.BIN
*.lnk
//---Linux-specific---//
.Trash-*
//---QNAP-specific---//
(?d).@__thumb
(?d).AppleDB
//---Synology-specific---//
(?d)@eaDir
//---Application-specific---//
//-Syncthing
(?d).stignore
(?d).stfolder
//-vi(m)
(?d)*.*.sw[a-p] # Thankys to Tom Hale!
//-Dropbox
.dropbox
.dropbox.attr
//-Microsoft Office temporary files/lock files
(?d)~*
//-KDE
.directory
//---OTHER---//
Microsoft-Benutzerdaten
Notizbuch von Wolf.url
Outlook-Dateien
RDC Connections
.parallels-vm-directory
Default.rdp
管理后台显示的最后更改(Lastest Change)是指的,根据【别人的变动】【对自己做修改】的情况和时间。或许用英语来解释稍微易懂一些, The “Latest Change” on the folder only shows incoming changes.
管理后台显示的最后扫描或者 Last Scan 是指对【自己的目录】最后扫描的时间。
管理后台显示的 Out Of Sync 或者未同步指的是「尚未接他方推送的变动」,如果已收到对方关于变动的通知,但因为下载问题或者.stignore
的设定而未能下载这些变动,就会出现这个情况。
Override Changes
Override Changes 或者撤销变动,中文译法有些不准确。出现这个提示的原因通常是设为仅发送的一方(A,master)认为自己的资料是最新的,认为对方(B)推送的变动是应该被撤销的,即使 B 关于特定资料的修订时间要晚于本地;点这个按钮会强迫 B 对方撤销自己的变动,以其收到的 A 的版本为准更改资料。
当我在一台比较老的机器上安装 Syncthing, systemd status 发现无法启动 Syncthing,查看日志说是:228/SECCOMP
错误。
这个时候需要修改 sudo vi /lib/systemd/system/syncthing@.service
,并将其中两行注释。
# SystemCallArchitectures=native
# MemoryDenyWriteExecute=true
然后重新 sudo systemctl daemon-reload
,并重新启动 Syncthing:
sudo systemctl start syncthing@einverne.service
增加 inotify limit
添加到配置(重启后生效):
echo "fs.inotify.max_user_watches=204800" | sudo tee -a /etc/sysctl.conf
立即生效可以配置:
echo 204800 | sudo tee /proc/sys/fs/inotify/max_user_watches
在 Syncthing 的 Remote Devices 中会看到一个 Introducer 的配置,通过简单的配置选项大概能知道其作用就是用于自动添加新设备(节点)。但是 Syncthing 是以一个什么逻辑来 Introduce 新设备并没有深入的了解,这里就整理一下官方文档中关于 Introducer 部分的内容。
当两个设备连接的时候,他会会交换一个相互分享的文件列表以及设备连接到哪些共享文件夹。比如:
本地设备 L 设置了远程设备 R 作为一个 Introducer。 他们共享文件夹 “Pictures”,设备 R 还和 A 和 B 共享 “Pictures” 文件夹,但是 L 仅仅和 R 共享。 那么一旦 L 和 R 连接了,L 会自动添加 A 和 B 设备,就像 R 向 L 介绍了 A 和 B 一样 远程设备 R 和设备 C 共享 “Videos” 文件夹,但是没有和本地设备 L 共享。那么设备 C 不会被添加到 L ,因为 C 并没有和 L 和 R 的任何文件夹相连。
设备和设备的 Introduce 的过程包含着设备 IDs,标签,地址设置的自动配置,但是不包含设备本地的相关设置。设备的自动配置,仅会在连接到 Introducer 之后,或者重启时被应用一次,当设备连接到介绍器时就会完成。一旦完成自动配置,设备的设置将无法从 Introducer 那里收到任何更新。
当一个 introducer 添加或移除设备,或者修改共享文件夹,或者修改设备分享设定,这些修改会在下一次连接时被应用到设备。类似的,如果一个被介绍的设备不再出现,或者不再 fxl 共同的文件夹,该设备会自动在下一次连接是从集群(cluster)节点中被移除。
Introducer 状态是传递的,这意味着,Introducer 的 Introducer 也会成为 Introducer。
将两个设备相互设置成 Introducer 是不推荐的。当添加设备,移除设备时可能会造成问题,两个设备会相互不停的 re-introducing 移除的设备。
当发生空间不足,或者想要移动同步文件夹位置的时候。可以通过如下步骤完成:
建议只在同步完成的文件夹中操作。
陆陆续续用过不少同步工具,资料备份,各个设备间同步文件,从商业化的工具到命令行工具,但总还是一直在寻找一款足于满足我所有需求的工具。这里就整理一下,顺便整理一下我自己的思路。不久前就一直在思考一个问题,数字文件的生命有多长,以前看到过一句话,几十年前父母写下的日记如今依然能从旧书柜中翻出,数十年前的胶卷照片依然还很清晰,但往往几年前的网络文章,或者数字照片可能如今随着网络服务的关闭,物理硬盘的损坏而无法恢复。有人尝试使用多地备份,有人尝试云服务备份,却都无法从根本上解决这个问题,当然现在的我依然没有办法完全的解决这个问题。
目前我从两个方面来规避这个问题,一方面物理备份一份,一方面网络存储一份。虽然可以从大部分情况下解决一些问题,不过并不能保证 100 % 数据安全。
中心化的同步工具就像是那个时候的 SVN,使用体验完全依赖于中心服务器,网速,磁盘大小都决定了最后的使用体验。
最早接触到同步工具应该就是 Dropbox 了,PC 上,手机上都是使用 Dropbox 来同步的,并且我的 Dropbox 利用率一直都还是很高。但是 Dropbox 因为网络问题原因,有些时候可能会比较慢。所以一直作为保留项目。
在 Dropbox 之后,也用过 pCloud 不过也并没有深度使用。
之后就是尝试在 VPS 上建了 NextCloud,然后买了 NAS 之后把内容备份到了 NAS 上,并且开始深度使用 NextCloud
不过以上这些工具都有一些问题,比如我都只用来同步一些相对比较小的文件,比如文件,图片,文档等等内容。因为受到同步服务器容量的限制,所以有些文件我会有意识的不同步。
去中心化的服务有很多,这些年陆陆续续也都用过很多。就我个人而言,如果使用命令行,我会用 rsync, 如果要有一个比较友好的界面,我会用 Syncthing。
rsync 之前的文章 已经提到过,很多使用方法那篇文章中也有提及,这里就不赘述了。
unison 没怎么用过,但是 unison 经常被用来和 rsync, syncthing 一起比较,想必也有他的过人之处。
曾经用过很长一段时间,说是去中心化的,但是国内把中心服务的节点屏蔽之后就很难连接上其他地址了,所以后来就放弃了。不过 NAS 上还一直留着,使用起来也非常不错。
如果想要分享只读大文件给很多人,不妨体验一下。
之前也有写过一篇文章 威联通上使用 verySync,但是这个同步工具毕竟还是用的人少,并且还是国产闭源应用,可信度不高。作为 Resilio Sync 的国产代替品使用。
开源,跨平台,Go 语言编写,其他就不用多说了。这可能是这一次整理收获最大的一个工具。
添加 Linux 启动项,可以参考官方的文档,非常详细
这个工具足以代替 Dropbox 完成同步任务,支持增量备份,支持版本管理,各个平台都有完美的解决了同步的问题。
insync 是一个可以将本地文件夹和 Google Drive 同步的工具,收费
GoodSync 又一款同步工具,支持很多平台,不过有些功能需要收费。
I found someone submit a pull-request to redis, which modify the init.d script. The modification make me curious about the init script. So this is the research result.
LSB stand for Linux Standard Base.
LSB-compliant init scripts need to:
[optionally] Log messages using the Init.d functions: log_success_msg, log_failure_msg and log_warning_msg
#!/bin/sh ### BEGIN INIT INFO # Provides: scriptname # Required-Start: $all # Required-Stop: # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: Start daemon at boot time # Description: Enable service provided by daemon. ### END INIT INFO
解释:
2 3 4 5
0 1 6
几个虚设项目,以 $
开头
$local_fs
本地文件系统被挂载,用到 /var
目录的启动项都需要依赖此$network
网络被启用$named
名称功能被启用$remote_fs
所有文件系统被挂载,包含 /usr
$syslog
系统记录功能启用$time
系统时间被设定$all
所有项目一般的 daemon 应该依赖 $remote_fs
和 $syslog
,核心模块驱动程序等,需要依赖 $local_fs
在 /etc/init.d
目录下有一个 skeleton
文件,可以以此作为文件的基础来进行编辑。
一个脚本需要提供 start, stop, restart, force-reload, status 这几个动作。
最近整理文档,想起来自己的腾讯云,和 Google 云,好几十 G 的对象存储都空着,虽然腾讯云填了一部分同步的书籍,但是还是没有好好利用起来,然后就突然想起来之前看到过有人自己写了一份网盘同步程序,将对象存储作为同步工具来使用,这么一想确实可以尝试一下,毕竟现在 Dropbox 容量渐渐不够用了,如果能作为一份扩充也倒是不错的选择。所以这里就整理一下目前可用的一些方案,然后再做一下决择。
这是一款 PHP 所写的云盘系统,支持多家对象存储,设计采用 Material Design ,看起来也不错。
[[ZFile]] 是一款 Java 编写的在线文档分享工具。
[[lsky-pro]] 是一款用 PHP 框架 [[laravel]] 编写的图片管理系统。
基于 Python 的 OneDrive 网盘目录列表
[[oneindex]] 是一款用来展示 One Drive 列表的项目,PHP 编写。
基于 Python 的 onedrive 文件本地化浏览系统,使用 [[MongoDB]] 缓存文件
用 Go 实现了一套对象存储的服务端,兼容 AWS S3。
一款在线相册
在调查的过程中,还发现了日本的一个云存储服务,TeraCLOUD,提供 10G 空间,还支持 WebDAV ,果断注册一个。如果你也想注册可以注册完之后,用我的 CODE :NDMSQ
支持 [[WebDAV]] ,那么我就可以直接在我的 nemo 文件管理器 中 connect 到这个服务,在 File -> Connect to Server 中选择 Secure WebDAV(HTTPS),然后输入 TeraCLOUD 提供的 WebDAV 地址,以及用户名和密码来登录该服务,既不用多安装一个客户端,也可以非常方便的映射到本地文件管理器中。简单的测试了一下,发现上传速度,在我这里竟然达到了惊人的 800 kB/s
其他桌面版,或者移动客户端,只要支持 WebDAV 协议,那么都可以非常方便的使用该服务。官方也提供了一系列的选择方案。
This post is under the environment of Ubuntu 18.04, this instruction will guide how to install shadowsocks libev both server side and client settings manually. And show the step to configure the simple-obfs.
The source code is in following two repositories:
You can manually build and install yourself. But under Ubuntu 18.04, you can just install like this:
sudo apt install shadowsocks-libev simple-obfs
and the configuration is under /etc/shadowsocks-libev/
. You can manullay modify it and make it work.
If your system is before Ubuntu 18.04, you have to build it from source.
Install shadowsocks-libev via Ubuntu PPA
sudo apt-get install software-properties-common -y
sudo add-apt-repository ppa:max-c-lv/shadowsocks-libev -y
sudo apt-get update
sudo apt install shadowsocks-libev
Install simple-obfs
sudo apt-get install --no-install-recommends build-essential autoconf libtool libssl-dev libpcre3-dev libev-dev asciidoc xmlto automake
git clone https://github.com/shadowsocks/simple-obfs.git
cd simple-obfs
git submodule update --init --recursive
./autogen.sh
./configure && make
sudo make install
Make ~obfs-server~ able to listen on port 443
setcap cap_net_bind_service+ep /usr/local/bin/obfs-server
Server configuration
Add below to ~/etc/shadowsocks-libev/config.json~
{
"server":"0.0.0.0",
"server_port":443,
"local_port":1080,
"password":"password",
"timeout":300,
"method":"chacha20-ietf-poly1305",
"plugin":"obfs-server",
"plugin_opts": "obfs=tls;obfs-host=www.douban.com",
}
Start ~shadowsocks-libev~ server
systemctl enable shadowsocks-libev.service
systemctl start shadowsocks-libev.service
systemctl status shadowsocks-libev.service
Optimizations
Install & enable BBR TCP congestion control
apt install --install-recommends linux-generic-hwe-16.04
apt autoremove
modprobe tcp_bbr
echo "tcp_bbr" >> /etc/modules-load.d/modules.conf
echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf
sysctl -p
MISC
Add below to ~/etc/sysctl.d/local.conf~
fs.file-max = 51200
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.core.netdev_max_backlog = 250000
net.core.somaxconn = 4096
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_fastopen = 3
net.ipv4.tcp_mem = 25600 51200 102400
net.ipv4.tcp_rmem = 4096 87380 67108864
net.ipv4.tcp_wmem = 4096 65536 67108864
net.ipv4.tcp_mtu_probing = 1
Reboot
reboot
Client configuration
Add below to /usr/local/etc/shadowsocks-libev.json
Note that the ~plugin~ has to be absolute path in order to be able to use ~brew services start shadowsocks-libev~.
{
"server":"SERVER",
"server_port":443,
"local_address": "127.0.0.1",
"local_port":1080,
"password":"PASSWORD",
"timeout":300,
"method":"chacha20-ietf-poly1305",
"workers":8,
"plugin":"/usr/local/bin/obfs-local",
"plugin_opts": "obfs=tls;obfs-host=www.bing.com",
"fast_open":true,
"reuse_port":true
}
When you encouter the high cpu load caused by java application, you may follow these steps to troubleshooting.
identify the PID, use top
or htop
then press P
, sorted by CPU
identify the thread using top -n 1 -H -p PID
, this command will give an output listing all the threads in the selected process
like this:
KiB Mem : 16342620 total, 270500 free, 12773428 used, 3298692 buff/cache
KiB Swap: 7812092 total, 2654116 free, 5157976 used. 1999284 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
28958 einverne 20 0 8824828 3.021g 23784 S 30.0 19.4 0:00.00 java
28959 einverne 20 0 8824828 3.021g 23784 S 0.0 19.4 0:00.56 java
28960 einverne 20 0 8824828 3.021g 23784 S 0.0 19.4 0:10.35 GC Thread#0
28961 einverne 20 0 8824828 3.021g 23784 S 0.0 19.4 0:00.06 G1 Main Marker
28962 einverne 20 0 8824828 3.021g 23784 S 0.0 19.4 0:07.24 G1 Conc#0
28963 einverne 20 0 8824828 3.021g 23784 S 0.0 19.4 0:00.42 G1 Refine#0
Here for example, PID 28958 use 30% of CPU.
Then use jstack
to show the stack trace for the PID
jstack PID > jstack.out
Use the above result as example, thread id 28958 is the problem thread. Then convert it to hex value. 28958 -> 711e
Here I provide an easy way to convert decimal to hexadecimal under bash:
printf '%x\n' 28958
# or
echo "obase=16; 28958" | bc
Search the stack trace output for the hex value using the tools you’re familiar with, grep
, less
etc.
less jstack.out
Then you will found the thread details.
vim-abolish 又一款 Tim Pope 大神所制作的插件,这款插件扩展了一条名为 :Subvert
的自定义命令,作用类似于 Vim 内置命令 :substitute
的扩展。
比如说想要将整个文档中的 man 和 dog 两个单词交换,如果用 Vim 原生的替换比较麻烦,而使用该插件则只需要 :%S/{man,dog}/{dog,man}/g
在 GitHub 页面上也有大量的使用方式介绍,这里再提一个官方页面上的用例,比如想要把所有的 facility 替换成 building,那么 facility 有复数, building 也有复数,怎么办
:%S/facilit{y, ies}/building{,s}/g
这个比较好理解,但是 Abolish 还有一个非常贴心的转换,在编程中有驼峰命名,小写字母加下划线命令,假如要将一些变量从小写下划线变成驼峰命名,这个插件提供了一个方法 crc
compute_vm_current_status
将光标移动到该变量名,然后按下 crc
就可以快速将变量命名修改成 camelCase (crc).
同样的
更加详细内容 :help abolish
global 命令结合了 Ex 命令和 Vim 模式匹配的能力,借助该命令,可以在指定模式的所有匹配行上运行 Ex 命令。global 命令是除了点操作和宏命令之外,最强大的 Vim 工具之一。
global 命令基本形式,可以读作在 range 上,如果行匹配 pattern,那么执行全局命令 cmd
:[range] global[!]/{pattern}/[cmd]
说明:
global
还有 :vglobal
表示反转,在没有匹配 pattern 的行上执行 cmd:global
之外的任何 Ex 命令,如果不指定 [cmd], 那么缺省是 :print
比如删除所有空行
:g/^$/d
代码中经常会写一些 TODO , 如果想要统一处理这些 TODO,可以使用
:g/TODO/t$
将 TODO 行拷贝到文件末尾,来处理。