威联通折腾篇十二:verysync 微力同步

很早之前有一款文件同步工具叫做 BtSync,后来改名字叫做 Resilio Sync,但是因为他太强大可以用来干很多坏事,比如曝光政府秘密文件啦,传播盗版啦,所以早早的就封了。墙内几乎是变的不可用了,所以后来有人(不太清楚是谁)搞了这个微力同步,可以支持多平台同步文件,速度快,点对点传输,并且支持的平台非常多,桌面版,移动端自不必说,NAS,路由器甚至也可以安装。

所以今天就把威联通装上了这个微力同步,因为不太确定其安全问题,所以目前只用来同步一些别人分享的公开文件。个人也建议先观察观察,再考虑是否用来同步私人文件。

这里提供两个 KEY

这是微信猪之芥末共享的 50 G 图书

B2QZAM7HGAP75K7UC265OHJ7K3WNHUN2MV4CGRGFPGFO7PC2Z26ZT6D2AF

这是 高岩的共享

B25OMSTPXPNOAX62RAYKADUPGSJXQYONWAEBGROTVR7HSHFISGYQ6DTTAW

其他有任何好的同步 KEY,记得告诉我呀,https://t.me/einverne

reference

  • https://mp.weixin.qq.com/s/cYc_U6ZlA5vLghAsp5CBGw

2019-04-20 qnap , qnap-tutorial , linux , qpkg , file , sync , verysync

网站推荐之 usesthis.com

在一篇效率工具的文章中偶然获知此网站,就像其网站写的标语那样:

A collection of nerdy interviews asking people from all walks of life what they use to get the job done.

这个网站的唯一作用就是采访很多不同工作的人,看看他们在日常生活中使用的不同工具。

在这个网站上可以看到不同种类的人,screen writer, designer, engineer, web developer etc,也可以看到他们使用的工具从 windows ,linux,到 macOS,各种硬件设备,软件工具也都大不相同。每个人的使用习惯也都各不相同。

看到这些不同工作的人使用不同的工具来在保存灵感,提高效率,而我们竟然还在用微信来聊工作,用 Excel 来安排时间,有的时候想想也是很可怜了。

虽然有的时候好的工具并不能够带来一定的效率提升,但是如果有一个合适自己的使用的工具就能够提升生活的幸福感。

更多的新内容就从那个网站获取吧。


2019-04-18 usesthis , software , hardware , skills , daily-life , workflow , work

PCloud 加密同步 --Dropbox 代替

Dropbox 学 Evernote 强行变更了用户条款,只允许免费用户只能够在三个设备同步文件 1。虽然在 2019 年 3 月以前 link 到账户的设备不受到任何影响,可以继续使用,但是如果一旦超过 3 台设备,在添加新设备时就不能添加。

所以就找到了这个 PCloud 的同步应用。他满足我之前对选择软件的所有要求

  • 跨平台,各个桌面版(Windows,macOS,Linux),Web 版,移动端 (iOS,Android)
  • 可分享
  • 支持多人协作

更甚至有一些功能超出了我的想象,比如:

  • 在桌面版中使用 virtual hard drive,可以从计算机本地任意一个文件夹同步文件,而不需要像 Dropbox 一样只能够存放到一个文件夹中
  • 使用加密技术,在客户端加密文件,即使上传同步,即使文件泄露别人也无法获取同步的真正文件 2
  • 使用 Upload links 可以从朋友那边接收文件,即使他们没有 pCloud 账户
  • 下载文件使用密码保护,当然这其实是比较基础的功能
  • 使用 Chrome Extention 直接添加文件到 PCloud

pCloud 的免费用户,初始有 4G 空间,可以通过邀请 解锁最多 10 G 空间。至于在速度上,因为我大部分时间都是同步很小的文件,对速度要求不是那么高,而追求的是同步的稳定性,在一台电脑上拉进文件夹的内容,等我到家打开电脑,能够稳定的同步过来就已经满足了我的绝大部分需求。pCloud 的服务器明显没有在中国,上传和下载的速度也不是非常理想,但还能接受。3

  1. https://help.dropbox.com/account/computer-limit 

  2. https://my.pcloud.com/#page=register&invite=VKXvZKvEM17 

  3. https://my.pcloud.com/#page=register&invite=VKXvZKvEM17 


2019-04-16 pcloud , dropbox

每天学习一个命令:sort 排序

sort 命令用来对文件行进行排序,常用的一些参数

  • -n 表示数字序号
  • -r 表示逆序
  • -k, 表示根据第几列
  • -t, 表示字段与字段之间的分隔符

使用

按第三列排序

sort -nk3 /path/to/file

解释:

  • -n 表示的是按照字母序排
  • -k3 表示第三列

按列优先级排序

比如有一行数据包含多列,需要按照第一列排序,然后按照第三列排序

1  a  2
3  b  5
1  c  4
2  d  2
3  e  1

期望的结果是按照第一列先排序,然后第三列排序

1  a  2
1  c  4
2  d  2
3  e  1
3  b  5

那么可以使用命令

sort -n -k1,1 -k3,3 /path/to/file

严格意义来说,-k3 表示的是从第三个字段开始到行尾。

使用自定义分隔符

sort -t: -nk3 /etc/passwd

-t 后面接 : 表示以 : 来分割列,最常见的比如 /etc/passwd 文件,以 : 来区分一行中的各个列


2019-04-10 linux , sort

MySQL 中索引相关 SQL 语句

索引是用来加快从数据库中查询数据的速度的。

需要注意的是索引的使用会增加插入和更新的时间,因为在插入数据的同时也会更新索引。所以在创建索引时确保只在那些频繁作为查询条件的列中增加。

创建索引

创建索引时有几个需要注意的点:

  • 不要在频繁写,而读取频率较低的表上使用索引,和之前说的那样,索引提高了读速度,而损耗了写速度
  • 不要在 low cardinality 的列上使用索引,Cardinality 直接翻译是基数,可以理解成为这一列取值的散列程度,如果一个列包含的值只有少数几个,那么索引的效果也无法达到
  • 不要在固定大小的表上使用索引,小数量集的表增加索引并不会带来多大的性能提升,所以尤其需要注意的是那些可能随着时间数据量增长很快的表,比如 users

在建表时

CREATE INDEX idx_name ON table_name(column1, column2);

ALTER TABLE `table_name` ADD INDEX idx_name (`column1`);

创建唯一索引

ALTER TABLE `table_name` ADD UNIQUE uni_name (`column1`)

显示查看索引

查看表索引

SHOW INDEX FROM table_name;

在查询的结果中可以看到索引的名字,列名,散列程度(Cardinality),索引类型(BTREE) 等等。

查询 Schema 中所有的索引

SELECT DISTINCT
    TABLE_NAME,
    INDEX_NAME
FROM INFORMATION_SCHEMA.STATISTICS
WHERE TABLE_SCHEMA = 'your_schema';

删除索引

DROP INDEX idx_name ON table_name;

ALTER TABLE table_name DROP INDEX idx_name;

Single index vs Composite index

组合索引和单一索引一样,不过组合索引是需要组合多列。

假设有用户表 users

ID | first_name | last_name    | class      | position |
--------------------------------------------------------
 1 | Teemo      | Shroomer     | Specialist | Top      |
 2 | Cecil      | Heimerdinger | Specialist | Mid      |
 3 | Annie      | Hastur       | Mage       | Mid      |
 4 | Fiora      | Laurent      | Slayer     | Top      |
 5 | Garen      | Crownguard   | Fighter    | Top      |

然后在 classposition 列上创建组合索引

CREATE INDEX class_pos_index ON users (class, position);

然后数据库会创建一个组合索引的排序,类似:

class-position       Primary Key
--------------------------------
AssassinMid       -> 10
ControllerSupport -> 16
ControllerSupport -> 18
ControllerSupport -> 8
FigherTop         -> 7
FigherTop         -> 9
FighterJungle     -> 13
FighterJungle     -> 21
FighterJungle     -> 23

假设需要查询班级中的 Top,那么会提升速度:

SELECT * FROM users
WHERE
  class = 'Specialist'
AND
  position = 'Top';

因为按照了 class-position 来排序,所以查询速度得到了提升。数据库能够在 O(log_2(n)) 时间内查找到 Specialist-Top 而不需要读取全表。

需要注意的是即使查询条件只有 class 字段,组合索引依然能够提升速度,因为class 在组合索引的第一个位置。

但是单纯的查询 position

SELECT * FROM users WHERE position = 'Top';

则享受不到组合索引带来的好处。所以组合索引的列顺序非常关键。

创建组合索引的一些注意点:

  • 如果特定列固定的出现在查询条件中,那么对这些列创建组合索引比较好
  • 如果要创建 field1 上的索引,也要创建 (field1, field2) 上的索引,那么只创建一个组合索引 (field1, field2) 已经足够
  • 和 Single indexes 一样,组合索引的 Cardinality 一样重要。显然当两个 field 有高的 Cardinality,组合索引的 Cardinality 也会很高。但是某一些情况下低 Cardinality 的列也会有高的 Cardinality 组合索引

reference


2019-04-02 mysql , sql , index , query

再也不见 Google+

今天久违地登录上 Google+,终于在 2019 年 4 月 2 号,Google+ 就要全站关闭了,可是我依然还记得当年到处找邀请码,为 Google+ 的每一次新功能发布而欣喜若狂。然而我知道我自己也已经很久很久没有主动登录 G+ 了,原本每一次换系统,在手机首屏的 G+ 应用,也在得知 G+ 要关闭的当天就卸载,并且自此之后再没有发布任何更新,或许 Google+ 的死亡是一个漫长的过程,慢慢的,像癌症一样,步入死亡。我也不曾意识到,从某一个时刻开始就不曾频繁登录,但也渐渐的发现我关注的好友再也不来,就这样一个恶性循环之后,慢慢的就没有了平台的价值。

google plus shut down

Social

很多人说 Google+ 是 social,而对于我来说,Google+ 是一个信息发布渠道,是我订阅的信息来源。自 Google Reader 关闭之后,Google+ 是我的一个重要信息来源,虽然这里的人大部分都陌生人,但却因为一些纯粹的原因聚集到一起,我们讨论共同的话题,分享最新的科技资讯,可以说 Google+ 开启了我人生的新一面,伴随着我从学校,到毕业,到社会,让我从被动的汲取知识,到主动获取信息。Google 的使用非常亲民,能够对感兴趣的内容进行很多的讨论,不管是 Google 的产品还是最新的动态,或者是哪里的美景,用起来都非常舒服。

两篇怀念

mourn1

mourn2

功能

现在回过头来想当时 Google+ 发布的盛况,几乎每一个功能都能够独立作为一个产品,并且可以秒杀同类的产品。

好友关注

当时最引人瞩目的一个功能就是”圈子“,这个小小的功能,可以让用户单方面将一些人圈入圈子,而不想当时的 Facebook 一样需要对方同意为好友,也不像 Twitter 一直只能够单方面的关注而不能对关注的人分类。虽然推出轰轰烈烈,当却在后续的产品迭代中逐渐淡化了该功能,而如今站在 2019 年来看,这个功能被 Facebook 学习去了。

图片视频分享

比如图片分享,无损,原图,用户可以极好的控制照片分享的权限,公开,给自己的关注着,或者独立分享给一个圈子。这样的需求几乎满足了照片分享的方方面面,摄影师可以公开分享自己的高清原图,普通用户可以给自己的关注着发发自己的私人照片,也就是那个时候的”朋友圈“,而甚至家人的旅行照片,可以单独的分享给自己的家人圈子。我几乎找不到任何独立的代替品能够满足这些需求。更甚至你不需要为这些高清图片的存储付出任何代价,在 16MP 分辨率一下的图片完全不占用空间,而那时候的手机分辨率都还没有达到那么高。所以我也曾经关注过 Trey Ratcliff 这样的摄影师。

不知道多少人还记得 Google+ Photos 的在线编辑工具,记住这里是 Google+ Photos 而不是现在的 Google Photos,曾经的网页图片编辑工具是那么好用,就如一个在线的 Photoshop,这可是 Google+ 团队收购了专业滤镜团队 Nik Collection 之后发布的重要更新,可惜后来的更新中竟然失去了影踪。

视频聊天

说道视频聊天,很多人就会想起 Hangout,这个捆绑在 Google+ 中一同发布的聊天工具,不仅包含多人视频功能,也能够发送文字,表情,就是一个独立的 IM 服务,继承 Gtalk,能够在网页中,客户端,Gmail 等等端无痛接入,却在多年之后被 Facebook Message, Zoom 之类狠狠的甩在身后,无限唏嘘。

或许还有人曾记得 Hangout Air,在 Hangout 普通的多人视频聊天的功能上,能够实时直播自己的内容,公开的,向全世界的。这个功能甚至被 Obama 总统和教皇 Francis 使用过。但是这个功能只能在桌面端使用,当移动端视频直播的狂潮来过之后,Google 又错过了。1

评论

依稀记得 Google+ 强制安插到 YouTube, Blogger 等等平台中的情形,在 YouTube 中发布评论并分享,原本是一件很不错的,却因为 Google Push 太激进使得平台和用户都遭受了巨大损失。可惜。

Map

如果有一天在使用 Google Map 搜索一个地方的时候,发现朋友的一个好评餐厅,你是否会顺道去品尝一下,虽然 Google+ 曾经的产品中确实有点评的功能,却无奈无法继续推动。

Event

多少人还记得 Google+ 的 Event,当年和 Google Calendar 结合是多好的组织活动聚会的工具,多少次 Ingress 线下聚会通过 Event 来举办。可以对限定的圈子,或者全部关注着发布活动邀请,想要参加的人可以点击参加,那么活动的时间和地点会自动插入到参与者的 Google Calendar 中,又可惜了一个聚会神器。

想象一下没有广告的社交网络,想象一下每一个普通人都能平等交流的网站,想象一下通过同一个兴趣聚集到一起能够进行充分无障碍交流的地方,想象一下没有被算法过滤过的信息流,想象一下摄影师分享高清无损图片的社交网络,想象一下通过线上延伸到线下,真实的友谊的网络。曾经出现过,而如今却要惋惜他的消失。

期待

或许我们期待 Google+ 关闭之后,就像 Google Reader 关闭之后,源源不断的创新者涌现出来,InoReader 作为绝佳的代替品已经成为了我必备的应用,然而截至目前为止我依然还没有找到一个合适的 Google+ 代替品,FB 早已删除了所有资料,Twitter 始终无法习惯他的评论,而新出现的 Mastodon 倒是可以关注一下,分布式部署,各个节点之间也能够通信,夸张关注,甚至可以自定义 UI。而 Reddit 倒只像是论坛,Telegram 吧只是一个 IM,band.us 体验了一下觉得也不是个事。反正暂时先用回 豆瓣 好了,等找到合适的再说吧。

reference

  1. https://youtu.be/edk2ZcW2GnQ 


2019-03-30 google , google-plus , google-reader , social

Drools 语法规则

Drools 规则文件大致可以包含这些部分

package package-name

imports

globals

functions

queries

rules

一条规则的大致框架

rule "name"
    attributes
    when
        LHS
    then
        RHS
end

Drools 5 中定义了 hard 和 soft 关键字,Hard 关键字是保留字,不能够在规则中自定义随意使用

true
false
accumulate
collect
from
null
over
then
when

规则举例

rule "validate holiday by eval"
dialect "mvel"
when
    h1 : Holiday( )
    eval( h1.when == "july" )
then
    System.out.println(h1.name + ":" + h1.when);
end

或者

rule "validate holiday"
dialect "mvel"
when
    h1 : Holiday( `when` == "july" )
then
    System.out.println(h1.name + ":" + h1.when);
end

操作符

操作符有很多种类:

  • Arithmetic operators (+, -, *, /, %) 算数操作符
  • Relational operators (>, >=, ==, !=) 关系操作符
  • Logical operators 逻辑操作符
    • conjunction (and, &&, “,”) 与
    • disjunction (or,   ) 或
    • negation (!, do not confuse with not) 取反 (!, 不要和 not 混淆)
  • Drools operators (in, matches, etc…) Drools 操作符 (in, matches, 等等…)

一些操作符都非常通俗易懂,这里有几个需要特别注意

in 操作符

  • in 操作符是表示值在一个集合内部,集合中的数据需要单独列出

    when e : Emp(deptno in (10,20))

等效于

   e : Emp(deptno == 10 || deptno == 20)
   e : (Emp(deptno == 10) or Emp(deptno == 20))

matches 操作符

matches 操作符匹配是否匹配 java 正则表达式。

.   匹配单一字符
.*  匹配任何字符,包括空字符串

不匹配需要这么写

when
    e: Emp(name not matches "B.*")

下面的写法是错误的!!!

when
    e: Emp(name ! matches "B.*")

    e: ! Emp(name matches "B.*")

操作符优先级

(nested) property access    .
List/Map access            [ ]
constraint binding   :
multiplicative       * / %
additive             + -
shift                << >> >>>
relational           < > <= >= instanceof
equality             == !=
bit-wise non-short circuiting AND               &
bit-wise non-short circuiting exclusive OR	^
bit-wise non-short circuiting inclusive OR	|
logical AND	&&
logical OR	||
ternary	? :
Comma separated AND	,

Drools 还支持一些高级语法规则,更多可以参考这里

reference


2019-03-28 drools , kie

JSON 反序列化重命名

Java 中有很多 JSON 相关的类库,项目中也频繁的使用 Jackson, fastjson, gson 等等类库。不过这些类库在反序列化 JSON 字符串到 Object 并且进行重命名字段的方法都不太一致,这里就列一下做个参考。

假设有原始字符串

String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";

反序列化到类 Employee 上。

GSON

类定义

@Data
public class EmployeeGson {

    @SerializedName(value = "fullname", alternate = {"Name", "familyName"})
    private String name;
    private int age;
    @SerializedName("salary")
    private float wage;
}

测试方法

@Test
public void testRenameFieldGson() {
	String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";
	EmployeeGson employee = new Gson().fromJson(originStr, EmployeeGson.class);
	System.out.println(employee);
}

Fastjson

@Data
public class EmployeeFastjson {
    @JSONField(name = "familyName")
    private String name;
    private int age;
    @JSONField(name = "salary")
    private float wage;
}

测试方法

@Test
public void testRenameFieldFastjson() {
	String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";
	EmployeeFastjson employee = JSON.parseObject(originStr, EmployeeFastjson.class);
	System.out.println(employee);
}

Jackson

@Data
public class EmployeeJackson {

    @JsonProperty("familyName")
    private String name;
    private int age;
    @JsonProperty("salary")
    private float wage;

}

测试方法

@Test
public void testRenameFieldJackson() throws IOException {
	String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";
	EmployeeJackson employeeJackson = new ObjectMapper()
			.readValue(originStr, EmployeeJackson.class);
	System.out.println(employeeJackson);
}

2019-03-27 json , gson , fastjson

Function 计算

函数计算,阿里云叫做 Function Compute,Aws 叫做 lambda 函数,GCP 叫做 Cloud Functions,各家都有各家的产品。就如同 AWS 页面介绍的那样,函数计算是一个无服务计算,可以用代码来响应事件并自动管理底层计算资源,比如通过 Amazon Gate API 发送 HTTP 请求,在 S3 桶中修改对象等等。

Serverless

抽象的 Serverless 很难概括,不过 Serverless 也经常被人叫做 Function as a Server(FaaS),这就比较好理解了,比如最常见的存储服务,原来的方式是用户租用云服务器,这种方式需要用户自行部署存储服务,磁盘上的数据也不能共享,于是后来发展出来对象存储,文件存储,消息服务等等,这些服务不再有机器的概念,用户可以轻松的扩容和负载均衡,通过平台提供的 API 进行数据的读写,共享。按照实际存储的数量和访问次数付费,这种就是所谓的 Serverless。

FaaS 的特征就是时间驱动,细粒度,弹性收缩,无需管理服务器等底层资源。

拆分微服务有三个考量,组织结构(参考康威定律),运维发布频率(比如将每周发布两次的服务与每两个月发布一次的服务进行拆分)和逻辑调用频度(将高频调用逻辑和低频调用逻辑分开,在 Serverless 架构下能够进一步降低成本)。

Serverless 适用的两大场景

  • 应用负载有显著的波峰波谷
  • 典型用例 - 基于事件的数据处理

reference


2019-03-26 function-compute , serverless , gcp , aws

Git worktree 作用及使用

在偶然逛 Stackoverflow 的时候看到一个提问,能不能在同一个 repo 中同时有两份代码,并且可以保持两份相似但不是完全相同的代码并行开发?虽然对其需求有些好奇和疑惑 ,但也关注了一下下方的回答。

这个时候我知道了 git 原来还有一个命令叫做 git worktree 这是 Git 2.15 版本引入的新概念。我们都知道一个正常的 git workflow 可能就是从 master 拉出新分支 feature 进行功能开发,如果遇到有紧急 bug,那么从 master 拉出 hotfix 分支紧急修复在合并。这是一个比较常规的工作流,那么 git worktree 为何要被引用进来。从官方的文档 1 上能看到 git worktree 的作用是将多个 working trees 附加到同一个 repository 中,允许用户一次 check out 多个分支。但是问题是为了解决相同的问题,为何要引入一个更加复杂的 git worktree ?

疑惑

于是我又去找了一些材料 2,这个回答解决了我部分疑惑,他说到在大型软件开发过程中可能经常需要维护一个古老的分支,比如三年前的分支,当然 git 允许你每个分支维护一个版本,但是切换 branch 的成本太高,尤其是当代码变动很大的时候,有可能改变了项目结构,甚至可能变更了 build system,如果切换 branch,IDE 可能需要花费大量的时间来重新索引和设置。

但是通过 worktree, 可以避免频繁的切换分支,将老的分支 checkout 到单独的文件夹中作为 worktree,每一个分支都可以有一个独立的 IDE 工程。当然像过去一样你也可以在磁盘上 clone 这个 repo 很多次,但这意味着很多硬盘空间的浪费,甚至需要在不同的仓库中拉取相同的变更很多次。

回到原来的问题,使用 git worktree 确实能够解决最上面提及的问题。

使用

git worktree 的命令只有几行非常容易记住

git worktree add ../new-dir some-existing-branch
git worktree add [path] [branch]

这行命令将在 new-dir 目录中将 some-existing-branch 中的内容 check out 出来,就像在该目录中 clone 了一份新代码一样。新的文件地址可以在文件系统中的任何位置,但是注意千万不要将目录放到主仓库中。在此之后新目录中的内容就可以和主仓库中的内容一样,新建分支,push 到远端。

当工作结束后可以直接删除该目录,然后运行 git worktree prune.

总结

git worktree 非常适合大型项目又需要维护多个分支,想要避免来回切换的情况,这里总结一些优点:

  • git worktree 可以快速进行并行开发,同一个项目多个分支同时并行演进
  • git worktree 的提交可以在同一个项目中共享
  • git worktree 和单独 clone 项目相比,节省了硬盘空间,又因为 git worktree 使用 hard link 实现,要远远快于 clone
  1. https://git-scm.com/docs/git-worktree 

  2. https://stackoverflow.com/a/31951225/1820217 


2019-03-21 git , git-worktree , scm , version-control

电子书

最近文章

  • 威联通折腾篇十二:verysync 微力同步 很早之前有一款文件同步工具叫做 BtSync,后来改名字叫做 Resilio Sync,但是因为他太强大可以用来干很多坏事,比如曝光政府秘密文件啦,传播盗版啦,所以早早的就封了。墙内几乎是变的不可用了,所以后来有人(不太清楚是谁)搞了这个微力同步,可以支持多平台同步文件,速度快,点对点传输,并且支持的平台非常多,桌面版,移动端自不必说,NAS,路由器甚至也可以安装。
  • 网站推荐之 usesthis.com 在一篇效率工具的文章中偶然获知此网站,就像其网站写的标语那样:
  • PCloud 加密同步 --Dropbox 代替 Dropbox 学 Evernote 强行变更了用户条款,只允许免费用户只能够在三个设备同步文件 1。虽然在 2019 年 3 月以前 link 到账户的设备不受到任何影响,可以继续使用,但是如果一旦超过 3 台设备,在添加新设备时就不能添加。 https://help.dropbox.com/account/computer-limit ↩
  • 每天学习一个命令:sort 排序 sort 命令用来对文件行进行排序,常用的一些参数
  • MySQL 中索引相关 SQL 语句 索引是用来加快从数据库中查询数据的速度的。