Verne in GitHub

PCloud 加密同步 --Dropbox 代替

Dropbox 学 Evernote 强行变更了用户条款，只允许免费用户只能够在三个设备同步文件 1。虽然在 2019 年 3 月以前 link 到账户的设备不受到任何影响，可以继续使用，但是如果一旦超过 3 台设备，在添加新设备时就不能添加。

所以就找到了这个 PCloud 的同步应用。他满足我之前对选择软件的所有要求：

  • 跨平台，各个桌面版（Windows，macOS,Linux)，Web 版，移动端 (iOS,Android)
  • 可分享
  • 支持多人协作

更甚至有一些功能超出了我的想象，比如：

  • 在桌面版中使用 virtual hard drive，可以从计算机本地任意一个文件夹同步文件，而不需要像 Dropbox 一样只能够存放到一个文件夹中
  • 使用加密技术，在客户端加密文件，即使上传同步，即使文件泄露别人也无法获取同步的真正文件 2
  • 使用 Upload links 可以从朋友那边接收文件，即使他们没有 pCloud 账户
  • 下载文件使用密码保护，当然这其实是比较基础的功能
  • 使用 Chrome Extention 直接添加文件到 PCloud

pCloud 的免费用户，初始有 4G 空间，可以通过邀请 解锁最多 10 G 空间。至于在速度上，因为我大部分时间都是同步很小的文件，对速度要求不是那么高，而追求的是同步的稳定性，在一台电脑上拉进文件夹的内容，等我到家打开电脑，能够稳定的同步过来就已经满足了我的绝大部分需求。pCloud 的服务器明显没有在中国，上传和下载的速度也不是非常理想，但还能接受。3

  1. https://help.dropbox.com/account/computer-limit ↩

  2. https://my.pcloud.com/#page=register&invite=VKXvZKvEM17 ↩

  3. https://my.pcloud.com/#page=register&invite=VKXvZKvEM17 ↩


2019-04-16 pcloud , dropbox

每天学习一个命令：sort 排序

sort 命令用来对文件行进行排序，常用的一些参数

  • -n 表示数字序号
  • -r 表示逆序
  • -k, 表示根据第几列
  • -t, 表示字段与字段之间的分隔符

使用

按第三列排序

sort -nk3 /path/to/file

解释：

  • -n 表示的是按照字母序排
  • -k3 表示第三列

按列优先级排序

比如有一行数据包含多列，需要按照第一列排序，然后按照第三列排序

1  a  2
3  b  5
1  c  4
2  d  2
3  e  1

期望的结果是按照第一列先排序，然后第三列排序

1  a  2
1  c  4
2  d  2
3  e  1
3  b  5

那么可以使用命令

sort -n -k1,1 -k3,3 /path/to/file

严格意义来说，-k3 表示的是从第三个字段开始到行尾。

使用自定义分隔符

sort -t: -nk3 /etc/passwd
sort -t' ' -k3,3 file

-t 后面接 : 表示以 : 来分割列，最常见的比如 /etc/passwd 文件，以 : 来区分一行中的各个列

合并两个文件并且移除重复行

一个典型的 sort 应用场景

sort file1 file2 | uniq

2019-04-10 linux , sort , command

MySQL 中索引相关 SQL 语句

索引是用来加快从数据库中查询数据的速度的。

需要注意的是索引的使用会增加插入和更新的时间，因为在插入数据的同时也会更新索引。所以在创建索引时确保只在那些频繁作为查询条件的列中增加。

创建索引

创建索引时有几个需要注意的点：

  • 不要在频繁写，而读取频率较低的表上使用索引，和之前说的那样，索引提高了读速度，而损耗了写速度
  • 不要在 low cardinality 的列上使用索引，Cardinality 直接翻译是基数，可以理解成为这一列取值的散列程度，如果一个列包含的值只有少数几个，那么索引的效果也无法达到
  • 不要在固定大小的表上使用索引，小数量集的表增加索引并不会带来多大的性能提升，所以尤其需要注意的是那些可能随着时间数据量增长很快的表，比如 users 表

在建表时

CREATE INDEX idx_name ON table_name(column1, column2);

ALTER TABLE `table_name` ADD INDEX idx_name (`column1`);

创建唯一索引

ALTER TABLE `table_name` ADD UNIQUE uni_name (`column1`)

显示查看索引

查看表索引

SHOW INDEX FROM table_name;

在查询的结果中可以看到索引的名字，列名，散列程度（Cardinality），索引类型（BTREE） 等等。

查询 Schema 中所有的索引

SELECT DISTINCT
    TABLE_NAME,
    INDEX_NAME
FROM INFORMATION_SCHEMA.STATISTICS
WHERE TABLE_SCHEMA = 'your_schema';

删除索引

DROP INDEX idx_name ON table_name;

ALTER TABLE table_name DROP INDEX idx_name;

Single index vs Composite index

组合索引和单一索引一样，不过组合索引是需要组合多列。

假设有用户表 users

ID | first_name | last_name    | class      | position |
--------------------------------------------------------
 1 | Teemo      | Shroomer     | Specialist | Top      |
 2 | Cecil      | Heimerdinger | Specialist | Mid      |
 3 | Annie      | Hastur       | Mage       | Mid      |
 4 | Fiora      | Laurent      | Slayer     | Top      |
 5 | Garen      | Crownguard   | Fighter    | Top      |

然后在 class 和 position 列上创建组合索引

CREATE INDEX class_pos_index ON users (class, position);

然后数据库会创建一个组合索引的排序，类似：

class-position       Primary Key
--------------------------------
AssassinMid       -> 10
ControllerSupport -> 16
ControllerSupport -> 18
ControllerSupport -> 8
FigherTop         -> 7
FigherTop         -> 9
FighterJungle     -> 13
FighterJungle     -> 21
FighterJungle     -> 23

假设需要查询班级中的 Top，那么会提升速度：

SELECT * FROM users
WHERE
  class = 'Specialist'
AND
  position = 'Top';

因为按照了 class-position 来排序，所以查询速度得到了提升。数据库能够在 O(log_2(n)) 时间内查找到 Specialist-Top 而不需要读取全表。

需要注意的是即使查询条件只有 class 字段，组合索引依然能够提升速度，因为class 在组合索引的第一个位置。

但是单纯的查询 position

SELECT * FROM users WHERE position = 'Top';

则享受不到组合索引带来的好处。所以组合索引的列顺序非常关键。

创建组合索引的一些注意点：

  • 如果特定列固定的出现在查询条件中，那么对这些列创建组合索引比较好
  • 如果要创建 field1 上的索引，也要创建 (field1, field2) 上的索引，那么只创建一个组合索引 (field1, field2) 已经足够
  • 和 Single indexes 一样，组合索引的 Cardinality 一样重要。显然当两个 field 有高的 Cardinality，组合索引的 Cardinality 也会很高。但是某一些情况下低 Cardinality 的列也会有高的 Cardinality 组合索引

reference


2019-04-02 mysql , sql , index , query

再也不见 Google+

今天久违地登录上 Google+，终于在 2019 年 4 月 2 号，Google+ 就要全站关闭了，可是我依然还记得当年到处找邀请码，为 Google+ 的每一次新功能发布而欣喜若狂。然而我知道我自己也已经很久很久没有主动登录 G+ 了，原本每一次换系统，在手机首屏的 G+ 应用，也在得知 G+ 要关闭的当天就卸载，并且自此之后再没有发布任何更新，或许 Google+ 的死亡是一个漫长的过程，慢慢的，像癌症一样，步入死亡。我也不曾意识到，从某一个时刻开始就不曾频繁登录，但也渐渐的发现我关注的好友再也不来，就这样一个恶性循环之后，慢慢的就没有了平台的价值。

google plus shut down

Social

很多人说 Google+ 是 social，而对于我来说，Google+ 是一个信息发布渠道，是我订阅的信息来源。自 Google Reader 关闭之后，Google+ 是我的一个重要信息来源，虽然这里的人大部分都陌生人，但却因为一些纯粹的原因聚集到一起，我们讨论共同的话题，分享最新的科技资讯，可以说 Google+ 开启了我人生的新一面，伴随着我从学校，到毕业，到社会，让我从被动的汲取知识，到主动获取信息。Google 的使用非常亲民，能够对感兴趣的内容进行很多的讨论，不管是 Google 的产品还是最新的动态，或者是哪里的美景，用起来都非常舒服。

两篇怀念

mourn1

和

mourn2

功能

现在回过头来想当时 Google+ 发布的盛况，几乎每一个功能都能够独立作为一个产品，并且可以秒杀同类的产品。

好友关注

当时最引人瞩目的一个功能就是”圈子“，这个小小的功能，可以让用户单方面将一些人圈入圈子，而不想当时的 Facebook 一样需要对方同意为好友，也不像 Twitter 一直只能够单方面的关注而不能对关注的人分类。虽然推出轰轰烈烈，当却在后续的产品迭代中逐渐淡化了该功能，而如今站在 2019 年来看，这个功能被 Facebook 学习去了。

图片视频分享

比如图片分享，无损，原图，用户可以极好的控制照片分享的权限，公开，给自己的关注着，或者独立分享给一个圈子。这样的需求几乎满足了照片分享的方方面面，摄影师可以公开分享自己的高清原图，普通用户可以给自己的关注着发发自己的私人照片，也就是那个时候的”朋友圈“，而甚至家人的旅行照片，可以单独的分享给自己的家人圈子。我几乎找不到任何独立的代替品能够满足这些需求。更甚至你不需要为这些高清图片的存储付出任何代价，在 16MP 分辨率一下的图片完全不占用空间，而那时候的手机分辨率都还没有达到那么高。所以我也曾经关注过 Trey Ratcliff 这样的摄影师。

不知道多少人还记得 Google+ Photos 的在线编辑工具，记住这里是 Google+ Photos 而不是现在的 Google Photos，曾经的网页图片编辑工具是那么好用，就如一个在线的 Photoshop，这可是 Google+ 团队收购了专业滤镜团队 Nik Collection 之后发布的重要更新，可惜后来的更新中竟然失去了影踪。

视频聊天

说道视频聊天，很多人就会想起 Hangout，这个捆绑在 Google+ 中一同发布的聊天工具，不仅包含多人视频功能，也能够发送文字，表情，就是一个独立的 IM 服务，继承 Gtalk，能够在网页中，客户端，Gmail 等等端无痛接入，却在多年之后被 Facebook Message, Zoom 之类狠狠的甩在身后，无限唏嘘。

或许还有人曾记得 Hangout Air，在 Hangout 普通的多人视频聊天的功能上，能够实时直播自己的内容，公开的，向全世界的。这个功能甚至被 Obama 总统和教皇 Francis 使用过。但是这个功能只能在桌面端使用，当移动端视频直播的狂潮来过之后，Google 又错过了。1

评论

依稀记得 Google+ 强制安插到 YouTube, Blogger 等等平台中的情形，在 YouTube 中发布评论并分享，原本是一件很不错的，却因为 Google Push 太激进使得平台和用户都遭受了巨大损失。可惜。

Map

如果有一天在使用 Google Map 搜索一个地方的时候，发现朋友的一个好评餐厅，你是否会顺道去品尝一下，虽然 Google+ 曾经的产品中确实有点评的功能，却无奈无法继续推动。

Event

多少人还记得 Google+ 的 Event，当年和 Google Calendar 结合是多好的组织活动聚会的工具，多少次 Ingress 线下聚会通过 Event 来举办。可以对限定的圈子，或者全部关注着发布活动邀请，想要参加的人可以点击参加，那么活动的时间和地点会自动插入到参与者的 Google Calendar 中，又可惜了一个聚会神器。

想象一下没有广告的社交网络，想象一下每一个普通人都能平等交流的网站，想象一下通过同一个兴趣聚集到一起能够进行充分无障碍交流的地方，想象一下没有被算法过滤过的信息流，想象一下摄影师分享高清无损图片的社交网络，想象一下通过线上延伸到线下，真实的友谊的网络。曾经出现过，而如今却要惋惜他的消失。

期待

或许我们期待 Google+ 关闭之后，就像 Google Reader 关闭之后，源源不断的创新者涌现出来，InoReader 作为绝佳的代替品已经成为了我必备的应用，然而截至目前为止我依然还没有找到一个合适的 Google+ 代替品，FB 早已删除了所有资料，Twitter 始终无法习惯他的评论，而新出现的 Mastodon 倒是可以关注一下，分布式部署，各个节点之间也能够通信，夸张关注，甚至可以自定义 UI。而 Reddit 倒只像是论坛，Telegram 吧只是一个 IM，band.us 体验了一下觉得也不是个事。反正暂时先用回 豆瓣 好了，等找到合适的再说吧。

reference

  1. https://youtu.be/edk2ZcW2GnQ ↩


2019-03-30 google , google-plus , google-reader , social

Drools 语法规则

在 Drools 当中，规则的编译与运行要通过 Drools 提供的各种 API 来实现，这些 API 总体来讲可以分为三类：规则编译、规则收集和规则的执行。

基础 API

在 drools 6.x 以后这些 API 都整合到 kie API 中了

KnowledgeBuilder

KnowledgeBuilder 在业务代码当中收集已经编写好的规则， 然后对这些规则文件进行编译， 最终产生一批编译好的规则包（KnowledgePackage）给其它的应用程序使用。

KnowledgeBase

KnowledgeBase 是 Drools 提供的用来收集应用当中知识（knowledge）定义的知识库对象，在一个 KnowledgeBase 当中可以包含普通的规则（rule）、规则流 (rule flow)、函数定义 (function)、用户自定义对象（type model）等。KnowledgeBase 本身不包含任何业务数据对象，业务对象都是插入到由 KnowledgeBase 产生的两种类型的 session 对象当中，通过 session 对象可以触发规则执行或开始一个规则流执行。

StatefulKnowledgeSessions

StatefulKnowledgeSession 对象是一种最常用的与规则引擎进行交互的方式，它可以与规则引擎建立一个持续的交互通道，在推理计算的过程当中可能会多次触发同一数据集。在用户的代码当中，最后使用完 StatefulKnowledgeSession 对象之后，一定要调用其 dispose() 方法以释放相关内存资源。

StateLessKnowledgeSession

StatelessKnowledgeSession 的作用与 StatefulKnowledgeSession 相仿，它们都是用来接收业务数据、执行规则的。事实上，StatelessKnowledgeSession 对 StatefulKnowledgeSession 做了包装，使得在使用 StatelessKnowledgeSession 对象时不需要再调用 dispose() 方法释放内存资源了

FACT 对象

Fact 是指在 Drools 规则应用当中，将一个普通的 JavaBean 插入到规则的 WorkingMemory 当中后的对象。

规则可以对 Fact 对象进行任意的读写操作，当一个 JavaBean 插入到 WorkingMemory 当中变成 Fact 之后，Fact 对象不是对原来的 JavaBean 对象进行 Clon，而是原来 JavaBean 对象的引用。

规则文件

一个标准的规则文件就是一个以“.drl”结尾的文本文件

Drools 规则文件大致可以包含这些部分

package package-name
imports
globals
functions
queries
rules

package 是必须的，除 package 之外，其它对象在规则文件中的顺序是任意的，也就是说在规则文件当中必须要有一个 package 声明，同时 package 声明必须要放在规则文件的第一行。

一条规则的大致框架：

rule "name"
    attributes
    when
        LHS
    then
        RHS
end

一个规则通常包括三个部分：属性部分（attribute）、条件部分（LHS）和结果部分（RHS）。对于一个完整的规则来说，这三个部分都是可选的，也就是说如下所示的规则是合法的：

rule "name"
when
then
end

Drools 5 中定义了 hard 和 soft 关键字，Hard 关键字是保留字，不能够在规则中自定义随意使用

true
false
accumulate
collect
from
null
over
then
when

规则举例

rule "validate holiday by eval"
dialect "mvel"
when
    h1 : Holiday( )
    eval( h1.when == "july" )
then
    System.out.println(h1.name + ":" + h1.when);
end

或者

rule "validate holiday"
dialect "mvel"
when
    h1 : Holiday( `when` == "july" )
then
    System.out.println(h1.name + ":" + h1.when);
end

条件部分

条件部分又被称之为 Left Hand Side，简称为 LHS。 在 LHS 当中，可以包含 0~n 个条件，如果 LHS 部分没空的话，那么引擎会自动添加一个 eval(true) 的条件，由于该条件总是返回 true，所以 LHS 为空的规则总是返回 true。LHS 部分是由一个或多个条件组成，条件又称之为 pattern（匹配模式），多个 pattern 之间用可以使用 and 或 or 来进行连接，同时还可以使用小括号来确定 pattern 的优先级。

绑定对象语法

[ 绑定变量名 ]: Object([field 约束 ])

绑定变量是可选的，如果当前规则 LHS 部分的其他规则需要使用到这个对象，可以通过为该对象设定一个绑定变量名来实现对其引用，对于绑定变量，通常在其变量名前增加 $ 符号来和 Fact 区别。field 约束表示的是对对象中 field 的约束。

比如对于该规则

rule "rule1"
when
    $customer:Customer(age>20,gender==’male’)
    Order(customer==$customer,price>1000)
then
<action>…
End

规则含义：包含两个 pattern，第一个 pattern 有三个约束，分别是：对象类型必须是 Cutomer；同时 Cutomer 的 age 要大于 20 且 gender 要是 male；第二个 pattern 也有三个约束，分别是：对象类型必须是 Order，同时 Order 对应的 Cutomer 必须是前面的那个 Customer 且当前这个 Order 的 price 要大于 1000。在这两个 pattern 没有符号连接，在 Drools 当中在 pattern 中没有连接符号，那么就用 and 来作为默认连接，所以在该规则的 LHS 部分中两个 pattern 只有都满足了才会返回 true。默认情况下，每行可以用“;”来作为结束符（和 Java 的结束一样），当然行尾也可以不加“;”结尾。

操作符

操作符有很多种类：

  • Arithmetic operators (+, -, *, /, %) 算数操作符
  • Relational operators (>, >=, ==, !=) 关系操作符

  • Logical operators 逻辑操作符

    • conjunction (and, &&, ",") 与
    • disjunction (or, ||) 或
    • negation (!, do not confuse with not) 取反 (!, 不要和 not 混淆）
  • Drools operators (in, matches, etc…) Drools 操作符 (in, matches, 等等…)

一些操作符都非常通俗易懂，这里有几个需要特别注意

约束连接

对象内部多个约束连接，可以使用 &&, || 或者 ,(and) 。优先级 && > ||

, 与 && || 不能混用，在 && 和 || 出现的语句中不能出现 ,

比较操作符

Drools 中一共提供了 12 种类型的比较操作符，>, >=, <, <=, ==, != ,contains, not contains, memberof, not memberof, matches, not matches 。前六个比较常用，不介绍了。

contains 举例

when
$order:Order();
$customer:Customer(age >20, orders contains $order);
then
System.out.println($customer.getName());
End

in 操作符

  • in 操作符是表示值在一个集合内部，集合中的数据需要单独列出

    when e : Emp(deptno in (10,20))

等效于

   e : Emp(deptno == 10 || deptno == 20)
   e : (Emp(deptno == 10) or Emp(deptno == 20))

matches 操作符

matches 是某个字段和 Java 正则匹配

when
    $customer:Customer(name matches "吴.*");
then
    System.out.println($customer.getName());
end

matches 操作符匹配是否匹配 java 正则表达式。

.   匹配单一字符
.*  匹配任何字符，包括空字符串

不匹配需要这么写

when
    e: Emp(name not matches "B.*")

下面的写法是错误的！！！

when
    e: Emp(name ! matches "B.*")

    e: ! Emp(name matches "B.*")

操作符优先级

(nested) property access    .
List/Map access            [ ]
constraint binding   :
multiplicative       * / %
additive             + -
shift                << >> >>>
relational           < > <= >= instanceof
equality             == !=
bit-wise non-short circuiting AND               &
bit-wise non-short circuiting exclusive OR	^
bit-wise non-short circuiting inclusive OR	|
logical AND	&&
logical OR	||
ternary	? :
Comma separated AND	,

Drools 还支持一些高级语法规则，更多可以参考这里

结果部分

Right Hand Side，又被称为结果部分，RHS，规则中 then 后面部分就是 RHS，只有在 LHS 所有条件都满足时 RHS 部分才会执行。

RHS 部分是规则真正要做的事情，将条件满足而触发的动作写在该部分中，RHS 中可以使用 LHS 中定义的绑定变量名、设置的全局变量，或者直接编写 Java 代码（需要 import 相应的类）

RHS 中，提供了对当前 Working Memory 实现快速操作的宏函数和宏定义，比如 insert/insetLogical, update 和 retract，实现对当前 Working Memory 中 Fact 对象的新增、删除或者修改。

insert

insert(new Object());

一旦调用 insert 函数， Drools 会重新与所有规则再重新匹配一次，对于没有设置 no-loop 属性为 true 的规则，如果条件满足，不管之前是否执行过都会再执行一次，这个特性不仅存在于 insert 函数，update，retract 宏函数都有该特性，所以某些情况下考虑不周可能造成死循环。

update

对 Fact 进行更新

retract

用来将 Working Memory 中某个 Fact 对象删除。

modify

对 Fact 对象多个属性修改，修改完成后自动更新到当前 Working Memory 中

属性部分

规则属性是用来控制规则执行的重要工具，规则的属性有 13 个，activation-group、agenda-group、 auto-focus、date-effective、date-expires、dialect、duration、enabled、lock-on-active、no-loop、ruleflow-group、salience、when，

salience

用来设置规则执行的优先级，salience 属性值是一个数字，数字越大优先级越高，可以是负值，默认情况下，规则的 salience 是 0，所以不手动设置规则的 salience 属性情况下，执行的顺序是随机的。

rule "rule1"
salience 1
when
eval(true)
then
System.out.println("rule1");
End

no-loop

no-loop 属性的作用是用来控制已经执行过的规则在条件再次满足时是否再次执行。默认情况下规则的 no-loop 属性的值为 false，如果 no-loop 属性值为 true，那么就表示该规则只会被引擎检查一次，

date-effective

控制规则只有在到达后才会触发。只有当系统时间》=date-effective 设置的时间值时，规则才会触发执行，否则执行将不执行。在没有设置该属性的情况下，规则随时可以触发，没有这种限制。

date-effective 可接受的日期格式为“dd-MMM-yyyy”

rule "rule1"
date-effective "25-Sep-2019"
when
eval(true);
then
System.out.println("rule1 is execution!");
End

date-expires

该属性的作用与 date-effective 属性恰恰相反， date-expires 的作用是用来设置规则的有效期。如果 date-expires 的值大于系统时间，那么规则就执行，否则就不执行。

enabled

设置是否可用

dialect

该属性用来定义规则当中要使用的语言类型，目前 Drools 版本当中支持两种类型的语言：mvel 和 java，默认情况下，如果没有手工设置规则的 dialect，那么使用的 java 语言。

duration

如果设置了该属性，那么规则将在该属性指定的值之后在另外一个线程里触发。该属性对应的值为一个长整型，单位是毫秒。

rule "rule1"
duration 3000
when
eval(true)
then
System.out.println("rule thread
id:"+Thread.currentThread().getId());
end

lock-on-active

确认规则只执行一次。 将 lock-on-action 属性的值设置为 true，可能避免因某些 Fact 对象被修改而使已经执行过的规则再次被激活执行。lock-on-active 是 no-loop 的增强版属性。lock-on-active 属性默认值为 false。

activation-group

该属性的作用是将若干个规则划分成一个组，用一个字符串来给这个组命名，这样在执行的时候，具有相同 activation-group 属性的规则中只要有一个会被执行，其它的规则都将不再执行。

在一组具有相同 activation-group 属性的规则当中，只有一个规则会被执行，其它规则都将不会被执行。当然对于具有相同 activation-group 属性的规则当中究竟哪一个会先执行，则可以用类似 salience 之类属性来实现。

rule "rule1"
activation-group "test"
when
eval(true)
then
System.out.println("rule1 execute");
end

rule "rule 2"
activation-group "test"
when
eval(true)
then
System.out.println("rule2 execute");
End

rule1 和 rule2 这两个规则因为具体相同名称的 activation-group 属性，所以它们只有一个会被执行。

agenda-group

Agenda Group 是用来在 Agenda 的基础之上，对现在的规则进行再次分组，具体的分组方法可以采用为规则添加 agenda-group 属性来实现。

agenda-group 属性的值也是一个字符串，通过这个字符串，可以将规则分为若干个 Agenda Group，默认情况下，引擎在调用这些设置了 agenda-group 属性的规则的时候需要显示的指定某个 Agenda Group 得到 Focus（焦点），这样位于该 Agenda Group 当中的规则才会触发执行，否则将不执行。

rule "rule1"
agenda-group "001"
when
eval(true)
then
System.out.println("rule1 execute");
end

rule "rule 2"
agenda-group "002"
when
eval(true)
then
System.out.println("rule2 execute");
End

java 代码

//getSession 获取 KieSession 的方法自己写的。
KieSession ks = getSession();
// 设置 agenda-group 的 auto-focus 使其执行
ks.getAgenda().getAgendaGroup("group1").setFocus();

auto-focus

在已设置了 agenda-group 的规则上设置该规则是否可以自动独取 Focus，如果该属性设置为 true，那么在引擎执行时，就不需要显示的为某个 Agenda Group 设置 Focus，否则需要。

对于规则的执行的控制，还可以使用 Agenda Filter 来实现。在 Drools 当中，提供了一个名为 org.drools.runtime.rule.AgendaFilter 的 Agenda Filter 接口，用户可以实现该接口，通过规则当中的某些属性来控制规则要不要执行。org.drools.runtime.rule.AgendaFilter 接口只有一个方法需要实现，方法体如下：

public boolean accept(Activation activation);

在该方法当中提供了一个 Activation 参数，通过该参数我们可以得到当前正在执行的规则对象或其它一些属性，该方法要返回一个布尔值，该布尔值就决定了要不要执行当前这个规则，返回 true 就执行规则，否则就不执行。

在引擎执行规则的时候，我们希望使用规则名来对要执行的规则做一个过滤，此时就可以通过 AgendaFilter 来实现，示例代码既为我们实现的一个 AgendaFilter 类源码。

import org.drools.runtime.rule.Activation;
import org.drools.runtime.rule.AgendaFilter;
public class TestAgendaFilter implements AgendaFilter {
    private String startName;
    public TestAgendaFilter(String startName){
        this.startName=startName;
    }
public boolean accept(Activation activation) {
        String ruleName=activation.getRule().getName();
        if(ruleName.startsWith(this.startName)){
            return true;
        }else{
            return false;
        }
    }
}

过滤方法是规则名的前缀，通过 Activation 得到当前的 Rule 对象，然后得到当前规则的 name，再用这个 name 与给定的 name 前缀进行比较，如果相同就返回 true，否则就返回 false。

java:

TestAgendaFilter filter = new TestAgendaFilter("activation")
int count = ks.fireAllRules(filter)

ruleflow-group

在使用规则流的时候要用到 ruleflow-group 属性，该属性的值为一个字符串，作用是用来将规则划分为一个个的组，然后在规则流当中通过使用 ruleflow-group 属性的值，从而使用对应的规则。

函数

代码块，封装多个规则中可能共享的相同规则代码

function void/Object functionName(Type arg ...) {
}

使用定义的 function，则需要 import function，通过 import 语句，实现将 Java 类中静态方法引入到一个规则文件中，使得该文件中规则可以像普通 Drools 函数一样来使用 Java 类中的静态方法

import function test.RuleTools.printInfo;

调用

RuleTools.printInfo(...)

reference


2019-03-28 drools , kie , rule-engine

JSON 反序列化重命名

Java 中有很多 JSON 相关的类库，项目中也频繁的使用 Jackson, fastjson, gson 等等类库。不过这些类库在反序列化 JSON 字符串到 Object 并且进行重命名字段的方法都不太一致，这里就列一下做个参考。

假设有原始字符串

String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";

反序列化到类 Employee 上。

GSON

类定义

@Data
public class EmployeeGson {

    @SerializedName(value = "fullname", alternate = {"Name", "familyName"})
    private String name;
    private int age;
    @SerializedName("salary")
    private float wage;
}

测试方法

@Test
public void testRenameFieldGson() {
	String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";
	EmployeeGson employee = new Gson().fromJson(originStr, EmployeeGson.class);
	System.out.println(employee);
}

Fastjson

类

@Data
public class EmployeeFastjson {
    @JSONField(name = "familyName")
    private String name;
    private int age;
    @JSONField(name = "salary")
    private float wage;
}

测试方法

@Test
public void testRenameFieldFastjson() {
	String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";
	EmployeeFastjson employee = JSON.parseObject(originStr, EmployeeFastjson.class);
	System.out.println(employee);
}

Jackson

@Data
public class EmployeeJackson {

    @JsonProperty("familyName")
    private String name;
    private int age;
    @JsonProperty("salary")
    private float wage;

}

测试方法

@Test
public void testRenameFieldJackson() throws IOException {
	String originStr = "{\"familyName\":\"Ein\",\"age\":20,\"salary\":1000.0}";
	EmployeeJackson employeeJackson = new ObjectMapper()
			.readValue(originStr, EmployeeJackson.class);
	System.out.println(employeeJackson);
}

2019-03-27 json , gson , fastjson

Function 计算

函数计算，阿里云叫做 Function Compute，Aws 叫做 lambda 函数，GCP 叫做 Cloud Functions，各家都有各家的产品。就如同 AWS 页面介绍的那样，函数计算是一个无服务计算，可以用代码来响应事件并自动管理底层计算资源，比如通过 Amazon Gate API 发送 HTTP 请求，在 S3 桶中修改对象等等。

Serverless

抽象的 Serverless 很难概括，不过 Serverless 也经常被人叫做 Function as a Server（FaaS)，这就比较好理解了，比如最常见的存储服务，原来的方式是用户租用云服务器，这种方式需要用户自行部署存储服务，磁盘上的数据也不能共享，于是后来发展出来对象存储，文件存储，消息服务等等，这些服务不再有机器的概念，用户可以轻松的扩容和负载均衡，通过平台提供的 API 进行数据的读写，共享。按照实际存储的数量和访问次数付费，这种就是所谓的 Serverless。

FaaS 的特征就是时间驱动，细粒度，弹性收缩，无需管理服务器等底层资源。

拆分微服务有三个考量，组织结构（参考康威定律），运维发布频率（比如将每周发布两次的服务与每两个月发布一次的服务进行拆分）和逻辑调用频度（将高频调用逻辑和低频调用逻辑分开，在 Serverless 架构下能够进一步降低成本）。

Serverless 适用的两大场景

  • 应用负载有显著的波峰波谷
  • 典型用例 - 基于事件的数据处理

reference


2019-03-26 function-compute , serverless , gcp , aws

Git worktree 作用及使用

在偶然逛 Stackoverflow 的时候看到一个提问，能不能在同一个 repo 中同时有两份代码，并且可以保持两份相似但不是完全相同的代码并行开发？虽然对其需求有些好奇和疑惑 ，但也关注了一下下方的回答。

这个时候我知道了 git 原来还有一个命令叫做 git worktree 这是 Git 2.15 版本引入的新概念。我们都知道一个正常的 git workflow 可能就是从 master 拉出新分支 feature 进行功能开发，如果遇到有紧急 bug，那么从 master 拉出 hotfix 分支紧急修复在合并。这是一个比较常规的工作流，那么 git worktree 为何要被引用进来。从官方的文档 1 上能看到 git worktree 的作用是将多个 working trees 附加到同一个 repository 中，允许用户一次 check out 多个分支。但是问题是为了解决相同的问题，为何要引入一个更加复杂的 git worktree ？

疑惑

于是我又去找了一些材料 2，这个回答解决了我部分疑惑，他说到在大型软件开发过程中可能经常需要维护一个古老的分支，比如三年前的分支，当然 git 允许你每个分支维护一个版本，但是切换 branch 的成本太高，尤其是当代码变动很大的时候，有可能改变了项目结构，甚至可能变更了 build system，如果切换 branch，IDE 可能需要花费大量的时间来重新索引和设置。

但是通过 worktree, 可以避免频繁的切换分支，将老的分支 checkout 到单独的文件夹中作为 worktree，每一个分支都可以有一个独立的 IDE 工程。当然像过去一样你也可以在磁盘上 clone 这个 repo 很多次，但这意味着很多硬盘空间的浪费，甚至需要在不同的仓库中拉取相同的变更很多次。

回到原来的问题，使用 git worktree 确实能够解决最上面提及的问题。

使用

git worktree 的命令只有几行非常容易记住

git worktree add ../new-dir some-existing-branch
git worktree add [path] [branch]

这行命令将在 new-dir 目录中将 some-existing-branch 中的内容 check out 出来，就像在该目录中 clone 了一份新代码一样。新的文件地址可以在文件系统中的任何位置，但是注意千万不要将目录放到主仓库中。在此之后新目录中的内容就可以和主仓库中的内容一样，新建分支，push 到远端。

当工作结束后可以直接删除该目录，然后运行 git worktree prune.

总结

git worktree 非常适合大型项目又需要维护多个分支，想要避免来回切换的情况，这里总结一些优点：

  • git worktree 可以快速进行并行开发，同一个项目多个分支同时并行演进
  • git worktree 的提交可以在同一个项目中共享
  • git worktree 和单独 clone 项目相比，节省了硬盘空间，又因为 git worktree 使用 hard link 实现，要远远快于 clone

  1. https://git-scm.com/docs/git-worktree ↩

  2. https://stackoverflow.com/a/31951225/1820217 ↩


2019-03-21 git , git-worktree , scm , version-control

CPU 负载

之前在 Openwrt 负载 中也曾经谈到过 CPU 的负载，通过 top, uptime 等等命令都可以非常快速的查询当前 CPU 的负载。

CPU 的 load average（平均负载）指的是一段时间内正在使用和等待使用 CPU 的平均任务数。

还有一个判断 CPU 的指标是 CPU 的利用率。同样使用 top 命令也能够查到。但是并不是负载高就一定意味着 CPU 利用率高。

用电话亭来表示 CPU ，把等待打电话的人比作 CPU 任务的话，假设一个队列的人排队打电话，每个人只能打 1 分钟电话，时间到了必须重新排队，那么随着时间变化排队的人数会发生变化，那么 CPU 的平均负载就是每隔 1 分钟，5 分钟，15 分钟采样一次的数值。

而 CPU 的利用率就是电话在拨打的时间长度，但是负载高并不意味着利用率高，可能有人排队等到能打电话时拿着话筒等待了几十秒才拨打电话，那么这浪费的几十秒就不能算是 CPU 的利用率。

问题分析

负载高 CPU 利用率低

说明等待运行的任务很多，很有可能有任务僵死，通过 ps –axjf 查看有没有任务处于 D 状态，该状态为不可中断的睡眠状态，处于 D 状态的进程通常是在等待 IO，通常是 IO 密集型任务，如果大量请求都集中于相同的 IO 设备，超出设备的响应能力，会造成任务在运行队列里堆积等待，也就是 D 状态的进程堆积，那么此时 Load Average 就会飙高。

负载低 CPU 利用率高

说明任务少，但是任务执行时间长，有可能是程序本身有问题，如果没有问题那么计算完成后则利用率会下降。这种场景，通常是计算密集型任务，即大量生成耗时短的计算任务。

CPU 使用率低，IO 繁忙，负载低

这种场景，通常是低频大文件读写，由于请求数量不大，所以任务都处于 R 状态（表示正在运行，或者处于运行队列，可以被调度运行），负载数值反映了当前运行的任务数，不会飙升，IO 设备处于满负荷工作状态，导致系统响应能力降低。


2019-03-20 cpu , load , linux , java

Jenkins 使用

这篇文章主要记录一下 Jenkins Pipeline Syntax 的使用。

Pipeline

Jenkins Pipeline 是什么，简单的来说就是一组定义好的任务，相互连接在一起串行或者并行的来执行，比如非常常见的 build，test，deploy 这样需要重复频繁进行的工作。

更加具体地来说就是 Jenkins 定义了一组非常强大的扩展插件用来支持 CI/CD ，用户可以扩展这些内容来实现自己的内容。这么定义呢？那就是本文的重点，Jenkins 允许用户用一种近似伪代码的形式来编写自己的自定义任务，这个特殊的语法叫做 Pipeline DSL(Domain-Specific Language 特定领域语言）。这一套语法借鉴了 Groovy 的语法特点，有一些些略微的差别。

Jenkins Pipeline 的定义会以文本形式写到 Jenkinsfile 文件中。

举例说明：

pipeline {
  agent any ①
  stages {
      stage('Build') { ②
          steps { ③
              sh 'make' ④
          }
      }
      stage('Test'){
          steps {
              sh 'make check'
              junit 'reports/**/*.xml' ⑤
          }
      }
      stage('Deploy') {
          steps {
              sh 'make publish'
          }
      }
  }
}

说明：

  1. agent 表示 Jenkins 需要分配一个 executor 和 workspace 给该 pipeline
  2. stage 表示 Pipeline 的 stage
  3. steps 表示 stage 中需要进行的步骤 单一任务，定义具体让 Jenkins 实现的内容。比如执行一段 shell 脚本
  4. sh 执行给定的 shell 命令
  5. junit 是由 plugin:junit[JUnit plugin] 提供的聚合测试

Pipeline 定义的脚本使用 Groovy 书写，基本的 Pipeline 可以通过如下方式创建：

  • 在 Jenkins web UI 中直接填写脚本
  • 项目根目录创建 Jenkinsfile 文件，并提交到项目版本控制

Jenkinsfile 的使用有如下优势：

  • 允许用户通过一个文件来定义所有分支，所有 pull requests 的自动化任务
  • 可以 review Pipeline 的代码并进行审计
  • 通过文件进行管理可以便捷的进行多人协作

Pipeline 语法

Jenkins Pipeline 其实有两种语法

  • Declarative
  • Scripted

Declarative Pipeline, 提供了一种比较易读的方式，这种语法包含了预先定义好的层级结构，用户可以在此基础上进行扩展。但是这种模式也有一定的限制，比如所有声明式管道都必须包含在 pipeline 块中。

Scripted Pipeline 会在 Jenkins master 节点中借助一个轻量的执行器来运行。它使用极少的资源来将定义好的 Pipeline 转换成原子的命令。

Declarative 和 Scripted 方式都很大的差别，需要注意。

post 语法块

post section 定义了 Pipeline 执行结束后要进行的操作。支持在里面定义很多 Conditions 块：always, changed, failure, success 和 unstable。这些条件块会根据不同的返回结果来执行不同的逻辑。比如常用的 failure 之后进行通知。

  • always：不管返回什么状态都会执行，可以在其中定义一些清理环境等等操作
  • changed：如果当前管道返回值和上一次已经完成的管道返回值不同时候执行，比如说从失败恢复成功状态
  • failure：当前管道返回状态值为”failed”时候执行，在 Web UI 界面上面是红色的标志
  • success：当前管道返回状态值为”success”时候执行，在 Web UI 界面上面是绿色的标志
  • unstable：当前管道返回状态值为”unstable”时候执行，通常因为测试失败，代码不合法引起的。在 Web UI 界面上面是黄色的标志
  • aborted: 当 Pipeline 中止时运行，通常是被手动中止

post 指令可以和 agent 同级，也可以和放在 stage 中。

// Declarative //
pipeline {
    agent any
    stages {
        stage('Example') {
            steps {
                echo 'Hello World'
            }
        }
    }
    post {
        always {
            echo 'I will always say Hello again!'
        }
    }
}

Node 块

Jenkins 执行的机器被称作 node，主节点是 master，其他节点 slave。在 Pipeline 文件中可以指定当前任务运行在哪一个节点中。

stages 块

由一个或者多个 stage 指令组成，stages 块是核心逻辑。对主要部分 Build，Test，Deploy 单独定义 stage 指令。

一个 stage 下至少需要一个 steps，一般也就定义一个就足够了。

step 块

在 steps 中定义 step。

Jenkins 中其他指令

agent

指定整个 pipeline 或某个特定的 stage 的执行环境

  • any - 任意一个可用的 agent，那么定义的任务会跑在任意一个可用的 agent 上
  • none - 如果放在 pipeline 顶层，那么每一个 stage 都需要定义自己的 agent 指令
  • label - 在 jenkins 环境中指定标签的 agent 上面执行，比如 agent { label ‘my-defined-label’ }
  • node - agent { node { label ‘labelName’ } } 和 label 一样，但是可用定义更多可选项
  • docker - 指定在 docker 容器中运行
  • dockerfile - 使用源码根目录下面的 Dockerfile 构建容器来运行

parameters

参数指令，触发这个管道需要用户指定的参数，然后在 step 中通过 params 对象访问这些参数。

pipeline {
    agent any
    parameters {
        string(name: 'PERSON', defaultValue: 'Mr Jenkins', description: 'Who should I say hello to?')
    }
    stages {
        stage('Example') {
            steps {
                echo "Hello ${params.PERSON}"
            }
        }
    }
}

triggers

触发器指令定义了这个管道何时该执行，一般我们会将管道和 GitHub、GitLab、BitBucket 关联， 然后使用它们的 webhooks 来触发，就不需要这个指令了。如果不适用 webhooks，就可以定义两种 cron 和 pollSCM

  • cron - linux 的 cron 格式 triggers { cron('H 4/* 0 0 1-5') }

  • pollSCM - jenkins 的 poll scm 语法，比如 triggers { pollSCM('H 4/* 0 0 1-5') }

    pipeline { agent any triggers { cron(‘H 4/* 0 0 1-5’) } stages { stage(‘Example’) { steps { echo ‘Hello World’ } } } }

stage

stage 指令定义在 stages 块中，里面必须至少包含一个 steps 指令，一个可选的 agent 指令，以及其他 stage 相关指令。

pipeline {
    agent any
    stages {
        stage('Example') {
            steps {
                echo 'Hello World'
            }
        }
    }
}

tools

定义自动安装并自动放入 PATH 里面的工具集合，工具名称必须预先在 Jenkins 中配置好了 → Global Tool Configuration.

pipeline {
    agent any
    tools {
        maven 'apache-maven-3.0.1' ①
    }
    stages {
        stage('Example') {
            steps {
                sh 'mvn --version'
            }
        }
    }
}

内置条件

  • branch - 分支匹配才执行 when { branch 'master' }
  • environment - 环境变量匹配才执行 when { environment name: ‘DEPLOY_TO’, value: ‘production’ }
  • expression - groovy 表达式为真才执行 expression { return params.DEBUG_BUILD } }

Pipeline global variables

地址：

  • http://jenkins.url/pipeline-syntax/globals
  • http://jenkins.url/env-vars.html

reference


2019-03-13 jenkins , ci-cd , program

电子书

文章分类

最近文章

  • 威联通折腾篇十七：Docker 安装的 NextCloud 升级、备份及恢复 之前有文章写过如何在 Qnap 上使用 Container Station 来安装 NextCloud，之前重度使用 NextCloud，里面已经存了近 70G 的文件内容，这次系统重建后，下载新的镜像，然后重新恢复，费了一番时间，主要是恢复数据库，然后还有本地挂载的文件，以及升级版本。
  • 威联通折腾篇十六：为 Container Station 更换镜像 都知道其实 QNAP 的 Container Station 就是 Docker，所以桌面版可以修改的国内镜像地址，QNAP 系统上也能够修改，可以快速提高镜像的下载速度。
  • 备份数据及系统思考 上周五 NAS 系统盘挂掉后一个周末都没有过好，一边忙着备份数据，一边要忙着整理系统应用和配置。早以前除了云端同步数据曾经出现过一两次数据丢失的情况，本地保存的数据还没有出现过管理的问题，系统会用 Clonezilla 全量备份，笔电数据则辅以同步工具 Dropbox 和自建的 NextCloud，平时丢数据的可能倒是比较小，但唯一疏漏的 NAS，因为硬盘不是一次性买全而是分了几次，所以从一开始就没有规划好存储与备份，而系统的酷狼 4T 盘可能经过几次家里停电，SMART INFO 出现警告的时候也没有来得及备份，所以造成了从周五开始突然系统盘只读状态，无奈只能立即开启 rsync 手动先将系统盘中的数据备份到其他盘。等到周日把损坏的系统盘送修之后，是时候来思考一下如何管理本地数据了。
  • QNAP 上 SQL server 数据备份 平时没有注意备份 QNAP 上系统盘的数据，从昨天开始系统盘突然只读，而无法写入，发现磁盘有问题了，无奈只能边申请售后，边想着怎么备份数据，还要恢复这么多的配置。
  • 云服务 free tier AWS