Spring AOP 笔记

Spring AOP 指的是 Aspect Oriented Programming(面向切面编程),AOP 是一种编程范式,AOP 提供了不同于 OOP 的另一种全新的软件架构思考方式,目的是为了通过分离切面问题来增加程序的模块化,同通俗的话讲就是不修改代码的情况下给程序增加额外的行为。Spring AOP 就是这样一个框架,可以提高我们切面编程的效率。

Spring AOP 的几个常用的使用场景:

  • 事务,transaction management
  • 日志,logging
  • 安全,security

Spring 中有两种方式来使用 AOP

  • schema-based approach, 基于 XML 方式配置
  • @Aspect annotation approach, 基于注解

Terms

在深入 AOP 之前,先来了解一些关键性的术语:

  • join-point: 中文通常翻译成切点,切入点,也就是切入的地方,通常是一个方法 a point during the execution of a program, in spring AOP always represents a method execution
  • pointcut:is a predicate or expression that matches join-point
  • advice: 具体切入的动作 actions taken by aspect at a particular join-point, is associated with a pointcut expression and runs at any join point matched by the pointcut
  • weaving: linking aspects with other application types or objects to create an advised object.

基于上面的认知,知道 join-point 可以认为是方法调用的时刻,所以 Spring 中有 5 种类型的 Advice 时机:

  • Before advice, 方法执行前(无法阻止方法执行,除非抛出异常)
  • After returning advice, 正常方法(无异常)返回后执行
  • After throwing advice, 抛出异常时执行
  • After advice, 不管方法正常或者抛出异常后执行
  • Around advice, 方法调用前后

Spring 中 AOP 实现原理

Spring 中 AOP 的实现主要是通过 JDK [[动态代理]]和 [[CGLIB]] 动态代理完成。1可以通过注解 [[Spring @EnableAspectJAutoProxy]] 的参数来指定。

  • JDK 动态代理通过反射来代理类,要求被代理的类实现一个接口,JDK 动态代理的核心是 InvocationHandlerProxy
  • 如果目标类没有实现接口,Spring 会采用 CGLIB 来动态代理目标类,CGLIB 是一个代码生成的类库,可以在运行时动态生成类的子类,CGLIB 通过继承方式代理,所以如果一个类被标记为 final,是无法通过 CGLIB 来做动态代理的

Spring Boot 中使用 AOP

引入依赖:

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.6.1</version>
</parent>
 
<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-aop</artifactId>
    </dependency>
</dependencies>

在启动类上使用 [[Spring @EnableAspectJAutoProxy]] 注解,但其实如果不配置该注解,spring.aop.auto 属性也是默认开启的。

Spring Boot 中指定 CGLIB 实现 AOP。

在注解中指定:

@Configuration
@EnableAspectJAutoProxy(proxyTargetClass = true)
public class AppConfig {}

或者配置属性:

spring.aop.proxy-target-class=true

Maven

具体的版本可以自行搜索使用。

<dependency>
	<groupId>org.springframework</groupId>
	<artifactId>spring-context</artifactId>
	<version>4.1.4.RELEASE</version>
</dependency>
<dependency>
	<groupId>org.springframework</groupId>
	<artifactId>spring-context-support</artifactId>
	<version>4.1.4.RELEASE</version>
</dependency>
<dependency>
	<groupId>org.springframework</groupId>
	<artifactId>spring-aop</artifactId>
	<version>4.1.4.RELEASE</version>
</dependency>
<dependency>
	<groupId>org.aspectj</groupId>
	<artifactId>aspectjrt</artifactId>
	<version>1.6.11</version>
</dependency>
<dependency>
	<groupId>org.aspectj</groupId>
	<artifactId>aspectjweaver</artifactId>
	<version>1.6.11</version>
</dependency>

相关的注解

@Aspect 注解将 Java 类定义为切面,使用 @Pointcut 定义切点。

在不同的位置切入,可以使用 @Before, @After, @AfterReturning, @Around, @AfterThrowing 等等。

  • @Before,在方法执行前执行
  • @After,方法执行后执行
  • @AfterReturning,方法返回结果之后执行 [[Spring AOP AfterReturning]]
  • @AfterThrowing,异常通知,方法抛出异常之后
  • @Around,环绕方法执行

Pointcut Designators

如何定义切点,以及切点表达式的编写是学习 AOP 的一个重点。

Pointcut expression 由一个 pointcut designator(PCD) 开头,来告诉 Spring 什么时候匹配。Spring 支持很多个 pointcut designators ,最常见的就是 execution 了。

execution

matching method execution join points

匹配某一个特定方法:

@Pointcut("execution(public String info.einverne.FooDao.get(Long))")

假如要匹配 FooDao 中所有方法:

@Pointcut("execution(* info.einverne.FooDao.*(..))")

第一个* 匹配所有的返回值,(..) 表示匹配任意数量的参数。

within

limits matching to join points within certain types

使用 within 也能够达到上面的效果,将类型限定到 FooDao

@Pointcut("within(info.einverne.springboot.demo.dao.FooDao)")
public void logWithClass(JoinPoint jp) {}

或者匹配某个包下所有

@Pointcut("within(info.einverne.springboot.demo.dao..*)")
public void logWithPackage(JoinPoint jp) {}

this and target

  • this - limits matching to join points (the execution of methods when using Spring AOP) where the bean reference (Spring AOP proxy) is an instance of the given type
  • target - limits matching to join points (the execution of methods when using Spring AOP) where the target object (application object being proxied) is an instance of the given type

this 匹配 bean reference 是给定类型的实例,target 匹配 target Object 是给定类型的实例。this 适用于 Spring AOP 创建 CGLIB-based proxy, target 适用于 JDK-based proxy.

@Pointcut("target(info.einverne.springboot.demo.dao.BaseDao)")
public void logBaseDao(JoinPoint jp) {}

@Pointcut("this(info.einverne.springboot.demo.dao.FooDao)")
public void logThis(JoinPoint jp) {}

args

limits matching to join points (the execution of methods when using Spring AOP) where the arguments are instances of the given types

匹配特定方法参数

// 匹配方法参数是 Long 的方法
@Pointcut("args(Long)")
public void argsMatchLong() {}

args 后面加类名,表示入参是该类的方法。

@target

limits matching to join points (the execution of methods when using Spring AOP) where the class of the executing object has an annotation of the given type

@Pointcut("@target(org.springframework.stereotype.Repository)")

@args

limits matching to join points (the execution of methods when using Spring AOP) where the runtime type of the actual arguments passed have annotations of the given type(s)

// 匹配所有使用了 SomeCustomAnnotation 注解的参数的方法
@Pointcut("@args(info.einverne.SomeCustomAnnotation)")
public void args() {}

@args 需要接注解的类名,表示方法运行时入参标注了指定的注解。

@within

limits matching to join points within types that have the given annotation (the execution of methods declared in types with the given annotation when using Spring AOP)

@Pointcut("@within(org.springframework.stereotype.Repository)")

等于:

@Pointcut("within(@org.springframework.stereotype.Repository *)")

@target@within 的区别:Spring AOP 基于 dynamic proxies, 它仅仅提供了 public, non-static 方法执行的 interception. 而使用 CGLIB proxies, 你可以 intercept package-scoped, non-static 方法。然而 AspectJ 甚至可以 intercept 方法的调用(而不仅仅是方法的执行),member field access (静态或者非静态),constructor call/execution, static class initialisation 等等。2

  • @within() is matched statically, requiring the corresponding annotation type to have only the CLASS retention
  • @target() is matched at runtime, requiring the same to have the RUNTIME retention

@annotation

@annotation 可以用来表示被注解引用的时机。

limits matching to join points where the subject of the join point (method being executed in Spring AOP) has the given annotation

比如自定义注解:

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface LogExecutionTime {
}

那在定义 Pointcut 时可以使用:

@Around("@annotation(com.package.LogExecutionTime)")
public Object logExecutionTime(ProceedingJoinPoint joinPoint) throws Throwable {}

Order

可以使用 @Order 来指定先后执行顺序。

[[Spring @Order]]

execution expression

execution 在使用时有自己的语法规则:

execution(modifiers-pattern? return-type-pattern declaring-type-pattern?method-name-pattern(param-pattern) throws-pattern?)

          public/private       void/String/...         com.xxxx.SomeClass     .saveUser                     throws *Exception

带问号的可以省略,其他可以支持正则。

组合使用

所有的 Pointcut 之间都可以使用 &&||! 来连接。

@Pointcut("execution(public * *(..))")
private void anyPublicOperation() {}

@Pointcut("within(com.xyz.someapp.trading..*)")
private void inTrading() {}

@Pointcut("anyPublicOperation() && inTrading()")
private void tradingOperation() {}

总结

代码地址:https://github.com/einverne/thrift-swift-demo/tree/master/spring-boot-demo

reference


2019-12-12 spring , spring-boot , spring-framework , aop , spring-mvc

wp-cli 使用

Install

wget https://raw.githubusercontent.com/wp-cli/builds/gh-pages/phar/wp-cli.phar
sudo chmod +x wp-cli.phar
sudo ln -s /var/www/www.einverne.info/html/wp-cli.phar /usr/local/bin/wp

wp --info

To run any command with WP CLI, you must be in the public directory of your WordPress instance installed.

Usage

Check version

wp core version

Check update

wp core check-update

Update

sudo -u www-data wp core update
sudo -u www-data wp core update-db

Plugin

Check plugins

wp plugin list
sudo -u www-data wp plugin deactivate wordpress-seo
sudo -u www-data wp plugin uninstall wordpress-seo
sudo -u www-data wp plugin update --all

Theme

wp theme search twentyfourteen
sudo -u www-data wp theme install twentyfourteen
sudo -u www-data wp theme activate twentyfourteen
sudo -u www-data wp theme update twentyfourteen
sudo -u www-data wp theme update --all
wp theme list
sudo -u www-data wp theme activate twentyseventeen
sudo -u www-data wp theme uninstall twentyfourteen

Post

wp post list
wp post create --post_type=post --post_title='A sample post'
wp post update 123 --post_status=draft
wp post delete 123

reference


2019-12-11 wordpress , cli , linux , command

专业医学信息网站整理

前两天鼻炎又犯了,去过很多次医院,也去过不同的医院,有说是慢性鼻炎,有说是过敏性鼻炎,这次检查说是鼻窦炎,总之就是鼻炎了。也尝试过各种药,各种滴鼻液,各种喷雾剂,各种洗鼻水,总是能缓解一段时间,然后到秋冬季节就又会差很多。也不知道是不是环境导致,毕竟大学毕业后还没有在不同城市生活过。所以上一次去了医院之后就在想,对于有些病,或者有些病理信息,是不是我可以在互联网上获得一些信息,然后自我调理,而这两天正好看到 Twitter 上有人提起,所以就整理一下。

医学知识

专业的医学或健康知识可信获取信息源:

  1. 默沙东诊疗手册 https://www.msdmanuals.com/
  2. 维基百科 https://wikipedia.org
  3. WHO;世界卫生组织 (World Health Organization) http://who.int
  4. 腾讯医典(与 WebMD 联合) https://baike.qq.com/
  5. 美国食品药品监督管理局:https://fda.gov

CDC

美国疾病控制与预防中心 https://www.cdc.gov/ 世界各国的 CDC https://en.wikipedia.org/wiki/CDC

NIH

美国国立卫生研究院 https://www.nih.gov/

糖尿病 https://dtc.ucsf.edu/zh-hans/

延伸阅读


2019-12-08 mediacal , collection

给博客添加 PWA

改造网站支持 Progressive Web Apps (PWA),改善移动端体验。

主要分成一下几步:

  1. 开启全站 HTTPS
  2. Service Worker
  3. Web App Manifest

Service Worker

检测当前的浏览器是否支持 Service Worker

调试 Service Worker,可以在 Chrome 开发者选项 Application 看到 Service Worker.

创建 sw.js 并注册

  <script>
	  if ('serviceWorker' in navigator) {
		  window.addEventListener('load', function () {
			  navigator.serviceWorker.register('/sw.js');

			  //navigator.serviceWorker.ready always resolve
			  navigator.serviceWorker.ready.then(function (registration) {
				  console.log('Service worker successfully registered on scope', registration.scope);
			  });
		  });
	  }
  </script>

关于 sw.js 比较复杂, 可以参考文末 Google 的文档。

Manifest

manifest 属性

  • name —— 网页显示给用户的完整名称
  • short_name —— 当空间不足以显示全名时的网站缩写名称
  • description —— 关于网站的详细描述
  • start_url —— 网页的初始 相对 URL(比如 /)
  • scope —— 导航范围。比如,/app/ 的 scope 就限制 app 在这个文件夹里。
  • background-color —— 启动屏和浏览器的背景颜色
  • theme_color —— 网站的主题颜色,一般都与背景颜色相同,它可以影响网站的显示
  • orientation —— 首选的显示方向:any, natural, landscape, landscape-primary, landscape-secondary, portrait, portrait-primary, 和 portrait-secondary。
  • display —— 首选的显示方式:fullscreen, standalone (看起来像是 native app),minimal-ui (有简化的浏览器控制选项) 和 browser (常规的浏览器 tab)
  • icons —— 定义了 src URL, sizes 和 type 的图片对象数组,用来定义 PWA 的 icon。

页面中添加 manifest.json 使之生效。

<link rel="manifest" href="/manifest.json">

这里 可以生成 manifest 和不同尺寸的 icon

Test

部署后可以测试一下

reference


2019-12-07 pwa , google , blog

文件整理之重复文件删除

整理文件的时候总想快速的删掉重复的文件,这里就总结下个人使用感觉良好的几个命令工具,包括 [[jdupes]], rdfind, fdupes, [[fclones]] 这些。

依据推荐指数从高到低。

jdupes

开源地址:

jdupes 是 fdupes 的增强版,根据作者自己的描述,jdupes 比 fdupes 1.51 版本要快 7 倍左右。

使用方式:

Usage: jdupes [options] DIRECTORY...

和 fdupes 类似, jdupes 也有类似的选项:

 -d --delete            prompt user for files to preserve and delete all
						others; important: under particular circumstances,
						data may be lost when using this option together
						with -s or --symlinks, or when specifying a
						particular directory more than once; refer to the
						documentation for additional information
 -N --noprompt          together with --delete, preserve the first file in
						each set of duplicates and delete the rest without
						prompting the user
 -r --recurse           for every directory, process its subdirectories too

所以总结一下:

jdupes -r path/to/dir

这行命令不会真正去删重复的文件,如果要删除,用 -d 参数:

jdupes -dr path/to/dir

此时 jdupes 会打印出报告,然后一个一个让用户自己去确认要删除哪一个。

rdfind - find duplicate files in linux

安装使用:

sudo apt-get install rdfind
rdfind -dryrun true path/to/dir

结果会保存在 results.txt 文件中。如果要真正删除 (Be Carefule):

rdfind -deleteduplicates true path/to/dir

或者建立硬链接

rdfind -makehardlinks true path/to/dir

fdupes

安装使用:

sudo apt install fdupes
fdupes path/to/dir

递归搜索:

fdupes -r path/to/dir

如果要删除重复内容可以使用 -d 选项(同样需要非常谨慎):

fdupes -d path/to/dir

-d 选项会弹出选择,用户可以手动选择保留的文件。如果使用 -I 选项会在遇到重复文件时直接删除。 -N 选项和 --delete 一起使用时,会保留第一个文件,然后删除之后的重复文件,不会弹出让用户确认。

最强悍模式:

fdupes -rdN path/to/dir

duperemove

在 review tldr 的 PR 时又看到了一个 C 语言实现的 duperemove,作者没有提供 benchmark,有机会可以尝试一下。

reference


2019-12-06 linux , command , files , file-manager

Intellij IDEA 快捷键使用学习

这篇文章受到 IntelliJ 官方插件 IDE Features Trainer 的启发,学习一个编辑器应该归类,从不同的操作学习。从基本的编辑,到代码导航,再到辅助,到重构,重要的不是学习这些快捷键,而是学习可以怎么样做,并且用这样的思考方式用到不同的编辑器中。

Mac 上常见的四个快捷键对应关系,简单的可以将 Alt 对应 Mac 下的 Option,而在 Mac 下 Cmd 和 Ctrl 被人为的分隔开来,Cmd 大多数与GUI相关,Cmd+Q退出应用,Cmd+W关闭一个Tab,而Ctrl和终端相关,Ctrl+a则是跳转到行首,Ctrl+e跳转到行尾。然后和Shift,Option结合就能组合成非常多常用的功能。Windows下不足的一个地方就是将 Win 键的功能单一化了,大部分的情况下Win 键是鸡肋。

另外 Shift 可以认为是一个相反的操作,比如 Cmd+Tab 是切换应用,那么 Cmd+Shift+Tab 就是反向切换应用。再比如在 IntelliJ IDEA 中 Cmd+z 是 undo,那么 Cmd+Shift+z 就是 redo,撤销之前的撤销。

Basics

一个编辑器基本的操作,包括复制,剪切,粘贴,选择,多点选择,折叠代码块等等。而关于复制,剪切,粘贴 IdeaVim 已经完全满足需求,不需要用 IntelliJ 内置的任何命令。

Selection

选择,块选择,本来 Vim 的选择模式也已经足够强大,不过 IntelliJ 提供了如下两个方式相较于 Vim 的块选稍微强大一些。

  • Alt + Shift + Up 扩展选择区块
  • Alt + Shift + Down 缩减选择区块

原来 Vim 的块选,比如想要选择某一个方法,大致可以使用 vap,或者选择花括号内容 vi{ 等等,在非常清楚需求的情况下非常方便,但是比如有些时候不想选择整个段落,想要可视化的选择一些代码块,不妨试试上面两个快捷键。

Collapse

代码的折叠与展开,倒是不复杂。

  • Ctrl -/+ Collapse/Expand a code region
  • Ctrl Shift -/+ Collapse/Expand all regions in a file

Multiple Selections

多选,比较常见地一种场景就是变量重命名,当然有些时候比如编辑 html 时批量替换某些标签,有很多方法可以实现,比如变量重命名功能,或者批量替换,又或者使用 vim 的 dot 命令。

  • Alt + j 选择光标下的内容
  • Alt + j 选择下一个
  • Alt + Shift + j 取消选择最后一个
  • Ctrl + Alt + Shift + j 选择文件中所有出现的字符

IntelliJ 当然也提供了很多方式,上面提到的只是其中的一种。

Generate

生成一些模板方法,默认的快捷键是 Cmd+n, 自动生成构造方法,toString 方法,get-set 方法,或者 override 方法等等。

Live template

Refactorings

Rename 重命名

批量重命名,很有用的快捷键,必须知道。

  • Shift + F6

借助 IdeaVim 在我的配置文件中, 我把 ,+r 映射成了变量重命名:

nnoremap <Leader>r :<C-u>action RenameElement<CR>

Extract Variable/Field 提取变量

Ctrl + Alt + V

Extract Method 提取方法

个人对方法提取用的还是比较多的,重构代码或者重新规划代码时非常有用。

  • Ctrl + Alt + M 提取选择到方法
  • Ctrl + Alt + C 提取选择到 Constant
  • Ctrl + Alt + P 提取选择到参数

Code Assistance

Formatting

格式化,对于格式化的要求应该在任何保存的时候进行格式化,应该在提交代码前强制进行格式化。当然用快捷键时不时的格式化一下也可以。

  • Ctrl + Alt + L

Parameter Info

显示参数

  • Ctrl + P

Quick Popups

  • Ctrl + Q
  • Esc
  • Ctrl + Shift + I 查看光标下方法定义

Editor Coding Assistance

  • F2 遍历错误
  • Ctrl + F1 查看错误明细
  • Ctrl + Alt + T 在选择区域周围嵌套代码。

Vim 插件已经能够做到非常好的在单文件内浏览了,无论是上下,或者翻页,或者查询特定变量,方法。如果要做到查询方法的父类或者接口就不得不借助 IntelliJ 自身的快捷键。

我借助 IdeaVim 插件的魔力,将常见的代码流量都映射成了 g 开头的操作,比如跳转到超类就是 go to super, 快捷键就是 gs

Jump to Source

在阅读代码时有几个操作经常会用到:

  • 查看接口或者抽象类的具体实现 Ctrl + T
  • 跳转到超类 Ctrl + B Super method
  • 查看当前方法被调用的地方 Ctrl + G
  • 跳转到类实现 F3

Next/Previous Occurrences

个人使用 Vim 的 *np 基本满足了查询当前字符串的需求,所以这里也就不列举 IDE 自带的快捷键了。

IntelliJ 独有的功能快捷键

Search Everywhere

全局搜索,默认的快捷键是 Shift + Shift, 这是一个非常有用的快捷键,可以搜索 IntelliJ IDEA 内部的功能,同时也可以模糊搜索项目代码文件,执行任务,跳转等等。

Intention Action

默认的快捷键是 Alt+Enter

Editor 内快速跳转到 Terminal

默认的快捷键是 Alt(Option)+F12

Invoke refactoring

重构代码,会弹出一个功能选单 Refactor this,在这个功能选单中可以做如下事情。

停留在变量上,方法名,类名上:

  • rename, 重命名光标下的变量名, 方法名,类名
  • change signature, 改变方法签名
  • copy class, 复制类
  • move class, 移动类

整理总结

Cmd 系列

快捷键 功能描述
Cmd+q Q退出应用
Cmd+c/v/x copy/paste/cut
Cmd+z  
Cmd+w close Tab
Cmd+e recent file
Cmd+n generate
Cmd+o file structure

Ctrl 系列

快捷键 功能描述
Ctrl+a/e 行首行尾
Ctrl+n/p next line/Previous line
Ctrl+b go to super class
Ctrl+g find usage
Ctrl+h find in path
Ctrl+Option+b go to implements

2019-12-05 intellij , IDE , java , vim , editor

使用 timeshift 来备份和还原系统

Linux Mint 自带的备份和还原工具就是 timeshift, 今天看到有人贡献 timeshift 的命令行版本,突然意识到这个工具其实还有命令行版本。

安装

sudo apt-add-repository -y ppa:teejee2008/ppa
sudo apt-get update
sudo apt-get install timeshift

Snapshot Type

timeshift 提供两种模式的备份方式:

  • RSYNC
  • BTRFS

RSYNC 在第一次使用时会拷贝所有文件,以后每次备份都是增量备份,使用硬链接创建从上一次快照未修改的系统文件。快照文件可以保存到任何 Linux 文件系统的硬盘格式下,保存快照到非系统盘或者外部硬盘上,这样即使系统盘损坏或者被格式化也能够快速从外部硬盘恢复数据。RSYNC 支持排除文件和目录来节省硬盘空间。

BTRFS 需要安装 btrfs-tools,快照通过 BTRFS 文件系统创建,快照备份和恢复的速度要比 RSYNC 快,快照创建和恢复都是原子事务的,不能中断。快照通过替换系统 subvolumns 来恢复,因为文件没有拷贝,删除或者覆盖,不会有文件丢失的风险。恢复后的系统会作为一次新的快照。快照在备份时是完美地逐字节拷贝,不能排除任何文件。快照会存在系统相同的硬盘上,暂时还不支持备份到其他硬盘,如果系统盘损坏,那么快照也会丢失。初始 BTRFS 备份是 0 字节,但是随着系统使用占用内容会逐日增多,快照中的文件依然还是会指向原始的文件 block. 系统必须安装在 BTRFS 分区上,并使用 Ubuntu-type subvolumn layout(@ and @home subvolumns),其他的 layouts 不支持。

Usage

通过界面可以非常快速的设置 timeshift.

设置过滤器

在标签页,Filters 一栏中可以设置不备份的路径。

Cron 备份

通过界面可以定制简单的定时备份任务,但是如果界面无法满足高级的需求,比如固定时间调用 timeshift 来备份,那么可以使用 cron 脚本来定时备份。比如要在每天下午 7 点中执行备份,可以新建 /etc/cron.d/timeshift_daily_7p 并在其中配置:

SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=""

0 19 * * * root timeshift --create --tags D --scripted

无法进入系统时如何从 timeshift 恢复

如果安装某些程序导致了无法进入系统,那么可以用 USB 上的系统进入,然后在 USB 启动的系统中使用 timeshift 来恢复系统。

reference


2019-11-25 timeshift , linux , backup , restore , security

优化 Docker 镜像大小

优化 Docker 镜像文件的大小可以:

  • 减少构建时间
  • 节省存储空间和带宽
  • 减少安全隐患
  • 提高部署速度

Docker 镜像由很多层组成(最多 127 层),依赖很多底层基础,比如文件系统,写时复制,联合挂载等等,每创建一层都会相应地增加一些体积。

优化基础镜像

使用 Alpine 作为基础镜像。

gcr.io/google_containers/pause-amd64:3.1 镜像仅有 742KB。

scratch 镜像

scratch 是一个空镜像,只能用于构建其他镜像,比如你要运行一个包含所有依赖的二进制文件,如 Golang 程序,可以直接使用 scratch 作为基础镜像。Google pause 镜像 Dockerfile:

FROM scratch
ARG ARCH
ADD bin/pause-${ARCH} /pause
ENTRYPOINT ["/pause"]

Google pause 镜像使用了 scratch 作为基础镜像,这个镜像本身是不占空间的,使用它构建的镜像大小几乎和二进制文件本身一样大,所以镜像非常小。当然在我们的 Golang 程序中也会使用。对于一些 Golang/C 程序,可能会依赖一些动态库,你可以使用自动提取动态库工具,比如 ldd、linuxdeployqt 等提取所有动态库,然后将二进制文件和依赖动态库一起打包到镜像中。

busybox 镜像

scratch 是个空镜像,如果希望镜像里可以包含一些常用的 Linux 工具,busybox 镜像是个不错选择,镜像本身只有 1.16M,非常便于构建小镜像。

串联 Dockerfile 指令

减少 RUN 指令

应该把多个命令串联合并为一个 RUN(通过运算符 && 和 / 来实现),每一个 RUN 要精心设计,确保安装构建最后进行清理,这样才可以降低镜像体积,以及最大化的利用构建缓存。

下面是一个优化前 Dockerfile

FROM ubuntu

ENV VER     3.0.0
ENV TARBALL http://download.redis.io/releases/redis-$VER.tar.gz
# ==> Install curl and helper tools...
RUN apt-get update
RUN apt-get install -y  curl make gcc
# ==> Download, compile, and install...
RUN curl -L $TARBALL | tar zxv
WORKDIR  redis-$VER
RUN make
RUN make install
# ==> Clean up
WORKDIR /
RUN apt-get remove -y --auto-remove curl make gcc
RUN apt-get clean
RUN rm -rf /var/lib/apt/lists/*  /redis-$VER
CMD ["redis-server"]

构建镜像,名称叫 test/test:0.1。

我们对 Dockerfile 做优化,优化后 Dockerfile

FROM ubuntu
ENV VER     3.0.0
ENV TARBALL http://download.redis.io/releases/redis-$VER.tar.gz
RUN echo "==> Install curl and helper tools..."  && \
    apt-get update                      && \
    apt-get install -y  curl make gcc   && \
    echo "==> Download, compile, and install..."  && \
    curl -L $TARBALL | tar zxv  && \
    cd redis-$VER               && \
    make                        && \
    make install                && \
    echo "==> Clean up..."  && \
    apt-get remove -y --auto-remove curl make gcc  && \
    apt-get clean                                  && \
    rm -rf /var/lib/apt/lists/*  /redis-$VER
CMD ["redis-server"]

构建镜像,名称叫 test/test:0.2。

对比两个镜像大小:

docker images
REPOSITORY       TAG           IMAGE ID            CREATED             SIZE
test/test        0.2         58468c0222ed        2 minutes ago       98.1MB
test/test        0.1         e496cf7243f2        6 minutes ago       307MB

将多条 RUN 命令串联起来构建的镜像大小是每条命令分别 RUN 的三分之一。

为了应对镜像中存在太多镜像层,Docker 1.13 版本以后,提供了一个压扁镜像功能,即将 Dockerfile 中所有的操作压缩为一层。这个特性还处于实验阶段,Docker 默认没有开启,如果要开启,需要在启动 Docker 时添加 -experimental 选项,并在 Docker build 构建镜像时候添加 --squash 。不推荐使用这个办法,请在编写 Dockerfile 时遵循最佳实践编写,不要试图用这种办法去压缩镜像。


2019-11-19 docker , docker-image

git-crypt 使用

在了解复式计帐开源软件 Beancount 的时候偶然的知道了 git-crypt, 因为 beancount 使用纯文本来记账,非常适合使用 git 来做管理,而个人帐务资产信息又是非常敏感的内容,所以就有了 git-crypt 的使用场景。而在日常的项目管理中,如果遇到代码需要公开,而某些敏感配置,比如数据库连接配置等等,使用相同的原理 git-crypt 也能够有使用场景。

installation

git-crypt 使用 C++ 编写,安装的过程可以自行编译安装:

git clone git@github.com:AGWA/git-crypt.git
sudo apt install make g++ libssl-dev git openssl
sudo make ENABLE_MAN=yes install

详细参考官网,安装后会在 /usr/local/bin 目录中,可以使用 man git-crypt 来查看说明。

而对于 MacOS, 只需要安装 git-cryptgpg 即可:

brew install gpg
brew install git-crypt

usage

在 git 项目中加密敏感内容

配置加密工具 gpg

    # gpg --gen-key // 生成密钥(公钥和私钥),按照流程提示进行
    # gpg --list-keys // 列出当前所有的密钥,检查刚才的密钥是否生成成功

配置 git-crypt

    cd path/to/project
    git-crypt init          // 类似于 git init,安装 git-crypt 到项目中
    git-crypt add-gpg-user einverne    // 添加密钥用户,这里以我的用户 einverne 为例

添加配置文件 .gitattributes

    vi .gitattributes

格式为: * filter=git-crypt diff=git-crypt , 例如我要加密 config 文件夹的三个配置文件 , 则在 .gitattributes 文件内加入:

secretfile filter=git-crypt diff=git-crypt
*.key filter=git-crypt diff=git-crypt
secretdir/** filter=git-crypt diff=git-crypt

上传到 git

    # git rm -r --cached config/     // 清理 config 的 git 缓存
    # git add .
    # git commit -m 'git-crypt'
    # git push

导出密钥

# git-crypt export-key ~/Desktop/git-crypt-key

导出了密钥以后,就可以分发给有需要的团队内部人员。

当团队其他成员获取了代码以后,需要修改配置文件,需要先解密,解密动作只需要做一次,往后就不需要再进行解密了。

解密

# git-crypt unlock /path/to/git-crypt-key

总结

利用该方式进行配置文件管理可以保证安全性,只有团队内相关人员才能看到配置文件明文内容,解密只需要第一次进行,之后就没什么改变,直接改配置文件,git 提交会自动加密。


2019-11-17 git , git-crypt , beancount , gpg , opengpg , encryption

学习 Beancount 入门复式记账

很早就听闻了复式记账这个名词,但是一直在我的 TODO 上没来得及消化,记得当时主要是看了 wzyboybyvoid 二位的文章,我关注的不同的人选择同样的方式来做一件事情,肯定是有意义的。所以当时我就将复式计帐和 Beancount 放到了我的 Trello 待办事项里面,这几天终于有时间来了解一下了。

首先什么是复式记账,相对复式来说的记账法是单式记账,我之前一直在寻觅的记账软件 其实都是单式记帐,通过消费流水来记账,这种方式比较简单,只能够记录消费状况,其实对于自己财务的整体状况并不是很清楚,通过这样的记账方法最多只能统计到日常的消费状况,而无法回答诸如[[资产损益表]]、[[资产负债表]]等等个人帐务问题。并且对于信用卡消费还款这样的情况,单式记帐软件根本无法满足需求,而且如今个人的资金分散在支付宝,微信,银行卡,证券股票账户等等各种账户中,如果没有很好的管理,时间一长就非常难以追溯。就像 byvoid 在文章中所说的那样 —-“为什么要记账?实际上是要通过记录来增加对自我的认知。”

prerequisite

在继续看下去之前,有一些需要提前了解的概念:

  • assets(资产), what you own(cash, money in bank)
  • Liabilities(负债), what you owe(credit card account, money you owe your friends)
  • Equity (净资产)
  • Dividend (红利,股息),通过股票投资而获得的股息或红利

复式计帐

在了解复式计帐前有些名字概念需要提前了解,在提到复制记账额时候肯定会提到这一个恒等式:

debits and credits

也就是:

Assets (资产) = Liabilities (债务) + Equity(权益,或者叫净资产 net worth,或者抵押资产)

转换一下就更好理解,一个人的净资产等于资产减去负债。理解净资产后,在记账软件中我们可能会记入

  • 获得一笔收入,比如工资等等,这会增加净资产,这个被叫做 income
  • 买食物,买图书等等支出,这会减少净资产,则这个被称为 expense
  • 使用信用卡购物,则会增加相应的 Liabilities
  • 但是从银行取钱,或者存入定期则并不会增加净资产,也不会减少净资产

资产和债务字面意思都比较好理解,Equity 直接翻译叫做净资产,又有翻译叫做权益,也有一个更细节的公式:

Equity(权益,资产) = Owner's Equity(资产) - Dividends(应付红利) + Retained Earings(净收入)

也就是一个人的资产等于固有资产减去分红加上净收入。这里引入了一个 Dividends 的概念,这样的会计恒等式一般是针对公司主体而言的,所以应付红利则是表示公司对股东的分红。对个人债务而言很少会使用到 Dividends 这样的概念,所以简化一下,净收入又有:

Retained earings(净收益) = Revenue(收入) - Expense (支出)

这个公式就比较好理解了。

debits and credits equation

所以综上,得到了如上的公式,也就能总结出这几大账户,「其中有些公司记账相关的内容,比如 revenue,dividend,等这里就不提了」, 对于普通人大致可以总结出这几类:

  • 资产 Assets —— 现金 (Cash)、银行存款、有价证券、Investment, Loans credits 等;
  • 收入 Income —— 工资 (Paycheck)、奖金 (bonus)、Gift receives, Dividends, Interest 等;
  • 费用或者支出 Expenses —— 税金 (Taxes)、外出就餐、购物、旅行、Gift given、捐款 (Donations) 等;
  • 负债 Liabilities —— 抵押 (Mortgage)、信用卡应付款 (Credit Cards)、房贷 (house loans)、车贷 (car loans) 等;
  • 权益 Equity —— 一般用来记录已有资产;

而这几类的划分也正好和后面要用的 [[Beancount]] 中默认的几类账户是有关系的。

复式记账的优点

一般的流水帐是从资金角度出发,比如,某年某月某日某时某刻买了什么东西,而复式记账则能记录资产的流动:

  • 单式记账不考虑资金的来源,只记录消费支出
  • 复式记账会考虑资金的去向,和来源,比如资产从收入账户转移到银行账户,或者是从银行账户转移到股票账户
  • 复式记账可以将投资和消费区分开,甚至可以记录代金券,积分的账户
  • 复式记账适合比较复杂,比如有赊账,债权的情况
  • 复式记账可以提供除去开支记录之外的[[资产损益表]] (income statement),[[资产负债表]] (balance sheet),现金流量表,试算平衡表
  • 复式记账容易检查出记录中产生错误的地方

借贷记账法

复式记账又分为了借贷记账法,和正负记账法,这里先介绍一下借贷记账法。

借 (debits) 贷 (credits)

Debits 和 Credits 是经济交易中的双向流动:

  • Debits represent the flow of economic benefit to a destination
  • Credits represent the flow of economic benefit from a source

有借必有贷,借贷必相等

例子:

假如用现金购买了 100 元文具。

DEBIT(进) CREDIT(出)
文具 100 元

记账时需要分开记账

在文具账簿分类下

DEBIT CREDIT
2019-11-11 文具 100  

在现金账簿下:

DEBIT CREDIT
  2019-11-11 文具 100

又用信用卡 25000 购买了电脑:

工具分类下

DEBIT CREDIT
2019-11-11 电脑 信用卡 25000  

信用卡下:

DEBIT CREDIT
  2019-11-11 电脑 工具 25000

这是常见的 T 字记账法,左边表示 DR 表示增加,右侧是 CR 表示减少。

正负记账法

相较于借贷记账,正负记账则是用 +- 来分别代表流入和流出。非常相似。

假如用上面的例子,那就应该是:

2019-11-11 支出:文具  +100
2019-11-11 现金 	  -100

Why accounting?

更好的了解自己,认识自己的财务状况,这包括

  • 整理自己的账户 (Account),现金,股票账户,甚至虚拟货币账户
  • 整理自己过去所有别人欠的,和欠别人的,比如信用卡账单,贷款等
  • 了解自己能够支出的现金
  • 通过了解自己的财务状况来优化自己的消费,比如不应该在某些方面过度开销

Beancount

Beancount 是一款开源的复制记账软件,基于纯文本,按照特定语法书写的记账规则,可以非常轻松的生成各种资产报表。

A double-entry bookkeeping computer language that lets you define financial transaction records in a text file, read them in memory, generate a variety of reports from them, and provides a web interface.

源代码:http://furius.ca/beancount/

因为开源所以 Beancount 有无限的扩展性:

  • 支持货币转换
  • 支持编写脚本自动导入银行账单
  • 可以定制自己的 UI 界面
  • 有非常丰富的图表,甚至可以通过 SQL 生成报表

Beancount 用 Python 编写,可以从 Pypi 中拉取,同时可以安装 fava 一款比较友好的展示界面, Web UI:

pyenv local 3.6.1
python -m venv beancount
source beancount/bin/active
pip install beancount fava

安装完成后可以使用这些命令:

  • bean-bake
  • bean-check
  • bean-doctor
  • bean-example
  • bean-extract
  • bean-file
  • bean-format
  • bean-identify
  • bean-price
  • bean-query
  • bean-report
  • bean-sql
  • bean-web, Web server for Beancount ledgers. This uses the Bottle single-file micro web framework (with no plugins).

上手体验,使用 bean-example 输出样例:

bean-example > example.bean

然后使用 fava 展示:

fava example.bean

建议在安装体验完后,仔细阅读作者提供的文档.

beancount 具体语法和使用方式 byvoid 的这篇文章 已经非常清晰,也就不在这里提了。这里只简单记录一下我需要记住的一些语法单词。

账户操作语法,创立账户、备注账户、注销账户:

[yyyy-MM-dd] open Assets:Cash:CNY "CNY"
[yyyy-MM-dd] note Assets:Cash:CNY "现金"
[yyyy-MM-dd] close Assets:Cash:CNY

五种账户类型,Assets,Liabilities,Equity,Income,Expenses,分别对应资产、负债、权益、收入、支出。

账单语法:

[yyyy-MM-dd] [*|?] "payee" "content"
  [account1]          +[num] [currency-unit]
  [account2]          (-[num] [currency-unit])

支付宝账单

  • 支付宝账单,登录网页版查询
  • 银行账单
  • 其他账单可以使用这个工具 beancount-import

微信账单

微信账单可以通过如下方式导出,APP,通过“我”-“支付”-“钱包”-“账单”- 右上角“···”-“账单下载”。

导出的账单解压得到 csv,观察 csv 文件,前 16 行是账单信息,从第 17 行开始是真实有效的记录。包括了:

交易时间	交易类型	交易对方	商品	收 / 支	金额(元)	支付方式	当前状态	交易单号	商户单号	备注

处理交通银行信用卡

一种比较直观的方式就是从每个月发送的账单中,将网页的表格下载成 CSV 文件,然后使用自定的脚本批量的添加到 Beancount 中。

[[2021-02-02-beancount-introduction]]

我的管理方式

新建一个目录专门用来记录,该目录使用 git 来做版本管理,敏感内容使用 git-crypt 加密。

reference


2019-11-14 accounting , debits-and-credits , beancount , double-entry

电子书

本站提供服务

最近文章

  • VoceChat 一款可以自托管的在线聊天室 VoceChat 是一款使用 Rust(后端),React(前端),Flutter(移动端)开发的,开源,支持独立部署的在线聊天服务。VoceChat 非常轻量,后端服务只有 15MB 的大小,打包的 Docker 镜像文件也只有 61 MB,VoceChat 可部署在任何的服务器上。
  • 结合了 Google 和 AI 的对话搜索引擎:Perplexity AI 在日本,因为 SoftBank 和 Perplexity AI 开展了合作 ,所以最近大量的使用 Perplexity ,这一篇文章就总结一下 Perplexity 的优势和使用技巧。
  • 在阅读时借助 Yomichan 将日语单词一键保存到 Anki 我一直都有这样的需求就是将不认识的日语单词查询字典之后,立即自动存入 Anki,以便于复习。在学习日语之前,学习英语的时候也有类似的需求,虽然之前借助字典应用部分解决了这个需求,但是问题一直还存在,因为 Anki 毕竟还是比字典自带的背诵记忆要强大很多,并且可自定义的部分很多。
  • 通过 Mighty Networks 构建专属在线社区 Mighty Networks 是一个为创作者和品牌提供可以共创和发展社区的专业平台。创作者可以通过 Mighty Networks 维系粉丝,举办活动和在线直播课程。
  • 记一次磁盘日志满导致 Redis AOF 文件格式错误的问题 记录一次 VPS 被日志写满,VPS 重启后,导致 Redis 备份文件格式错误的问题。