ssh-copy-id 命令可以把本地主机的公钥复制到远程主机的 authorized_keys 文件上。authorized_keys 文件用来验证 client 。使用 ssh-copy-id 命令将本地公钥复制到远程主机之后可以实现免密登录远程主机。
ssh-copy-id 用来将本地公钥复制到远程主机。如果不传入 -i 参数，ssh-copy-id 使用默认 ~/.ssh/identity.pub 作为默认公钥。如果多次运行 ssh-copy-id ，该命令不会检查重复，会在远程主机中多次写入 authorized_keys 。
使用 ssh-copy-id 的主要功能就是免密码登录远程主机。成功运行该命令之后，就可以免去密码登录远程主机。
注意本地 ~/.ssh/id_rsa 的权限，chmod 400 ~/.ssh/id_rsa ，该文件包含用于授权的私钥，如果该文件可以被其他用户访问，ssh 会忽略该私钥。
ssh-copy-id [-i [identity_file]] [user@]machine
选项
-i：指定公钥文件
把本地的 ssh 公钥文件安装到远程主机对应的账户下：
ssh-copy-id user@server
ssh-copy-id -i ~/.ssh/id_rsa.pub user@server
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
Mac OS X 下使用 ssh-copy-id 可以使用这个 脚本。
今天查询Android在release下不显示Log信息，偶然间接触到 Timber 这个库。 Android 原生提供了很多调试 Log 的方法，但是如果想要在release情况下禁用所有调试信息，除非在原生 Log 外再嵌套实现一层自己的方法，或者使用 ProGuard 。Android 本身没有提供一种简单的方式实现，幸而有大神提供了这样的一个库。
Android 原生 Logcat 分成 v/d/i/w/e/wtf . 官方推荐的最佳实践就是定义一个 TAG 变量：
private static final String TAG = "EV_TAG_MyActivity";
然后过滤关键字就能找到对应的 Log 信息。大部分的情况下使用 Log.d 即可，但是各个方法都有其适用的情况：
去GitHub 找项目主页 Timber ，在 build.gradle 中加入：
compile 'com.jakewharton.timber:timber:4.1.2'
在 Application 下初始化 Timber
public class ExampleApp extends Application {
@Override public void onCreate() {
super.onCreate();
if (BuildConfig.DEBUG) {
Timber.plant(new DebugTree());
} else {
Timber.plant(new ReleaseTree());
}
}
}
调用 Timber.plant(new DebugTree()) 之后，再使用 Timber 的静态方法，则使用了 DebugTree 中设定。DebugTree 是 Timber 库中默认实现的。
Timber.plant(new Timber.DebugTree(){
@Override
protected String createStackElementTag(StackTraceElement element) {
return super.createStackElementTag(element) + ":" + element.getLineNumber();
}
});
重新实现 createStackElementTag 方法，可以在 Debug 下打印出 Log 所在的行号。
同Android提供的 Log 方法类似 Timber 也有 i/v/d/w/e/wtf 这些方法。 Timber 默认 TAG为文件名。当然可以使用 Timber.tag() 方法来设置一次性 tag 。
Timber.tag("LifeCycles");
Timber.d("Activity Created");
官方的使用教程其实只有两条：
但是 Timber 提供了更多的自定义。可以通过继承 Timber.Tree 来实现。
Timber 可以种树也可以移除一棵树，也可以移走全部的树：
先看看 Timber Tree 实现，这个类是一个抽象类，主要实现管理 TAG，并且提供各个 Log 方法的实现，类中有一个抽象方法
/**
* Write a log message to its destination. Called for all level-specific methods by default.
*
* @param priority Log level. See {@link Log} for constants.
* @param tag Explicit or inferred tag. May be {@code null}.
* @param message Formatted log message. May be {@code null}, but then {@code t} will not be.
* @param t Accompanying exceptions. May be {@code null}, but then {@code message} will not be.
*/
protected abstract void log(int priority, String tag, String message, Throwable t);
DebugTree 实现了 Timber.Tree ， 和 log(int priority, String tag, String message, Throwable t)方法。
@Override protected void log(int priority, String tag, String message, Throwable t) {
if (message.length() < MAX_LOG_LENGTH) {
if (priority == Log.ASSERT) {
Log.wtf(tag, message);
} else {
Log.println(priority, tag, message);
}
return;
}
// Split by line, then ensure each line can fit into Log's maximum length.
for (int i = 0, length = message.length(); i < length; i++) {
int newline = message.indexOf('\n', i);
newline = newline != -1 ? newline : length;
do {
int end = Math.min(newline, i + MAX_LOG_LENGTH);
String part = message.substring(i, end);
if (priority == Log.ASSERT) {
Log.wtf(tag, part);
} else {
Log.println(priority, tag, part);
}
i = end;
} while (i < newline);
}
}
基本上能看到是为了避免打印长度超出 Log 的最大长度而做的设置。
在给出来的 Demo 中，JakeWharton 实现了一个发布版本的 Tree，
private static class CrashReportingTree extends Timber.Tree {
@Override protected void log(int priority, String tag, String message, Throwable t) {
if (priority == Log.VERBOSE || priority == Log.DEBUG) {
return;
}
FakeCrashLibrary.log(priority, tag, message);
if (t != null) {
if (priority == Log.ERROR) {
FakeCrashLibrary.logError(t);
} else if (priority == Log.WARN) {
FakeCrashLibrary.logWarning(t);
}
}
}
}
通过优先级，在 release 下 VERBOSE 和 DEBUG 就不产生 Log 信息了。而 Error 和 WARN 就交给了 FakeCrashLibrary 去处理了。
更多的方法可以参考 文档 。
BeautifulSoup4 能够帮助我们从 HTML 或 XML 文件中提取数据
pip install beautifulsoup4
| 解析器 | 使用方法 | 优势 | 劣势 |
|---|---|---|---|
| Python 标准库 | BeautifulSoup(markup, “html.parser”) | Python 的内置标准库 执行速度适中 文档容错能力强 | Python 2.7.3 or 3.2.2) 前 的版本中文档容错能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup, “lxml”) | 速度快 文档容错能力强 | 需要安装 C 语言库 |
| lxml XML 解析器 | BeautifulSoup(markup, “xml”) | 速度快 | 需要安装 C 语言库 |
| html5lib | BeautifulSoup(markup, “html5lib”) | 最好的容错性 以浏览器的方式解析文档 生成 HTML5 格式的文档 | 速度慢 不依赖外部扩展 |
加载
from bs4 import BeautifulSoup
soup = BeautifulSoup(html)
Beautiful Soup 将复杂 HTML 文档转换成一个复杂的树形结构，每个节点都是 Python 对象，所有对象可以归纳为 4 种：
find_all() 方法和 select() 方法各有各的优劣，find_all 方法能支持正则，而 select 方法可以使用 CSS 属性选择器。
在 Tag 对象上调用 .string 会返回 NavigableString 类型对象，而 .text 会获取所有子节点内容的组合，.text 返回的是 Unicode 对象。
对于
<td>Some Table Data</td>
<td></td>
在第二个 <td> 标签中 .string 会返回 None，而 .text 会返回空的 unicode 对象
对于 .string
而对于 .text 则简单很多，会返回子标签及所有文本的级联。
比如
<td>some text</td>
<td></td>
<td><p>more text</p></td>
<td>even <p>more text</p></td>
.string 会返回
some text
None
more text
None
.text 会返回
some text
more text
even more text
BeautifulSoup 支持很多种 HTML 解析器，包括 Python 自带标准库，还有其他 lxml 等等第三方模块。
| 解析器 | 使用方法 | 优点 | 缺点 |
|---|---|---|---|
| html.parser | BeautifulSoup(markup,”html.parser”) | Python 标准库，速度快，兼容性好（2.7.x 和 3.2.x) | 无法在 2.7.3 之前和 3.2.2 之前版本使用 |
| lxml | BeautifulSoup(markup, “lxml”) | 速度快，兼容性好 | 外部依赖 |
| lxml’s XML | BeautifulSoup(markup, ‘lxml-xml’) 或者 ‘xml’ | 速度快，支持 XML | 外部依赖 |
| html5lib | BeautifulSoup(markup, ‘html5lib’) | 兼容性好，HTML5 合法 | 速度慢，外部依赖 |
个人一般使用 html.parser 但是如果遇到不兼容版本，那也只能 pip install lxml 然后使用了。
在类 Unix 系统中可以使用 top/htop 查看系统资源、进程、内存占用等信息。查看网络状态可以使用 netstat、nmap 等工具。若要查看实时的网络流量，监控 TCP/IP 连接等，则可以使用 iftop。
iftop 是类似于 top 的实时流量监控工具。
官方网站：http://www.ex-parrot.com/~pdw/iftop/
iftop 可以用来监控网卡的实时流量（可以指定网段）、反向解析 IP、显示端口信息等。
apt-get install iftop
或者使用源码编译安装
Debian 上安装所需依赖包：
apt-get install flex byacc libpcap0.8 libncurses5
下载 iftop
wget http://www.ex-parrot.com/pdw/iftop/download/iftop-0.17.tar.gz
tar zxvf iftop-0.17.tar.gz
cd iftop-0.17
./configure
make && make install
常用的参数：
-i 设定监测的网卡，如：# iftop -i eth1
-B 以 bytes 为单位显示流量（默认是 bits)，如：# iftop -B
-n 使 host 信息默认直接都显示 IP，如：# iftop -n
-N 使端口信息默认直接都显示端口号，如：# iftop -N
-F 显示特定网段的进出流量，如# iftop -F 10.10.1.0/24 或# iftop -F 10.10.1.0/255.255.255.0
-h（display this message），帮助，显示参数信息
-p 使用这个参数后，中间的列表显示的本地主机信息，出现了本机以外的 IP 信息；
-b 使流量图形条默认就显示；
-f 这个暂时还不太会用，过滤计算包用的；
-P 使 host 信息及端口信息默认就都显示；
-m 设置界面最上边的刻度的最大值，刻度分五个大段显示，例：# iftop -m 100M
交互快捷键，进入 iftop 画面后的一些操作命令（注意大小写）
按 h 切换是否显示帮助；
按 n 切换显示本机的 IP 或主机名；
按 s 切换是否显示本机的 host 信息；
按 d 切换是否显示远端目标主机的 host 信息；
按 t 切换显示格式为 2 行 /1 行 / 只显示发送流量 / 只显示接收流量；
按 N 切换显示端口号或端口服务名称；
按 S 切换是否显示本机的端口信息；
按 D 切换是否显示远端目标主机的端口信息；
按 p 切换是否显示端口信息；
按 P 切换暂停 / 继续显示；
按 b 切换是否显示平均流量图形条；
按 B 切换计算 2 秒或 10 秒或 40 秒内的平均流量；
按 T 切换是否显示每个连接的总流量；
按 l 打开屏幕过滤功能，输入要过滤的字符，比如 ip, 按回车后，屏幕就只显示这个 IP 相关的流量信息；
按 L 切换显示画面上边的刻度；刻度不同，流量图形条会有变化；
按 j 或按 k 可以向上或向下滚动屏幕显示的连接记录；
按 1 或 2 或 3 可以根据右侧显示的三列流量数据进行排序；
按 `<` 根据左边的本机名或 IP 排序；
按 `>` 根据远端目标主机的主机名或 IP 排序；
按 o 切换是否固定只显示当前的连接；
按 f 可以编辑过滤代码
按！可以使用 shell 命令
按 q 退出监控。
直接运行：
sudo iftop
界面上面显示的是类似刻度尺的刻度范围，为显示流量图形的长条作标尺用的。
中间的<= =>这两个左右箭头，表示的是流量的方向。需要注意的是默认情况下显示的单位是 bit/s
iftop 到目前时间的总流量先使用 ifconfig 查看当前机器网卡，然后使用 -i 参数
iftop -i eth0
为了可读性，可以使用 -B 来以 MB mega byte 字节来显示流量：
sudo iftop -B
Gradle 的核心是基于 Groovy 的 领域特定语言 (DSL)，目的是为了代替 XML 繁多的构建工具。
可以使用这个 PPA
sudo add-apt-repository ppa:cwchien/gradle
sudo apt-get update
sudo apt install gradle
或者根据官网的教程 手动安装。
整理 Evernote 笔记的时候偶然看到这篇文章，总结自己使用 Kindle 一年来的小小经验，以及一些 Tips。
这个功能非常实用，不然能够节省连接数据线的时间，更重要的是这个活用这个邮箱能够自动化完成很多事情，可是遗憾的事，很多人并不知道这个福利。所以建议在拿到手之后的第一件事情就是查看这个邮箱，设置中 Send-to-KindleE-mail 中查看。
Kindle 可以享受的两个最容易被忽略的功能是：
在线文档格式转换，支持格式包括
如果有 WiFi 或 3G 的话，注册 Kindle 可以在 Kindle 设备上完成，打开 WiFi（Home-> Menu -> Turn Wireless On），然后在 Home -> Menu -> Settings-> Registration 中，按照提示完成即可。没有 WiFi 或 3G 的话，则享受不了这两个服务。
要使用这两个服务，需要两步。首先，要知道自己的 Kindle 邮件地址（姓名 @kindle.com），可以在 Home-> Menu-> Settings 的第二页里看到，在 Send-to-Kindle E-mail 选项里面。但是，为了保护用户的私有空间不被别人用垃圾填满，亚马逊还要求使用已经被用户许可的邮箱地址发往此邮箱，否则就会拒绝接收。许可邮箱的方法是：
完成以上操作后，就可以享受这两个服务了，使用添加到许可列表的邮箱，以附件形式发送文档到自己的 Kindle 邮件地址（name@kindle.com），就可以把文档存储到云端。Kindle 在线时就会自动下载云端文件。如果想将文档转换为 Kindle 内置格式（mobi），需要在邮件标题内注明 convert（即邮件标题写“convert”即可），亚马逊就会为您转换为 Kindle 内置文档格式并发送到你的 Kindle 设备，阅读非常方便，转换过程可能会比较慢。
单击左侧导航栏内的 Personal Documents 可以管理云端文件。
使用过程中，读书最重要的就是记录了，阅读永远是别人的东西，如果没有经过大脑转变成自己的内容，那永远只是存在书本上。而 Kindle 上做笔记也是非常容易的，并且数字化让一切都能够被检索并标注，Kindle 让这个过程更加方便了。在 Kindle 中长按文字选中之后会弹出标注，笔记等几个选项，而所有这些操作的内容都会被保存到 Kindle 设备上”documents”里名叫“My Clippings.txt” 的文件中。这个文件以一定的格式记录所有的笔记内容，直接查看非常不方便，于是就有人做了这样的一个工具。
将笔记，标注导出的网站。从 Kindle 中找到 clippings 文件之后上传到该网站，就能够非常直观的查看所有笔记。
因为我使用的是美亚账号，自动出现的特惠信息大多数是我并不关心的，因此
> 设置 -> 设备选项 -> 个性化您的 Kindle -> 高级选项 -> 特惠
关闭即可。如果无法关闭，我记得当时我就是联系了亚马逊客服才关闭的：
联系亚马逊客服：https://www.amazon.cn/gp/help/customer/contact-us
正常情况下经过一段时间，Kindle 会自动锁屏，锁屏默认情况下是一些 Kindle 书店的推广，如果要禁止自动锁屏，可以在搜索框中输入
~ds
是 disable screensaver 的缩写。这个操作在重启之后就会失效。
Kindle 不能连接 WiFi 的三个原因，虽然在没办法的情况下以下三个方法或许有用，但是大部分的情况其实就是 GFW 屏蔽了 Kindle 联网验证的地址，其实和 Android 在检测 WiFi 时屏蔽了 Google 服务器出现的感叹号一样，系统向一个 URL 请求，没有收到回复自然认为没有成功连接到互联网，于是就报错，所以在尝试以下三种方式之前，请确保翻墙状态。
这个问题实际上手机也有。有一阵子我手机也连不上我哥家的 WiFi，后来通过网络搜索才知道频段问题。那时候是说频段超过 11 手机就无法连接 WiFi，后来我把频段改小之后就解决问题了。而一般能用手机连接 WiFi，Kindle 不能连接的一般不会是这个问题。
如何改变频段，Google 之。基本现在这个年代，看一下无线路由器的说明书就会设置的。
技术资料见：
http://en.wikipedia.org/wiki/List_of_WLAN_channels
In the USA, 802.11 operation in the channels 12 and 13 is actually allowed under low powered conditions. The 2.4 GHz Part 15 band in the US allows spread-spectrum operation as long as the 50-dB bandwidth of the signal is within the range of 2400–2483.5 MHz which wholly encompasses both channels 12 and 13. A Federal Communications Commission (FCC) document clarifies that only channel 14 is forbidden and furthermore low-power transmitters with low-gain antennas may legally operate in channels 12 and 13.However, channels 12 and 13 are not normally used in order to avoid any potential interference in the adjacent restricted frequency band, 2483.5–2500 MHz, which is subject to strict emission limits set out in 47 CFR §15.205.
问题也许就是这样产生的：你笔记本所能搜到的 WIFI 信号来自正工作于 12/13/14 频段的路由器，因此你的 Kindle 搜不到无线信号。
为什么路由器工作于 12/13/14 频段呢？基于抗干扰的理由，人为指定的可能性很小，然而在无线路由器的设置中（至少是家用），频段这一项可以设为“自动选择”，这样每次路由器重启都回按照自己的算法随意选择一个频段，也许刚好就选在了“12/13/14”上。
这或许也是 WIFI 连网不稳定现象的根源，某些 Kindle 连不上无线网络，而折腾下路由器重启后，Kindle 又可以连网了。
经 GOOGLE 搜索，发现欧洲人也有类似的问题。见 http://www.mobileread.com/forums/showthread.php?t=100081
由此对 Kindle 连网问题做个小小的推测，如果真的能解决问题，请大家多转给需要的人
听闻 DHCP 服务器是让路由器可以自动分配 ip 的东西，但是把地址池『个人理解为分配的 ip 的范围』如果在 192.168.1.100 以上，Kindle 就不能连接 WiFi『当然这是 Kindle 的问题，因为手机电脑都可以连接的，不过我不知道 Kindle 自身要怎么改，或许不能改，又或许可以通过在 Kindle 上设置静态 IP？]
其实解决这个问题有个更方便的方法，既然 Kindle 改不了，咱们就改下路由器的 DHCP 服务器地址池呗，把开始地址改为 192.168.1.2，结束地址改成 192.168.1.99『其实也不用固定这样，只要最后一个在 1-100 之间就可以了！
前两个问题我都解决后，我发现还是有时候会连接不上 WiFi，于是在又查了查，发现了一个方法，为什么这个方法能解决我不知道为什么，但是真的有效！！！
在 pc 上新建一个新文件，名为WiFi_NO_NET_PROBE，同时把后缀名删掉，让它变成一个无格式文件。Kindle 连接 pc，把新建的文件放进 kindke 的根目录，断开 Kindle 之后重启 Kindle。
充电方法：Kindle 可以用数据线连接电脑充电。也可以用数据线连接充电头，在插座上充电。Kindle 电量不足时，灯是橙黄色的，充满以后灯会变成绿色。
充电时长：每次充电时间大约是 2-3 小时。首次充电充满即可，不需要充很长时间，有人充了一个晚上，十几个小时，然后就不能开机了，送修说主板电路烧了。平时使用时 Kindle 还剩差不多百分之二十的时候开始充电，对 Kindle 最好。因为 Kindle 很长时间不用不充电，可能会出现缺电现象，造成机器假死。充电的时候最好不要看书，不要使用 kindle，不然 kindle 电池不耐用。
Kindle 自定义字体仅支持 OpenType（OTF）和 TrueType（TTF）这两种字体格式
字体文件复制到 Kindle 根目录下的“fonts”文件夹中
个人比较喜欢的一些用于阅读的字体，汉字作为方块字还是非常有美感的，通常情况下会选择楷书（在默认无法更换字体的情况下），而如果支持更换字体则会选择方正北魏楷书，而如果是宋体的话会选择，方正标雅宋体。
Kindle 的字典一般都是 mobi 格式，需要注意。至于字典看个人喜好，这可以单独写另外一篇文章了，我个人一般用牛津和朗文，加上一部 GitHub 开源的收录词条很多的开源字典。
Kindle 字典下载到电脑本地后，导入 Kindle 字典的详细步骤：
Kindle 的截屏方法，不同 Kindle 不同，我只有 Paperwhite，所以：Kindle Paperwhite 截屏：先点上面出菜单，再同时左上 + 右下。屏幕会闪烁一下，说明截图成功。
截下来的图片会保持在 documents 这个文件夹里面，可以连接电脑拷贝出来。
以下未验证： Kindle3、Kindle DXG，截屏是同时按住：Alt+Shift+G。屏幕会闪一下，截屏就成功了。 Kindle4、Kindle5 截屏：同时按住键盘键和菜单键，屏幕会闪一下，截屏就成功了。 Kindle touch 截屏：按住 home 键，点屏幕，等几秒，反正 5 秒肯定可以了，松开 Home。
mobi 和 azw 格式的推手主要是 Amazon，这两种电子书格式的发展很大程度上依靠 Amazon 这个巨大的内容提供商及其电子书阅读器 Kindle 的流行普及。它们同属亚马逊的私有格式，没有本质的区别，可以简单的这样理解，mobi 是比较老的一种格式，而 azw 只是 mobi 的另一种形式而已，也可以理解为 mobi 加了个壳，亚马逊利用它对电子书做 DRM 版权保护。
目前市面上的 mobi 文件大部分是来自两种途径：epub、pdf 或者 txt 转换成的 mobi，从 Amazon 商店流出来的 mobi。前者没什么好说的，后者要么是 Amazon 官方制作，要么就是自出版作者通过 KDP (Kindle Direct Publishing，作者可以绕过出版社直接在 Amazon 上发售电子书 ) 平台发布，通过 KDP 平台发布时，作者只需要上传 Word 文档，其他的事情也是 Amazon 官方来做，从而保证了，mobi 文件的规范程度。
azw3 的本质是 KF8，是随着 2011 年 Amazon 推出 Kindle Fire 平板时一起推出的。它填补了 Mobi 对于复杂排版支持的缺陷，支持很多 HTML5（目前尚不支持 HTML5 的视频和音频标签）和 CSS3 的语法，这就大大改善了原来 mobi 或 azw 内容排版上的一些缺陷，单纯从读者的角度来讲，是不输 epub 格式的。目前从 Amazon 购买的书，大部分已经是 azw3 格式了，而以前主流的 mobi 格式则越来越少，它正逐渐取代 mobi 成为 Kindle 电子书的主流格式。
下面是维基百科对 epub 的一段定义：
EPUB（Electronic Publication 的缩写，电子出版）是一种电子图书标准，由国际数字出版论坛（IDPF）提出；其中包括 3 种文件格式标准（文件的附文件名为.epub），这个格式已取代了先前的 Open eBook 开放电子书标准。
epub 格式对于复杂的排版，图表，公式等元素的兼容性比 mobi 格式好很多，在脚本，公式，矢量图形的支持方面也强过 mobi 格式，现阶段 epub 格式的优势体现在图文混排、图片嵌入字体等，未来可预测的优势是 epub 格式对于声音，影像等多媒体内容互动的支持上。
epub 格式是开放标准，所以在开发工具上也会有更大的选择，像 Sigil、Calibre、Jutoh 等软件都可以让用户自助制作 epub 格式电子书，但因为良莠不齐的制作也导致一个问题：大量的 epub 文件其实是不符合标准，无法保证在所有支持 epub 的硬件和软件上都可以顺利阅读，这就和 iOS 系统和 Android 系统的区别有些相似。
Kindle 使用官方市场必然是件很不错的选择，但是其实有些方式来的更加方便，并且也能弥补官方市场书记不全的弊端。
微信书籍推送：Kindle10000 注：该微信号已经不再能够推送书籍
自用上这个服务，Kindle 就活了起来，想起想看的书名，找到公众号，搜索推送，即使 Kindle 不在身边，下一次联网再同步即可。这个公众号在他们的简洁上这么写着：“一个被书籍改变命运的程序员领着志愿者做的免费项目”。而他的使用也非常简单，绑定 Kindle 邮箱之后，在聊天框输入书名查找，然后找到想要的书，点一下推送搞定，资源丰富。这个比我之前在一些 Kindle 资源网站上找或者百度搜方便多了。
Kindle 伴侣，这是我至今也还一直订阅的少数 Kindle 相关网站之一，它的《每周一书》坚持更新也是很值得称赞的。
Kindle 饭，有很多 Kindle 使用的文章，技巧，相关工具，很棒的网站，建议订阅。
160604 更新，这个网站竟然不存在了，我只能从 Web Archive 找找他们存在的痕迹，但真的感谢他们曾经的文字。
地址：http://www.ireadweek.com/index.php/Index/index.html
都是百度网盘的资源
推送漫画到 Kindle，还是非常全的
一下都是一些资源网站：
如果使用 InoReader 可以订阅下面我制作的 bundle ， 我订阅了一些 Kindle 相关的文章。
地址：http://www.inoreader.com/bundle/0014cd6370e9
其他的地址我以后会在这篇文章 中更新。
The Spring Framework provides abstractions for asynchronous execution and scheduling of tasks with the TaskExecutor and TaskScheduler interfaces, respectively.
Spring’s TaskExecutor interface is identical to the java.util.concurrent.Executor interface.
接口 ExecutorService 的几个常用方法：
Spring 提供了一系列的预置的 TaskExecutor 的实现，几乎能满足日常的所有需求。
SimpleAsyncTaskExecutor 不复用任何线程，每次调用都新建线程。但是它提供并发数量限制，当调用超过限制时，会阻塞直到线程池中有空余。SyncTaskExecutor 非异步执行，没有实现异步调用，主要用于简单的测试等等不需要多线程的场景ConcurrentTaskExecutor 该类适配了 java.util.concurrent.Executor，只有在 ThreadPoolTaskExecutor 满足不了需求时才考虑用这个类。SimpleThreadPoolTaskExecutor 这个类的实现实际上是 Quartz 的 SimpleThreadPool，它会监听 Spring 生命周期的回调。典型的使用场景是当你需要一个线程池需要和 Quartz 和 non-Quartz 组件共享ThreadPoolTaskExecutor 最常用的线程池，它在 java.util.concurrent.ThreadPoolExecutor 的基础上暴露了一些 bean 的配置，并把它包装在 TaskExecutor 中。如果你要适配 java.util.concurrent.Executor，推荐可以自定义 ConcurrentTaskExecutor。WorkManagerTaskExecutor This implementation uses the CommonJ WorkManager as its backing implementation and is the central convenience class for setting up a CommonJ WorkManager reference in a Spring context. Similar to the SimpleThreadPoolTaskExecutor, this class implements the WorkManager interface and therefore can be used directly as a WorkManager as well.Spring 线程池 ThreadPoolTaskExecutor 通过 XML 方式配置：
<bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
<!-- 线程池维护线程的最少数量 -->
<property name="corePoolSize" value="5" />
<!-- 允许的空闲时间 -->
<property name="keepAliveSeconds" value="200" />
<!-- 线程池维护线程的最大数量 -->
<property name="maxPoolSize" value="10" />
<!-- 缓存队列 -->
<property name="queueCapacity" value="20" />
<!-- 线程名前缀 -->
<property name="threadNamePrefix" value="taskExecutor-thread-"/>
<!-- 对拒绝 task 的处理策略 -->
<property name="rejectedExecutionHandler">
<bean class="java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy" />
</property>
</bean>
属性字段说明：
corePoolSize：核心线程数，线程池维护的最少线程数，不管创建后空闲与否，除非设置了 allowCoreThreadTimeOutmaxPoolSize：线程池维护线程的最大数量keepAliveSeconds：存活时间，允许的空闲时间，如果经过 keepAliveTime 时间后，超过核心线程数的线程还没有接受到新的任务，那就回收queueCapacity：缓存队列rejectedExecutionHandler：对拒绝 task 的处理策略
将任务添加到线程池时：
corePoolSize，即使线程池中的线程都处于空闲状态，也要创建新的线程来处理被添加的任务。corePoolSize，但是缓冲队列 workQueue 未满，那么任务被放入缓冲队列。corePoolSize，缓冲队列 workQueue 满，并且线程池中的数量小于 maxPoolSize，建新的线程来处理被添加的任务。corePoolSize，缓冲队列 workQueue 满，并且线程池中的数量等于 maxPoolSize，那么通过 handler 所指定的策略来处理此任务。也就是：处理任务的优先级为：核心线程 corePoolSize、任务队列 workQueue、最大线程 maxPoolSize，如果三者都满了，使用 handler 处理被拒绝的任务。corePoolSize 时，如果某线程空闲时间超过 keepAliveTime，线程将被终止。这样，线程池可以动态的调整池中的线程数。SimpleAsyncTaskExecutor 每次都会 newThread()
protected void doExecute(Runnable task) {
Thread thread = (this.threadFactory != null ? this.threadFactory.newThread(task) : createThread(task));
thread.start();
}
SyncTaskExecutor 在 spring-core-xxx.jar 包中。
SyncTaskExecutor 同步执行
@Override
public void execute(Runnable task) {
Assert.notNull(task, "Runnable must not be null");
task.run();
}
ConcurrentTaskExecutor 类在 spring-context-xxx.jar 包中。
ConcurrentTaskExecutor 类中通过 TaskExecutorAdapter 适配了 Executor
private Executor concurrentExecutor;
private TaskExecutorAdapter adaptedExecutor;
提交任务时直接通过 adapter 来提交：
public void execute(Runnable task, long startTimeout) {
this.adaptedExecutor.execute(task, startTimeout);
}
@Override
public Future<?> submit(Runnable task) {
return this.adaptedExecutor.submit(task);
}
@Override
public <T> Future<T> submit(Callable<T> task) {
return this.adaptedExecutor.submit(task);
}
SimpleThreadPoolTaskExecutor 类在 spring-context-support-xxx.jar 包中。
SimpleThreadPoolTaskExecutor 继承了 Quartz 的 SimpleThreadPool,
@Override
public <T> Future<T> submit(Callable<T> task) {
FutureTask<T> future = new FutureTask<T>(task);
execute(future);
return future;
}
数组实现的有长度限制的阻塞队列，FIFO 先进先出。
链表组成的有界队列，FIFO，默认长度是 Integer.MAX_VALUE，如果默认创建该队列一定特别小心容量问题。
优先级排序的无界队列，默认自然序，可自定义实现 compareTo() 方法来定义排序规则（不能保证同优先级的顺序）。
使用 PriorityBlockingQueue 实现的延迟无界队列，创建元素时，可以指定延迟时间。
不存储元素的阻塞队列，每一个 put 操作都需要等待 take。
链表组成的无界阻塞队列，多了 transfer 和 tryTransfer 方法。
链表组成的双向阻塞队列，头部和尾部都可以添加或移除元素，多线程并发时可以将锁的竞争降一半。
对于如何设置线程池中线程的数量，《Java 并发编程实战》中作者给出了一个公式：
Number of threads = Number of Available Cores * (1 + Wait time / Service time)
说明：
wait time / service time 这个比率又被称为 blocking coefficient。
对于 CPU 密集型任务，核心线程数可以设置为，CPU 核心数 + 1，在计算密集型的任务中，blocking coefficient 接近于 0，所以线程数约等于 CPU 核心数。但为什么要 +1 呢？
《Java 并发编程实战》一书中给出的原因是：即使当计算（CPU）密集型的线程偶尔由于页缺失故障或者其他原因而暂停时，这个“额外”的线程也能确保 CPU 的时钟周期不会被浪费。
在运行时可以通过 Runtime.availableProcessors 来获取 CPU 核心数。
int numOfCores = Runtime.getRuntime().availableProcessors();
如果任务是 IO 密集型，则可以适量的调大核心线程数，因为这个时候 wait time / service time 就会响应的增大。
假如有一个工作线程来响应一个微服务，序列化一个 JSON，并执行一些规则。微服务的响应时间是 50ms，处理时间是 5ms，然后将应用部署到一台双核处理器的机器上，那么根据上面的公式：
2 * ( 1 + 50 / 5) = 22 // 理想的线程池核心线程数
这个例子是一个极端简单的举例，除去 HTTP 线程池外，应用也还有可能有 JDBC 连接线程池，JMS 请求线程池等等。如果现实应用中也遇到各种不同的场景，可以针对不同的场景，使用多个线程池，然后针对不同的使用场景进行调优。
假使有多个线程池，可以在公式中新增一个 Target CPU utilization，取值范围是 [0-1]， 1 表示线程池会充分利用处理器。
Number of threads = Number of Available Cores * Target CPU utilization * (1 + Wait time / Service time)
通过上面的解释，可以得到一个理想的核心线程数，可以得到一个理论上的核心数上限。但是我们如何知道并发的线程数如何影响延迟 (latency) 和吞吐量 (throughput)？
Little’s law 可以同来回答这个问题。这条定律认为，系统中的请求数等于它们到达的速度乘以处理单个请求所需的平均时间。我们可以利用该公式来计算需要多少并发线程来处理给定吞吐量并且要求延迟的场景。
L = λ * W
L - 并发处理的请求数
λ – 长期的平均到达率 long-term average arrival rate (RPS)
W – 处理单个请求的平均时间 the average time to handle the request (latency)
使用该公式，可以计算出系统的容量，需要多少实例同时运行才可以处理给定数量的请求，以及让处理的时间在一个稳定的范围。
回到上面的例子，我们有一个服务平均处理时间是 55ms，50ms wait time 和 5ms service time，核心线程数是 22 。
应用 Little’s Law 公式：
22 / 0.055 = 400 // the number of requests per second our service can handle with a stable response time
上面提到的公式并不是银弹 (silver bullet) ，并不能解决所有遇到的问题。这个公式的问题在于，它注重于系统平均能够处理的请求数，所以并不适合于不同场景爆发式的流量情况。所以可以在设计系统时通过上面的公式计算出一个初始的设定，然后通过压测来调整。
BeanPostProcessor 接口允许在 Spring Bean Factory 返回 Bean instance 时修改 Bean 的创建过程。这是影响 Bean 生命周期的一部分。
接口有两个方法：
public interface BeanPostProcessor {
@Nullable
default Object postProcessBeforeInitialization(Object bean, String beanName) throws BeansException {
return bean;
}
@Nullable
default Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {
return bean;
}
}
要了解 BeanPostProcessor 接口就不得不提及 Bean 的生命周期。
Two groups:
Life cycle:
Bean is ready to use ![[202101151422-how to become smarter]] Container is shutdown:
Spring 提供了这些方法可以在生命周期过程中回调。
*Aware 接口init() 和 distroy() 方法@PostConstruct 和 @PreDestroy大致这样：
import org.springframework.beans.factory.DisposableBean;
import org.springframework.beans.factory.InitializingBean;
public class DemoBean implements InitializingBean, DisposableBean
{
//Other bean attributes and methods
@Override
public void afterPropertiesSet() throws Exception
{
//Bean initialization code
}
@Override
public void destroy() throws Exception
{
//Bean destruction code
}
}
定义单个 Bean:
<beans>
<bean id="demoBean" class="info.einverne.deme.DemoBean"
init-method="customInit"
destroy-method="customDestroy"></bean>
</beans>
全局定义：
<beans default-init-method="customInit" default-destroy-method="customDestroy">
<bean id="demoBean" class="info.einverne.demo.DemoBean"></bean>
</beans>
@Slf4j
@Component
public class CustomBeanPostProcessor implements BeanPostProcessor {
@Override
public Object postProcessBeforeInitialization(Object bean, String beanName) throws BeansException {
log.info("BeanPostProcessor postProcessBeforeInitialization for:" + beanName);
return bean;
}
@Override
public Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {
log.info("BeanPostProcessor postProcessAfterInitialization for:gg" + beanName);
return bean;
}
}
之前的文章使用 gunicorn 来部署 webpy 中简单的提到了 gunicorn 的使用。这篇文章就在官方文档的基础上学习下 gunicorn 的其他更多的用法。
基本的安装和参数就跳过了，这边讲下文档中很有用却不是常用的一些选项，如果要看基础使用可以去看之前的文章
我们知道 gunicorn 能够直接使用命令行来启动，常见的参数
gunicorn -w 2 -b 0.0.0.0:5000 app:app --log-level info --access-logfile logfile.log --log-file error.log
当这样一路写下去就知道命令行非常难管理，所以 gunicorn 能够使用 config 文件来管理
gunicorn -c config.py app:app
这样就简单很多了。至于 config.py 文件格式如何，保证是一个 python 格式的文件，语法没有太大问题即可
import multiprocessing
bind = "127.0.0.1:8000"
workers = multiprocessing.cpu_count() * 2 + 1
backlog = 2048 # int 范围在 64-2048 pending 的链接最大数
worker_class = 'gevent'
debug = True
pidfile = '/tmp/home.pid'
loglevel = 'info'
logfile = '/var/log/gunicorn/gun_debug.log'
其他的全部配置可以在 setting 中找到。
gunicorn 的设计，官方这篇说明清楚的解释了 同步 worker 和 异步 worker 的区别，如果你的应用程序接口有大量的 IO 操作推荐使用 异步 worker。
首先要知道 master worker 的 pid 发送 -HUP 信号
kill -HUP masterpid
如何测试性能，可以使用 hey，下面的命令发送了 10000 个请求，其中 100 是并发量。
hey -n 10000 -c 100 http://127.0.0.1:5000/
官方 PyPI 源的 URL 为 https://pypi.org/simple
pip 临时换用国内的镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
或者设为默认：
pip install pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
或者修改配置文件：
vi ~/.config/pip/pip.conf
设为：
[global]
timeout = 60
index-url = https://pypi.tuna.tsinghua.edu.cn/simple