每天学习一个命令：zgrep 不解压过滤压缩包中文本

Linux 下按照正则过滤文本的命令 grep 非常强大，grep 能够把正则匹配的行打印出来。而 zgrep 则能够对压缩包内容进行正则匹配。zgrep 全称是 search compressed files for a regular expression grep 的命令格式是 grep [option] pattern files 他的工作方式是，在一个或者多个文件中根据正则搜索匹配内容，将搜索的结果输出到标准输出，不更改源文件内容。 grep 常用的一些选项 -i 忽略字符大小写区别 -v 显示不包含正则的所有行关于更 Read more ...

2017-11-20 linux , grep , regex , gz

每天学习一个命令：jhead 操作照片 EXIF

jhead 是一个可以查看，修改照片 EXIF 信息的命令行工具，没有 GUI。 jhead 可以查看： Time and date picture was taken Camera make and model Integral low-res Exif thumbnail Shutter speed Camera F-stop number Flash used (yes/no) Distance camera was focused at Focal length and calculate 35 mm equ Read more ...

2017-11-20 linux , photo , exif , DSLR , camera

Vim 行选择复制和移动

在熟悉 Vim 基本的 yy (yank current line) 和 p (paste) 的操作前提下，如果现在 Vim 中批量的移动某一些行，或者批量的复制从第 50 行到100 行到第200行后面，以我们之前的知识，可以先跳转到第 50 行 (:50)，然后进入行选择模式 (V) ，往下选择 50 行 (50j)，然后再对选中的 50 行进行复制操作 (y)，然后再移动到 200 行 (:200) 粘贴 (p)。计算一下，从选择到复制，上面的操作可以划分为 5 个步骤，需要敲击 :50V50jy:200p ，当然上面的例子只是一个极端的例子 Read more ...

2017-11-19 vim , linux , copy

精通正则表达式第三版读书笔记

这是《精通正则表达式》第 3 版的读书笔记。技术图书的主要使命是传播专业知识，专业知识分为框架性知识和具体知识。框架性知识需要通过系统的阅读和学习掌握，而大量的具体知识，则主要通过日常生活的积累以及随用随查的学习来填充。完整的正则表达式由两种字符构成，特殊字符，元字符，另外一种就是普通文本字符。完整的正则表达式由小的构建模块单元 building block unit 构成，每个单元都很简单，不过他们能够以无穷多种方式组合，所以可以提供无限的可能。字符组匹配若干字符之一，使用中括号 [ea] 匹配 a 或者 e gr[ae]y Read more ...

2017-11-17 regex , java

每天学习一个命令: mtr 查看路由网络连通性

常用的 ping，tracert，nslookup 一般用来判断主机的网络连通性，其实 Linux 下有一个更好用的网络联通性判断工具，它可以结合ping nslookup tracert 来判断网络的相关特性，这个命令就是 mtr。mtr 全称 my traceroute，是一个把 ping 和 traceroute 合并到一个程序的网络诊断工具。 traceroute 默认使用 UDP 数据包探测，而 mtr 默认使用ICMP报文探测，ICMP在某些路由节点的优先级要比其他数据包低，所以测试得到的数据可能低于实际情况。安装 Debian/Ubu Read more ...

2017-11-14 linux , network , mtr , ping , tracert , command

Instagram 的两种ID

Instagram 的 ID 生成策略是经过精心设计过的。1 每一秒 Instagram 都会收到无数用户上传的照片，在内部使用 [[PostgreSQL]] 分片存储到不同的服务器上。这就产生了一个问题，要设计一个唯一 ID 生成方法用来标记系统中发布的每一张图片。系统唯一 ID 需要满足如下条件： ID 应该是时间有序的，一组照片 ID 列表不再需要外部信息就可以排序（UUID 就不合适，因为完全无序） ID 最好是 64bit ，可以节省存储空间，索引也可以更小，也方便存储到 Redis 这样的系统中系统应该尽可能少引入外 Read more ...

2017-11-13 id , instagram , decode , reverse

每天学习一个命令：iperf 测量带宽

iperf 命令是一个网络性能测试工具。iperf 可以测试 TCP 和 UDP 带宽质量。iperf 可以测量最大 TCP 带宽，具有多种参数和 UDP 特性。iperf 可以报告带宽，延迟抖动和数据包丢失。利用 iperf 这一特性，可以用来测试一些网络设备如路由器，防火墙，交换机等的性能。 iperf 在内存中运行，不会涉及到文件系统。iperf 存在非常多的版本，Windows，Linux，Android，iOS 都有对应的版本。可以到官网下载安装 Linux 下安装： sudo apt-get install iperf 其他系统到 Read more ...

2017-11-11 linux , iperf , network , bandwidth

md5 散列

MD5 全称为 Message-Digest Algorithm ，一般用来保证信息传输的完整一致，MD5 的结果是固定长度 128bit 。MD5 算法最开始是为密码学而设计，但是后来被发现有很大的缺陷，所以后来就用来校验文件的完整性（无意识而造成的不完整，比如下载）。MD5 在非密码学领域也有其他用途，比如在一个数据库中快速检查一个 key 是否存在。密码学的 hash 方法一个最基本的要求是，计算机难以通过计算来找到两个不同的内容拥有同一个 hash 值，MD5 无法满足该基本条件。MD5 算法无法防止碰撞，无法用于安全性验证，对于安全性高的资 Read more ...

2017-11-10 md5 , linux , 密码，

LevelDB 使用

nodejs wrapper: https://github.com/Level/levelup 源码: https://github.com/google/leveldb LevelDB 的原理介绍还有这篇 LevelDB 的 C++ 接口使用 LevelDB 在 iOS 下的使用 Read more ...

2017-11-08 database , keyvalue , redis , google

分布式系统中唯一 ID 的生成方法

在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID? 在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现. 但在一个存在多个 Shards 的分布式系统 (例如多个 MySQL 实例组成一个集群, 在这个集群中插入数据), 这个问题会变得复杂, 所生成的全局的 unique ID 要满足以下需求: 唯一性，保证生成的 ID 全局唯一今后数据在多个 Shards 之间迁移 Read more ...

2017-11-08 java , 发号器 , id , auto-increase , mysql