vim presentation

大纲

Vim 多模式编辑器

Normal mode
Insert mode
Visual mode
Command mode

插入模式

i 进入 insert mode,在光标为之前进入插入模式
I 行首非空字符前插入 , I 等同于 `^i`
s 删除光标下字符,并进入insert mode, 等同于 `cl`
S 删除光标所在一行,并进入insert mode行首 , 等同于 `^C`
a 光标之后进入insert mode
A 光标移动到行尾并进入insert mode , 等同于 `$a`
o 在光标下一行插入一行,并进入insert mode , 等同于 `A<CR>`
O 在光标上一行插入新行,并进入insert mode , O 等同于 `ko`
C 删除光标后到行尾内容,并进入insert mode , C 其实等同于 `c$` 
cc 删除行,并进入插入模式
Esc 退出 Insert 模式

Example: this is a text for testing mode.

移动

h,j,k,l

    k
    ^
h <   > l
    v
    j

H,M,L
w,W,e,E,b,B
%
0,^,$
gg, G
fx,Fx,tx,Tx,

Example: This is a sentence for testing moving with a word and WO-RD test.

编辑

p   光标之后粘贴 (p)aste
P   paste before the cursor
yy  复制当前行
y   Yank 复制. Example: yw (yank word) 光标停留到词第一个字母上 yw 复制单词
y0  copy the data from cursor to begining of the line
y$  copy the data from cursor to end of the line
x   删除光标下单个字符,将其放到粘贴板,剪切
X   向前删除一个字符,相当于 Backspace
dd  删除光标所在一行,并把该行复制
dw  删除光标所在词 (d)elete (w)ord
d0  删除光标到该行最前
d^  删除光标到行首非空白字符
d$  删除光标到该行最后
J   删除光标所在行的换行符

组合

Operator + Motion = Action

dw
da'

Example:
This is an 'example' for "word-to-delete".
add quote to this "word"

搜索

/pattern  - 正向搜索,从光标处开始向文件末搜索
?pattern  - 反向搜索,从光标处开始向文件首搜索
n  - 下一个,往下执行搜索命令
N  - 上一个
*  - Word under cursor - forward (bounded)
#  - Word under cursor - backward (bounded)
:n1, n2s/p1/p2/g -将第n1至n2行中所有p1均用p2替代
:g/p1/s//p2/g -将文件中所有p1均用p2替换

替换

:s/p1/p2/g -将当前行中所有p1均用p2替代
:%s/old/new/g 全局替换
:'<,'>s/old/new/g 选中之后替换
:g/^$/d 删除所有空行

Example:

Text Object

dit, di', di", di), di}, di],
yi), yi]
vi', vit

macro

qw        开启record macro, 保存到寄存器 w
q         结束录制

Example:
int a = 1
int b = 2
int c = a+b
print a
print b
print c

register

共有9大类寄存器

  • The unnamed register “”
  • 10 numbered registers “0 to “9 数字寄存器中保存着 yank 的内容
  • The small delete register “-
  • 26 named registers “a to “z or “A to “Z 可供自定义使用
  • four read-only registers “:, “., “% and “#
  • the expression register “=
  • The selection and drop registers “*, “+ and “~
  • The black hole register “_
  • Last search pattern register “/

寄存器访问 “a 寄存器前加 “

其他操作

:reg a 查看寄存器
""   noname buffer last dcsxy
"_   blackhole register
"%   filename register
"/   last search register
":   last command
insert mode <C-r> a insert text in register a
"ap  Normal mode paste text in register a

Plugin

surround.vim

cs"'      change surround " to '
cs'<q>    change surround ' to <q>
ds'       delete surround '
ysiw"     add " to word
yss)      add ) to entire line

Example:
"Hello world!"  and other strings

start

vimutor

总结

更快的编码效率


2017-11-05 vim , linux

Vim 寄存器

Vim 的寄存器可以看成 Vim 中额外用来存储信息的区域,虽然看不见,但是如果使用 x, s, y, p 等等命令的时候都无意识的使用到了 Vim 的寄存器(register).

Vim 中每一个 register 都可以通过添加双引号的方式来访问,比如 "a 来访问 a 寄存器。

可以通过选择然后使用 y 来将内容放到寄存器中,比如 "ay 来将选择的内容 yank 复制到 "a 寄存器。 可以使用 "ap 来粘贴 a 寄存器中的内容。

同样可以再 Insert mode 下使用 Ctrl + r 再加 a 寄存器名字来插入。这会将寄存器内容粘贴进当前编辑位置。

可以使用 :reg 命令来查看所有寄存器及其内容,或者直接在后面添加寄存器名字来查看关心的内容 :reg a b c

:reg a b c
--- Registers ---
"a   register a content
"b   register b content
"c   register c content

默认寄存器 unnamed register

Vim 有自己的 unnamed 或者说默认寄存器,可以通过 "" 来访问。任何被 d, c, s, x 删除或者 y 复制的内容都会被存放在该寄存器中,使用 p 粘贴时也是中该寄存器中粘贴内容。直接使用 p 其实等效于 ""p

数字寄存器

当使用 yank 复制一些内容,然后又执行了 d 命令,会发现粘贴时,当时 yank 的内容被 d 命令中的内容替换了,这是 Vim 非常常见的一个问题,然而问题并不在 Vim,而是 Vim 把 yank 的内容 ,delete 的内容都放到了 unnamed register 中了,但是复制的内容并没有丢失,并不需要再次回到想要复制的地方再次 yank 一遍。

这里就要介绍 Vim 的另外一种寄存器 —- 数字寄存器 numbered registers , 正如他的名字一样,数字寄存器的名字就是 "0"9

"0 寄存器永远保存着 yank 的最新内容,其他寄存器保存这历史 9 个内容,从 1 到 9 从新到老。如果复制了新的文字,永远可以通过 "0p 来粘贴。

只读寄存器 read only register

Vim 中有四个只读寄存器 "., "%, ":, "# , 最后插入的文字被保存在 ". 中,如果想要在其他地方使用刚刚输入的文字,非常方便。

"% 保存 Vim 最开始打开时,到当前文件的完整路径。最常用的组合就是将当前的路径放到粘贴板

:let @+=@%

let 命令用来向寄存器写入, "+是粘贴板寄存器,将 "% 内容写入粘贴板

": 最近执行命令寄存器。如果最近保存过文件 :w ,那么 w 会保存在寄存器中。可以使用 @: 来执行前一次命令。再比如使用替换命令替换了一行中的内容 :s/foo/bar ,那么将光标移动到另一行再次使用 @: 就能够再次替换。

"# 保存 alternative file 名字。大致可以理解为 Vim 中编辑的上一个文件,可以通过 :h alternate-file 来查看更多。当使用 Ctrl + ^ 来切换文件时,使用的就是这个寄存器保存的文件名。同样可以使用 :e Ctrl-r # 来做同样的事情。不常用。

表达式寄存器 expression register

"= 用来处理表达式结果,如果在 Insert Mode 使用 Ctrl+r+= ,然后输入 2+2<Enter> ,结果 4 会显示出来。也可以用来执行外部命令,比如 Ctrl - r = 之后输入 system('ls') <enter> 来显示 ls 的结果。

搜索寄存器 search register

"/ 这个寄存器保存最近搜索过的内容,包括 /, ?, *, # 的内容。比如说最近搜索过 /example ,想要替换成 another, 可以使用

:%s/<Ctrl-r/>/another/g

输入 :%s/ 只有按下 Ctrl + r 再按 / 会自动插入寄存器保存的内容。

搜索寄存器也是可以写的,可以使用 let 命令写入:

:let @/="keywords"

寄存器和宏 Macro 的关系

或许很多不熟悉 Vim 寄存器的用户曾经使用过 Vim 的 Macro, Vim 可以使用 Macro 来录制一连串命令,然后重复。(可以使用 :h recording 来查看更多)。

Vim 使用寄存器来保存 Macro 的命令。比如使用 qw 来录制 Macro ,寄存器 "w 会被用来记录所有录制的内容,所有的内容都有文本的形式存放。

更加 Cool 的事情就是,因为所有的内容都以文本的形式存在寄存器中,我们可以轻易的修改其中的内容,而不至于因为一个疏忽录制错误,而重新录制整个操作。

比如忘记了给文字最后添加分号,可以

:let @W='i;'

来修改录制的内容,注意 W 是大写,这是追加到寄存器的意思,插入 i; 进入插入模式并输入 ;

再比如如果需要直接修改 register 的内容,可以使用

:let @w='<Ctrl-r w>

然后修改需要修改的内容,然后以 ' 结束。

另外一个 Cool 的事情就是,因为所有的命令都是以文本的形式保存的,所以可以轻易的将录制的 macro 移动到另外的寄存器中,或者将录制的 macro 分享给其他人。

比如将录制在 w 寄存器中的内容复制给粘贴板寄存器,然后就能在其他 Vim 中使用。

总结

Vim 中的寄存器一共分为 9 大类:

  1. The unnamed register “”
  2. 10 numbered registers “0 to “9
  3. The small delete register “-
  4. 26 named registers “a to “z or “A to “Z
  5. four read-only registers “:, “., “% and “#
  6. the expression register “=
  7. The selection and drop registers “*, “+ and “~
  8. The black hole register “_
  9. Last search pattern register “/

其中大部分的寄存器上文都有涉及,其中为涉及到的 selection and drop registers 和 GUI 中选取的内容有关系。

black hole register 是一个黑洞寄存器,当写入 black hole register 时,nothing happens . 像黑洞一样吞掉所有的输入,可以用来在大量删除文本时不影响任何寄存器。

reference


2017-11-03 Vim , Linux

vim normal 命令

替换::%s/^/#/g visual block:ggI# 注释第一行后用.重复执行每一行 我们可以在第三种方法之上用normal命令实现上述需求,步骤:

光标定位到首行,执行:I# jVG选中之后的所有行 :'<,'>normal .这样刚刚选中的行都将执行.代表的最后一次操作。注:只要输入:就能实现:'<,'>,你可以注意VIm的左下角的提示。 第四种方法::%normal I#,%代表这个文件,当然你可以选择具体的范围,如::1,4normal I#

总结::normal命令可以执行任何normal 模式下的命令,更多帮助::help normal。


2017-11-03 Vim , Linux

Vim 中的宏命令

Vim 的设计哲学中有这样一句话:”if you write a thing once, it is okay. However if you’re writing it twice or more times, then you should find a better way to do it”.

Vim 的 Macro 就是用来解决重复的问题。在 Vim 寄存器的文章里面已经对 macro 有所涉及, macro 的操作都是以文本的方式存放在寄存器中。

简单使用

录制 macro,使用 q + [a-z] 26个字母中的一个

q[a-z]

之后的命令都会被记录,然后结束时再按一下 q

执行 macro 的时候,在寄存器前加 @ ,比如记录在寄存器 a 中

10@a

执行 10 遍a寄存器中记录的命令。

@@

再执行一遍上一次的命令。

编辑 macro

假设已经有一个 macro 保存在了 a 中,可以使用

  • :let @a=’
  • 输入Ctrl + r + a 来插入 a 中内容;
  • 编辑内容然后以 ' 结束 Enter 退出

查看 macro

macro 内容保存在 a 中,直接使用 :reg a 来查看内容即可。

举例

经典的注释和尾部添加

注释,或者在每一行的末尾添加特定字符,比如在每行末加上分号”;” ,对于这个操作 Vim 中有太多的方式可以完成,比如说替换 :%s/$/;/g ,比如说 . 命令,再比如这里要使用的 macro :

int a = 1
int b = 2
int c = a+b
print a
print b
print c

如果是用 . 来实现的话,首先在第一行执行A;,然后重复5次执行j.,对于这种简单文件来说很容易使用,但是如果这个文件有 1000 行,那么显然 . 命令是不可行的。使用 macro , 可以先录制一遍,然后在 1000 行上执行便可。

比如可以在normal模式下使用 qaA;<Esc>jq

  • qa 开启录制,存入 a 寄存器
  • A 在行尾进入插入模式
  • ; 插入分号
  • <Esc> 退出插入模式
  • j 下一行
  • q 退出录制

此时 a 寄存器中就保存了当前行的操作,在当前行添加 ; 并将光标移动到下一行。

录制结束后就可以使用 @a

1000@a

执行1000遍 macro ,就能将下面1000行尾部添加 ;

递增数字

可以使用 macro 实现插入 1 到 100 个数字,每一行自增一:

1
2
3
...
100

首先在第一行插入1,然后光标定位了“1”处,进入normal模式

输入一下命令

qayyp<Ctrl>aq
  • yyp 拷贝一行再粘贴在新的一行,
  • <Ctrl>a 数字+1
  • q 结束录制

最后执行

98@a

2017-11-03 vim , Linux

headless chrome puppeteer

Headless 最早的时候在 PhantomJS 听说过这个概念,后来在 GitHub 各种项目中总有人不断提起这个概念,而最新看到的新闻便是 Chrome 开始支持 Headless,也正激起了我了解的欲望。

什么是 Headless Chrome

Headless Chrome 是一个没有前台界面,只在后台运行的浏览器。浏览器正常的所有解析,渲染都可以由其完成。而开发者可以通过 client 和这个浏览器建立连接,通过 Google 提供的 Chrome DevTools Protocol 协议 来进行交互。总的来说 Headless 浏览器提供了可编程化的浏览器工具,一切通过人工在 Chrome 中完成的事情,都可以通过编程来在 Headless Chrome 中实现。

Headless Chrome 和 Chrome 59 一起发布,Headless Chrome 将 Chromium 和 Blink 渲染引擎提供的现代WEB平台的特性带到了命令行。

Headless 浏览器能够提供自动化测试环境,服务于不需要UI界面的服务端。比如说你想要测试一个网页在真实的浏览器中的显示,并保存成PDF。

使用

在 Linux 下,我的 Chrome 安装在 /opt/google/chrome/ 目录下,创建一条 alias

alias chrome='/opt/google/chrome/chrome'

打印 DOM 结构

使用 --dump-dom 将文件内容打印到标准输出

chrome --headless --disable-gpu --dump-dom https://www.einverne.info/

将网页保存为 PDF

使用 --print-to-pdf flag 将网页文件保存成 pdf

chrome --headless --disable-gpu --print-to-pdf https://www.einverne.info

保存截图

使用 --screenshot flag 保存截图

chrome --headless --disable-gpu --screenshot https://www.einverne.info

使用 --window-size 来指定窗口大小

chrome --headless --disable-gpu --screenshot --window-size=1280,1920 https://www.einverne.info

使用 --screenshot 会在当前目录下生成一个名为 screenshot.png 的图片文件。

Debugging Chrome without UI

使用 --remote-debugging-port=9222 flag 来启动 Chrome 时,Headless Chrome 会开启 DevTools protocol 。使用该协议可以用来和 Chrome 通信,并使用指令来操作 Headless Chrome。因为没有界面,可以使用另外的浏览器访问 http://localhost:9222 来查看 Headless Chrome 的状态。

reference


2017-10-31 Chrome , Headless Chrome

Vim 键映射

Vim 本身有很多快捷键,vimrc 也可以配置很多快捷键,当然 Vim 也支持将不同的键映射到不同的键或者命令上。

最常见的键映射就是

  • nmap
  • vmap
  • imap

分别对应着修改普通模式(Normal) ,选择模式(Visual),和插入模式(Insert) 下的键映射。

对于这几种模式,可以参考 Vim 模式

Map 命令

其实对于 map 命令的种类远不止于此

  • noremap 非递归映射
  • nmap
  • vmap
  • imap
  • cmap 在命令模式下生效

递归映射,就是如果当快捷键 a 被映射成 b, b 又被映射成 c ,那么他们是递归的,那么 a 就是被映射成 c

map b a
map c b

效果等同于

map c a

默认的 map 是递归的,除了 noremap

unmap 解除映射

unmap 和 map 类似也可以添加很多前缀,表示影响的模式

mapclear 命令

mapclear 直接清除相关模式下所有的映射,也可以添加很多前缀,表示影响的模式

所以总结一下大概有如下命令:

:map   :noremap   :unmap   :mapclear 
:nmap  :nnoremap  :nunmap  :nmapclear
:vmap  :vnoremap  :vunmap  :vmapclear
:imap  :inoremap  :iunmap  :imapclear
:cmap  :cnoremap  :cunmap  :cmapclear

查看当前 Vim 配置的键绑定

通过在 vimrc 中配置不同的快捷键,影响不同模式下 Vim 的快捷键,那么可以在普通模式下使用 :map 来查看当前 Vim 配置的快捷键。

如何测试 map 生效

Vi stackoverflow 上有一篇文章 讲述的很详细。

解决的具体步骤:

  • 明确 map 的命令
  • 想要定义的快捷键具体做什么
  • 然后使用 :map 来检查定义的 map 是否已经被 Vim 识别
  • 如果还是不行,在那篇文章中检查是否遇到了常见的一些错误
  • 再不行的话就去 vi stackoverflow 等等论坛求助大神吧

2017-10-30 Vim , Linux

Vim 全局命令 g

全局命令 :g 在 Vim 中有着意想不到强大的功能。当想要在整个文件中对于匹配的行或者不匹配行进行一些操作时,应该第一时间想到这个 :g 命令。

:[range]global[!]/{pattern}/{command}

简写可以写成

:[range]g/pattern/command
  • [range] 指定文本范围,默认为整个文档
  • pattern 在范围 range 内的行如果匹配 pattern,则执行 command
  • ! 表示取反,也就是不匹配的行,也可以使用 vglobal
  • command 默认是打印文本

整个命令可以理解成,在 range 范围内匹配 patter 的行执行 Ex command。所有的 Ex command 可以使用 :help ex-cmd 来查看。

常用的 Ex command 可以参考如下例子:

  • d 删除
  • m 移动
  • t 拷贝
  • s 替换

举例

范围匹配

比如在 20 行到 200 行之间,每一行下插入空行

:20,200g/^/pu _

删除匹配的行

最简单的使用

:g/pattern/d

会删除 pattern 批量的行,再比如

:g/^$/d

可以用来删除空白行。

删除不匹配的行

匹配使用 :g ,而不匹配有两种写法:

:g!/pattern/d
:v/pattern/d

:v:in(v)erse 的缩写,如果为了记忆的话,可以记住 inverse。

删除大量匹配行

Vim 在删除操作时,会先把要删除的内容放到寄存器中,假如没有指定寄存器,会默认放到一个未命名的寄存器中,对于要删除大量匹配行的行为,可能导致 Vim 花一些时间处理这些拷贝,避免花费不必要的时间可以指定一个 blackhole 寄存器 _

:g/pattern/d_

移动匹配的行

将所有匹配的行移动到文件的末尾

:g/pattern/m$

复制匹配的行

将所有匹配的行复制到文件末尾

:g/pattern/t$

复制到 register a

Vim 每个字母都是一个寄存器,所以使用全局命令也可以将内容复制到某一个寄存器,比如 a

qaq:g/pattern/y A
  • qaq 清空寄存器 a,qa 开始记录命令到a寄存器,q 停止记录
  • y A 将匹配的行 A (append) 追加到寄存器 a 中

存放到 a 寄存器之后就可以使用 "ap 来粘贴使用或者其他操作了。

反转文件中的每一行

just show the power of :g

:g/^/m0

:g 命令一行行匹配,匹配第一行时将第一行 m0 放到文件顶部,第二行放到文件顶部,当跑完一遍之后整个文件的每一行就反转了。

在匹配行后添加文字

使用 s 命令可以实现,同样使用全局 g 命令也可以实现同样的效果

:g/pattern/s/$/mytext

这里使用到了 s 命令, substitute 命令,可以使用 :help :s 来查看。

reference


2017-10-29 Vim , Regex , Linux

kibana query syntax

Kibana 的查询语法基于 Lucene 的查询语法,他允许 boolean 值,通配符,过滤器等等操作。

字符串查询

通常一个查询会包含一个或者多个单词或者组合。一个简单的查询语句就是用引号包含的一组词,比如 “search demo”.

如果不包含双引号,Kibana 会单独的去匹配每一个词。

正则表达式查询

大部分正则表达式是允许匹配部分字符的,然而在 Lucene 中,正则表达式用来匹配整个字符串,比如 abcde 这个字符串

  • 使用 ab.* 能够匹配
  • 但是使用 abcd 是不能匹配的

正则表达式中,有一些保留字符

. ? + * | { } [ ] ( ) " \

这些字符如果出现在表达式中都需要进行转义,比如 \* ,或者 \\

这些符号的含义和正则表达式一致

  • . 用来表示任意字符
  • ? 用来表示前面的字符重复一次或零次
  • + 表示前面的字符重复一次或多次
  • * 表示前面的字符重复零次或多次
  • {n} 表示重复n次
  • {n,m} 表示重复n到m次
  • () 表示 group, 组合其他使用
  • | 表示 OR 或者,(http|https) http 或者 https 匹配
  • [] 表示括号中的任意一个

更多的关于正则表达式的内容可以参考任意一本关于正则的书。

补充,在 Kibana 中如下字符都需要转义

+ - = && || > < ! ( ) { } [ ] ^ " ~ * ? : \ /

比如查询 (1+1)=2 需要使用 \(1\+1\)\=2

可选表达式

Lucene 中还能够开启一些扩展操作。

Complement 模式

比如 ab~cd 可以表示字符串以 ab 开始接着跟随一个任意长度非c字符,以d结尾的字符串。

Interval

使用 <> 来匹配数字范围, 比如 foo<1-100> 可以匹配string foo90 却不能匹配 foo101

Intersection

符号 & 用来连接两个 patterns 两个正则表达式都需要匹配

Any string

符号 @ 用来匹配所有,和 Intersection 联合使用可以用来表示,匹配所有除了。

比如 @&~(foo.*) 用来匹配所有字符,除了以 foo 开头的字符

范围查询

范围查询用来查询一定范围的匹配,比如

ResponseTime: [10 TO *]

用来查询请求时间大于等于 10 ms 的,或者使用 ResponseTime: {10 TO *} 来匹配大于 10 ms 的。

方括号可以表示包括,花括号不包括,所以 [10 TO 50} 表示 需要 10<=value<50

也可以简化写成

age:(>=10 AND <50)

这样

Boolean 查询

逻辑运算 AND、OR、NOT 可以用来组合查询语句,这三个运算符必须 大写 ,更多内容可以查看 Lucene 语法。

  • + 搜索结果中必须包含此项
  • - 不能含有此项

字段名称搜索

比如需要查询 statusactive 的内容,可以

status:active

近似搜索

在短语后面加 ~ 可以搜到被隔开或者顺序不同的单词。

比如 “where select”~5, 表示 select 和 where 中间可以相隔5个单词。

reference


2017-10-29

Nginx 反向代理 Google 配置

使用编译安装 Nginx,将 ngx_http_substitutions_filter_modulengx_http_google_filter_module 两个模块编译进 Nginx。具体内容可以参考安装篇。

对于 Nginx 基本设置可以参考 配置篇 .

这篇主要演示 Nginx 作为一个反向代理服务器的基本设置。

Nginx 反向代理最重要的一个配置就是 proxy_pass ,该配置接受一个参数, URL ,也就是 Nginx 转发的目的地。Nginx 会自动将请求的 URI 替换为 proxy_pass 配置的 URI。

location /uri {
    proxy_pass http://localhost:8083/newUri;
}

常用配置

反代相关配置

反向代理的常用配置选项

Directive Explanation
proxy_connect_timeout 向上游服务器请求超时时间
proxy_cookie_domain 将请求头中 Set-Cookie 头内容替换成新域名
proxy_cookie_path 替换 Set-Cookie 中路径
proxy_headers_hash_bucket_size 请求头名最大size
proxy_headers_hash_max_size 从上游服务器接收到的所有 headers 总量
proxy_hide_header 一组不会被传给 client 的 headers
proxy_http_version 和上游服务器通信使用的 HTTP 协议版本
proxy_ignore_client_abort 如果设置为 on, Nginx 在client 停止请求时不会停止向上游服务器请求
proxy_ignore_headers 处理上游服务器返回时设置一组不处理 headers
proxy_intercept_errors 设置开启, Nginx 将显示 error_page 配置的错误而不会向上游服务器请求
proxy_max_temp_file_size The maximum size of the overflow file, written when the response doesn’t fit into memory buffers.
proxy_pass 上游服务器 URL
proxy_pass_header 覆盖被 proxy_hide_header 配置禁用的 headers,允许他们发送给客户端
proxy_pass_request_body off 时阻止向上游服务器发送请求body
proxy_pass_request_headers off 时阻止向上游服务器发送 headers
proxy_read_timeout 连接关闭前,向上游服务器两次读成功耗时
proxy_redirect Rewrites the Location and Refresh headers received from the upstream servers; useful for working around assumptions made by an application framework.
proxy_send_timeout 连接关闭前,向上游服务器两次写成功耗时
proxy_set_body 修改请求body
proxy_set_header 修改请求 headers
proxy_temp_file_write_size 限制单个请求的临时文件大小, Nginx 不会在一个请求上被 block
proxy_temp_path 临时文件地址

upstream 选项中的配置

Directive | Explanation ——————————–|——————————– ip_hash | 使得客户端的请求能够均匀的分布 keepalive | 每一个 worker process 向上游服务器请求缓存的连接数,proxy_http_version 需要设置为 1.1 并且 proxy_set_header 设置为空 least_conn | 负载均衡算法,根据 active 连接数来选择下一个连接 server | 设置地址,域名或者 IP,或者 Unix-domain socket 一些选项 - weight: 设置 server 的权重 - max_fails: 重试最大次数 - fail_timeout: 服务器超过该时间会被标记为 Down - backup: 只有其他机器都 Down 情况下才会使用该服务器 - down: 标记为 down 不会处理请求

示例

keep alive

以如下配置示例

upstream apache {
	server 127.0.0.1:8080;
	keepalive 32;
}
location / {
	proxy_http_version 1.1;
	proxy_set_header Connection "";
	proxy_pass http://apache;
}

假设定义了 apache upstream ,使用 Nginx 转发到本地 8080 端口, 设置了 keepalive 为 32。每一个 Nginx worker 只会在最初始化时TCP握手建立32个连接,Nginx 会保存连接,不会发送 close

如果需要超过 32 个连接, Nginx 会再新建连接满足需求,如果需求降低, Nginx 会自动将超过 32 个连接的请求,按照最近使用的连接关闭,直到将连接数降到 32 。

负载均衡算法

upstream 模块会使用三种算法来选择向哪一台上游服务器建立连接—- round-robin, IP hash, 或者是 least connections.

round-robin 算法是默认值,算法根据上一次选择的服务器决定下一次选择哪一条连接,算法公平的根据 turn by turn 的方式来保持平衡。

IP hash 算法,需要通过 ip_hash 指令开启 Nginx 使用 IPv4 地址的前三个字节或者是整个 IPv6 地址作为 hashing key 。因此一组IP地址永远被map到特定的上游服务器。因此这个机制不是设计为均匀分发请求,而是被设计成将客户端和上游服务器映射到一起。

第三种负载均衡算法叫做 least connections , 通过 least_conn 开启。该算法设计成将负载均匀的打到上游服务器中,通过选择活跃连接数最小的服务器。如果上游服务器不是具有相同的处理能力,可以通过指定 weight 来人为处理。算法会将不同 weight 的服务器纳入计算活跃连接数的考虑范畴。

创建 Google 的反向代理

创建一个 Ngixn 虚拟主机,我使用 https://g.einverne.info 来演示:

# 配置 google ip 地址,使用 nslookup google.com 来获取 Google 服务器地址,避免 Google 机器人检测
upstream www.google.com {
    server XXX.XXX.XXX.XXX:443 weight=1; #把XXX替换成可用 IP
    server XXX.XXX.XXX.XXX:443 weight=1;
    server XXX.XXX.XXX.XXX:443 weight=1;
    server XXX.XXX.XXX.XXX:443 weight=1;
    server XXX.XXX.XXX.XXX:443 weight=1;
    server XXX.XXX.XXX.XXX:443 weight=1;
    server 216.58.216.163:443 weight=1; #hk
}

server {
    listen 80;
    listen [::]:80;
    server_name g.einverne.info;

    listen 443 ssl;
	ssl_certificate path_to_ssl_crt; # 证书
	ssl_certificate_key path_key; # key

	# 自动 http 转 https
    if ($scheme != "https") {
        return 301 https://$host$request_uri;
    }

    if ($http_user_agent ~* (baiduspider|360spider|haosouspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
        return  403;
    }

	# 编译时加入 ngx_http_google_filter_module 模块,location 如下设置
    location / {
        google on;
    }

    access_log /var/log/nginx/g.einverne.info.access.log;
	error_log /var/log/nginx/g.einverne.info.error.log;
}

如果编译时没有加入 ngx_http_google_filter_module 模块,则需要设置 location

location / {
	proxy_redirect off;
	proxy_cookie_domain google.com <domain.name>; 
	proxy_pass https://www.google.com;
	proxy_connect_timeout 60s;
	proxy_read_timeout 5400s;
	proxy_send_timeout 5400s;

	proxy_set_header Host "www.google.com";
	proxy_set_header User-Agent $http_user_agent;
	proxy_set_header Referer https://www.google.com;
	proxy_set_header Accept-Encoding "";
	proxy_set_header X-Real-IP $remote_addr; 
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 
	proxy_set_header X-Forwarded-Proto https;
	proxy_set_header Accept-Language "zh-CN";
	proxy_set_header Cookie "PREF=ID=047808f19f6de346:U=0f62f33dd8549d11:FF=2:LD=en-US:NW=1:TM=1325338577:LM=1332142444:GM=1:SG=2:S=rE0SyJh2W1IQ-Maw";

	subs_filter https://www.google.com.hk <domain.name>;
	subs_filter https://www.google.com <domain.name>;
	#subs_filter_types text/css text/xml text/javascript;

	sub_filter_once off; 
}
  • proxy_redirect 设置为 off ,不需要重写 Location 的 header
  • proxy-cookie-domain google <domain.name>; 将cookie作用域替换成自己的域名
  • proxy_pass https://www.google.com; 反向代理到 upstream www.google.com
  • proxy_set_header Accept-Encoding ""; 防止谷歌返回压缩的内容,否则内容无法替换
  • proxy_set_header Cookie 这一行 禁止即时搜索,设置为新窗口打开网站
  • subs_filter https://www.google.com <domain.name>; 把Google域名替换,需要编译时加上 --with-http_sub_module 参数

reference


2017-10-25 Linux , Nginx , Web , Proxy , Google

Nginx 配置详解

Nginx 相关的配置

全局块

Nginx 的全局配置是影响整个服务器的配置。

主要有以下几个

Directive Explanation
user user and group
workr_processes  
error_log log
pid file where the process ID of the main process is written
use 连接方式
worker_connections 连接数

配置用户用户组

设置用户的配置

user user [group];
  • user, 可运行 Nginx 服务器的用户
  • group, 指定可运行用户组

希望所有用户都可以启动 Nginx 进程,一种是直接注释该配置,或者

user nobody nobody;

Nginx 配置文件中,每一条配置都必须以分号结束。

配置 worker process 数

worker process 是 Nginx 并发关键所在,理论上 worker process 值越大,可支持并发数也越多,但实际也受到软件,操作系统,硬件(CPU和磁盘)等制约。

worker_processes number | auto;
  • number, 指定 Nginx 进程最多可产生的 worker process 数
  • auto Nginx 自动

PID 存放路劲

Nginx 进程作为系统守护进程运行,在文件中保存当前运行程序主进程号,支持配置 PID

pid file_path;
  • file_path 为存放路劲和文件名

错误日志路劲

全局块、http 块 和 server 块都可以对 Nginx 日志进行配置

error_log file | stderr [debug | info | notice | warn | error |crit | alert | emerg];

Nginx 日志支持输出到文件 file, 或者标准错误输出 stderr.

日志级别可选,从低到高 debug, info, notice, warn, error, crit, alert, emerg ,需要注意的是 debug 需要编译时使用 --with-debug 开启。

引入其他配置

Nginx 提供 include 配置来引入其他文件

include file;
  • file 是要引入的配置文件,支持相对路劲和正则匹配

最大连接数

设置每一个 worker process 同时开启的最大连接数

worker_connections number;

只能在 events 块中配置

定义 MIME TYPE 类型

浏览器使用 MIME Type 来区分不同的媒体类型, Nginx 作为 Web 服务器,必须能够识别前端请求的资源类型。

默认的配置中,可以使用两种方式来配置

include mime.types;
default_type application/octet-stream

第一种方式引用外部文件。

mime.types 文件

types {
	text/html                             html htm shtml;
	text/css                              css;
	text/xml                              xml;
	image/gif                             gif;
	image/jpeg                            jpeg jpg;
	application/javascript                js;
	application/atom+xml                  atom;
	application/rss+xml                   rss;

	text/mathml                           mml;
	text/plain                            txt;
	text/vnd.sun.j2me.app-descriptor      jad;
	text/vnd.wap.wml                      wml;
	text/x-component                      htc;

	image/png                             png;
	image/tiff                            tif tiff;
	image/vnd.wap.wbmp                    wbmp;
	image/x-icon                          ico;
	image/x-jng                           jng;
	image/x-ms-bmp                        bmp;
	image/svg+xml                         svg svgz;
	image/webp                            webp;

	application/font-woff                 woff;
	application/java-archive              jar war ear;
	application/json                      json;
	application/mac-binhex40              hqx;
	application/msword                    doc;
	application/pdf                       pdf;
	application/postscript                ps eps ai;
	application/rtf                       rtf;
	application/vnd.apple.mpegurl         m3u8;
	application/vnd.ms-excel              xls;
	application/vnd.ms-fontobject         eot;
	application/vnd.ms-powerpoint         ppt;
	application/vnd.wap.wmlc              wmlc;
	application/vnd.google-earth.kml+xml  kml;
	application/vnd.google-earth.kmz      kmz;
	application/x-7z-compressed           7z;
	application/x-cocoa                   cco;
	application/x-java-archive-diff       jardiff;
	application/x-java-jnlp-file          jnlp;
	application/x-makeself                run;
	application/x-perl                    pl pm;
	application/x-pilot                   prc pdb;
	application/x-rar-compressed          rar;
	application/x-redhat-package-manager  rpm;
	application/x-sea                     sea;
	application/x-shockwave-flash         swf;
	application/x-stuffit                 sit;
	application/x-tcl                     tcl tk;
	application/x-x509-ca-cert            der pem crt;
	application/x-xpinstall               xpi;
	application/xhtml+xml                 xhtml;
	application/xspf+xml                  xspf;
	application/zip                       zip;

	application/octet-stream              bin exe dll;
	application/octet-stream              deb;
	application/octet-stream              dmg;
	application/octet-stream              iso img;
	application/octet-stream              msi msp msm;

	application/vnd.openxmlformats-officedocument.wordprocessingml.document    docx;
	application/vnd.openxmlformats-officedocument.spreadsheetml.sheet          xlsx;
	application/vnd.openxmlformats-officedocument.presentationml.presentation  pptx;

	audio/midi                            mid midi kar;
	audio/mpeg                            mp3;
	audio/ogg                             ogg;
	audio/x-m4a                           m4a;
	audio/x-realaudio                     ra;

	video/3gpp                            3gpp 3gp;
	video/mp2t                            ts;
	video/mp4                             mp4;
	video/mpeg                            mpeg mpg;
	video/quicktime                       mov;
	video/webm                            webm;
	video/x-flv                           flv;
	video/x-m4v                           m4v;
	video/x-mng                           mng;
	video/x-ms-asf                        asx asf;
	video/x-ms-wmv                        wmv;
	video/x-msvideo                       avi;
}

文件中包含了浏览器能够识别的 MIME 类型,以及对应的文件后缀名。

第二种方式使用 default_type mime-type 直接配置。

Server section

自定义 Access 日志

error_log 不同的是,Nginx 进程运行时访问日志,由 Nginx 提供服务过程中应答前端请求的日志。

Nginx 服务器支持对服务日志的格式、大小、输出等进行配置,需要使用两个配置 access_loglog_format

access_log path [format [buffer=size]];
  • path, 配置服务日志的文件存放路劲及名称
  • format 可选,自定义日志格式,也可以通过 log_format 配置指定好,直接引用格式名
  • size 临时存放日志的内存缓存区大小

如果要取消记录日志功能,使用

access_log off;

自定义日志格式

log_format name string ...;
  • name 格式字符串的名字,默认为 combined
  • string 自定义格式化字符串

示例,配置如下两行

log_format exampleLog '$remote_addr - [$time_local] $request '
					  '$status $body_bytes_sent '
					  '$http_referer $http_user_agent';

access_log /var/log/nginx/access.log exampleLog;

查看日志 tailf /var/log/nginx/access.log

47.88.236.38 - [24/Oct/2017:10:25:30 +0800] GET /post/2017/10/things-to-do-after-install-wordpress.html?ajax_load=page HTTP/1.1 200 6961 https://www.einverne.info/ Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36

可以查看到上面格式的日志,IP 本地时间 请求方法 请求路劲 HTTP状态 发送数据大小 以及 HTTP refer 和 User Agent.

配置连接超时时间

用户连接回话连接后, Nginx 服务器可以保持打开一段时间

keepalive_timeout timeout [header_timeout];
  • timeout 对连接的保持时间
  • header_timeout 可选,在 Response 头部 Keep-Alive 域设置超时时间

示例

keepalive_timeout 120s 100s;

设置单连接请求数上限

限制用户通过某一个连接向 Nginx 发送请求次数

keepalive_requests number;

虚拟主机配置

虚拟主机以 server 开头,server 内的配置都认为是 虚拟主机 配置。虚拟主机定义了一套由不同 server_name 配置区分的资源。虚拟主机一般由 listenserver_name 等一组配置决定。

配置网络监听

监听配置方法主要有三种

第一种配置监听 IP 地址

listen address[:port] [default_server] [setfib=number] [backlog=number] [rcvbuf=size] [sndbuf=size] [deferred] [accept_filter=filter] [bind] [ssl];

第二种配置监听端口

listen port [default_server] [setfib=number] [backlog=number] [rcvbuf=size] [sndbuf=size] [accept_filter=filter] [deferred] [bind] [ipv6only=on|off] [ssl];

第三种配置 UNIX Domain Socket

listen unix:path [default_server] [backlog=number] [rcvbuf=size] [sndbuf=size] [accept_filter=filter] [deferred] [bind] [ssl];
  • 使用 default_server 将虚拟主机地址设置为 address:port 为默认
  • setfib 不常用
  • backlog 设置监听函数 listen() 最多运行多少网络连接同时处于挂起状态
  • rcvbuf 监听 socket 接受缓存区大小
  • sndbuf 监听 socket 发送缓存区大小
  • ssl 回话使用 SSL模式

配置虚拟主机名称

主机是指 server 块对外提供虚拟主机

server_name name ...;

名字就是域名,用空格隔开

server_name einverne.info www.einverne.info;

Nginx 规定第一个名称作为虚拟主机的主要名

name 中可以使用通配符 * ,但通配符只能放到首尾,name中还能使用正则表达式,使用 ~ 开始

server_name ~^ww\d+\.einverne\.info$;

匹配 ww1.einverne.info 但不匹配 www.einverne.info

对于不同的匹配方式,Nginx 按照如下优先级选择虚拟主机

  • 准确匹配 server_name
  • 通配符在开始时匹配 server_name 成功
  • 通配符在结尾时匹配 server_name 成功
  • 正则表达式匹配

在以上四种匹配方式中,如果 server_name 被处于同一优先级匹配方式匹配多次成功,则首次匹配成功的虚拟主机处理请求。

基于 IP 的虚拟主机配置

不是很常用,暂时略

配置 location 块

语法

location [ = | ~ | ~* | ^~ ] uri { ... }

其中,uri 变量是待匹配的请求字符串,可以是不含正则表达的字符串。

方括号中为可选项,不添加可选项时, Nginx 首先在 server 块多个 location 块中搜索是否有匹配,如果有多个匹配,就记录匹配度最高的一个。然后,Nginx 再用 location 块中的正则 uri 和请求匹配,当第一个正则匹配成功,结束搜索,并使用该 location 块处理请求,如果正则全部失败,则使用刚才记录的匹配度最高的 location 块处理该请求。

了解了 location 块匹配规则,再来看一下各个可选项的含义:

  • = 用于非正则 uri 前,要求字符串与 uri 严格匹配,如果匹配成功,则停止向下搜索,并立即处理此请求
  • ~ 表示该uri包含正则,并且区分大小写
  • ~* 表示uri 包含正则,不区分大小写
  • ^~ 用于非正则 uri 前,Nginx 服务器找到标示 uri 和请求字符串匹配程度最高的 location 后立即使用该 location 处理请求,不再匹配 location 块的正则 url

如果 uri 包含正则,则必须使用 ~~* 。 而对于 ^~ 会对 uri 中的 urlencode 内容解码, %20 会被理解为空格。

配置请求的根目录

Nginx 接受到请求之后,在服务器指定目录中寻求资源

root path;

path 为 Nginx 接受到请求之后查找资源的根目录路劲。 path 变量可以包含 Nginx 服务器预设的大多数变量,但要注意 $document_root$realpath_root 不可用。

该配置可以再 http块、 server 块或者 location 块中进行配置。

更改 location 的URI

在 location 块中,除了使用 root 命令指明请求处理根目录,还可以使用 alias 配置来改变 location 接收到的 URI 请求

alias path;

path 就是修改后的根路劲。

示例

location ~ ^/data/(.+\.(htm|html)) $ {
	alias /var/www/data/$1;
}

当 location 块接收到 /data/index.html 请求时,匹配成功,根据 alias 配置, Nginx 在 /var/www/data/ 目录下找到 index.html 并响应请求。

设置网站默认首页

在用户发出请求时,请求地址可以不填写首页完整路劲

index file ...;

设置错误页面

指定错误页面

error_page code ... [=[response]] uri
  • code 要处理的 HTTP 错误代码
  • response 可选项,将 code 指定的错误转化为新的错误代码 response
  • uri 错误页面的路劲或者网站地址

示例

error_page 404 /404.html

基于 IP 配置 Nginx 访问权限

Nginx 支持两种途径的基本访问控制,一种是由 HTTP 标准模块的 ngx_http_access-modele 支持,通过 IP 来判断客户端是否拥有对 Nginx 的访问权限

allow 配置用于设置Nginx 客户端 IP访问

allow address | CIDR | all;
  • address 允许访问的客户端 IP,不支持同时设置多个
  • CIDR 允许访问的客户端 CIDR 地址, 202.112.18.23/25,前 32 位 IP 地址,后面 ”/25“ 表示前25位是网络,其余代表主机部分
  • all 代表允许所有客户端访问

deny 配置,顾名思义

deny address | CIDR | all;

参数含义同上

Nginx 对于访问控制权限是顺序匹配,如果匹配成功就不会继续向下解析。

配置密码设置 Nginx 访问权限

Nginx 支持 HTTP Basic Authentication 协议的认证,该协议是一种 HTTP 性质的认证办法,需要用户名和密码,认证失败的客户端不拥有访问 Nginx 服务器的权限。

开启或者关闭

auth_basic string | off;
  • string 开启该认证功能,并验证配置时显示的提示信息
  • off 关闭该功能

    auth_basic_user_file file;

其中 file 为密码文件的绝对路劲

使用如下命令创建用户名密码到文件

printf "yourusername:$(openssl passwd -apr1)" > /etc/nginx/passwords

记住替换 yourusername ,该命令会在 /etc/nginx 目录下创建 passwords 文件,该文件的格式为

yourusername:passwordencrypt

也可以使用 htpasswd 命令来生成,绝大部分语言提供 crypt() 函数来对加密密码

htpasswd -c -d /etc/nginx/passwords yourusername

然后添加如下配置

server {
	# ...
	auth_basic "Protected";
	auth_basic_user_file passwords;
	# ...
}

反向代理配置

简单配置

server
{
	listen          80;
	server_name     g.einverne.info;
	location / {
		proxy_pass          http://www.google.com/;  #反代的域名
		proxy_redirect      off;
		proxy_set_header    X-Real-IP       $remote_addr;
		proxy_set_header    X-Forwarded-For $proxy_add_x_forwarded_for;
	}
}

reference

  • Nginx高性能Web服务器详解

2017-10-23 Nginx , Web , Server , Linux

Google+

最近文章

  • vim presentation 大纲
  • Vim 寄存器 Vim 的寄存器可以看成 Vim 中额外用来存储信息的区域,虽然看不见,但是如果使用 x, s, y, p 等等命令的时候都无意识的使用到了 Vim 的寄存器(register).
  • vim normal 命令 替换::%s/^/#/g visual block:ggI# 注释第一行后用.重复执行每一行 我们可以在第三种方法之上用normal命令实现上述需求,步骤:
  • Vim 中的宏命令 Vim 的设计哲学中有这样一句话:”if you write a thing once, it is okay. However if you’re writing it twice or more times, then you should find a better way to do it”.
  • headless chrome puppeteer Headless 最早的时候在 PhantomJS 听说过这个概念,后来在 GitHub 各种项目中总有人不断提起这个概念,而最新看到的新闻便是 Chrome 开始支持 Headless,也正激起了我了解的欲望。