Flask 上传文件

Flask 处理上传的文件非常简单,总结归纳可以分为三步:

  • 使用 <form> 标签被标记有 enctype=multipart/form-data ,并且在里面包含一个 <input type=file> 标签
  • 服务端通过请求对象上的 files 字典访问文件
  • 使用文件的 save() 方法将文件永久地保存在文件系统上的某处

假设将上传的文件存放在 static/uploads 目录中。

werkzeug 库可以判断文件名是否安全,例如防止文件名是 /../test.png, 安装

pip install werkzeug

具体代码:

from flask import Flask, request
from werkzeug.utils import secure_filename
import os

app = Flask(__name__)

app.config['UPLOAD_FOLDER'] = 'static/uploads/'
app.config['ALLOWED_EXTENSIONS'] = set(['png', 'jpg', 'jpeg', 'gif'])

# For a given file, return whether it's an allowed type or not
def allowed_file(filename):
	return '.' in filename and \
		   filename.rsplit('.', 1)[1] in app.config['ALLOWED_EXTENSIONS']

@app.route('/')
def hello_world():
	return 'hello world'

@app.route('/upload', methods=['POST'])
def upload():
	upload_file = request.files['file']
	if upload_file and allowed_file(upload_file.filename):
		filename = secure_filename(upload_file.filename)
		upload_file.save(os.path.join(app.root_path, app.config['UPLOAD_FOLDER'], filename))
		return 'hello, '+request.form.get('name', 'little apple')+'. success'
	else:
		return 'hello, '+request.form.get('name', 'little apple')+'. failed'

if __name__ == '__main__':
	app.run(debug=True)

app.config中的config是字典的子类,可以用来设置自有的配置信息,也可以设置自己的配置信息。函数 allowed_file(filename) 用来判断filename是否有后缀以及后缀是否在app.config['ALLOWED_EXTENSIONS']中。

过滤文件名

这里使用了 werkzeug 自带的 secure_filename 方法,该方法会过滤所有非ASCII码,对于中文文件名处理就不怎么友好了,所以我们可以定义自己的 secure_filename 方法

def secure_filename(filename):
    """
    确保文件名不包含 / -
    :param filename:
    :return:
    """
    filename = re.sub('[" "\/\--]+', '-', filename)
    filename = re.sub(r':-', ':', filename)
    filename = re.sub(r'^-|-$', '', filename)
    return filename

使用正则将文件名中的非法字符去除掉。

上传多个文件

Flask 提供了 getlist 方法

for upload in request.files.getlist("file"):
    filename = os.path.splitext(upload.filename)[0]
    filename = secure_filename(filename)
    save_name = hashlib.md5('video'+ str(time.time())).hexdigest()[:16]
    dest = '/'.join([dest_folder, save_name])
    print("Accept incoming file:", filename)
    upload.save(dest)

模拟上传文件

import requests
files = {'file': open('01.jpg', 'rb')}
user_info = {'name': 'einverne'}
r = requests.post("http://127.0.0.1:5000/upload", data=user_info, files=files)
print r.text

要控制上产文件的大小,可以设置请求实体的大小,例如:

app.config['MAX_CONTENT_LENGTH'] = 16 * 1024 * 1024 #16MB

如果要获取上传文件的内容可以:

file_content = request.files['image01'].stream.read()

使用template

在 template 目录下新建 upload.html ,确保在 HTML 表单中设置 enctype=”multipart/form-data” 属性

<form action="" method=post enctype=multipart/form-data>
	<div class="form-group">
	  <label for="exampleInputFile">上传文件</label>
	  <input type="file" name="file">
	  <p class="help-block">上传数据</p>
	  <button type="submit" class="btn btn-default">Submit</button>
	</div>
</form>

在 views.py 中写 upload_file 方法处理上传逻辑

@crawler_control.route('/upload', methods=['POST'])
def upload_file():
	if request.method == 'POST':
		f = request.files['file']
		if f and '.' in f.filename and f.filename.rsplit('.', 1)[1] in app.config['ALLOWED_EXTENSIONS']:
			filename = secure_filename(f.filename)
			path = op.join('/tmp', filename)
			f.save(path)
		return "Success"
	return render_template_string("only support POST")

2017-07-27 flask , web , python , linux

Flask restful

使用 JSON 作为交换格式

处理 JSON 时,请求和响应头的 Content-Type 设置为 application/json

from flask import Flask, request, Response
import json
app = Flask(__name__)

@app.route('/json', methods=['POST'])
def my_json():
	print request.headers
	print request.json
	rt = {'info':'hello '+request.json['name']}
	# add custom headers
	response.headers.add('Server', 'python flask')
	return Response(json.dumps(rt),  mimetype='application/json')

if __name__ == '__main__':
	app.run(debug=True)

模拟客户端请求

import requests, json

user_info = {'name': 'einverne'}
headers = {'content-type': 'application/json'}
r = requests.post("http://127.0.0.1:5000/json", data=json.dumps(user_info), headers=headers)
print r.headers
print r.json()

模拟 RESTful 接口

from flask import Flask
app = Flask(__name__)

@app.route('/')
def hello_world():
	return 'hello world'

@app.route('/user/<username>')
def user(username):
	print username
	print type(username)
	return 'hello world'

@app.route('/user/<username>/friends')
def user_friends(username):
	print username
	print type(username)
	return 'hello world'

if __name__ == '__main__':
	app.run(debug=True)

使用内置类型装换

@app.route('/page/<int:num>')
def page(num):
	print num
	print type(num)
	return 'hello world'

自动将 num 转换成 int 类型,目前 Flask 支持的转换有:

类别 解释
string 任何不带 slash(/) 的字符串
int 整数
float float
path 接受 slash(/)
any 所有
uuid uuid string

复杂的用法,比如定义一个范围

@app.route('/page/<int:num1>-<int:num2>')
def page(num1, num2):
	print num1
	print num2
	return 'hello world'

自定义转换器

自定义的转换器是一个继承 werkzeug.routing.BaseConverter 的类,修改 to_pythonto_url 方法即可。to_python 方法用于将url中的变量转换后供被 @app.route 包装的函数使用,to_url 方法用于 flask.url_for 中的参数转换。

下面是一个示例,将 HelloWorld/index.py 修改如下:

from flask import Flask, url_for
from werkzeug.routing import BaseConverter

class MyIntConverter(BaseConverter):
	def __init__(self, url_map):
		super(MyIntConverter, self).__init__(url_map)

	def to_python(self, value):
		return int(value)

	def to_url(self, value):
		return 'hi'
app = Flask(__name__)
app.url_map.converters['my_int'] = MyIntConverter


@app.route('/page/<my_int:num>')
def page(num):
	print num
	print url_for('page', num='123')
	return 'hello world'

if __name__ == '__main__':
	app.run(debug=True)

浏览器访问 http://127.0.0.1:5000/page/123 后,HelloWorld/index.py 的输出信息是:

123 
/page/hi

url for

上面例子只能提到的 url_for 方法用于构建URL,他的使用方法如下

from flask import Flask, url_for
app = Flask(__name__)

@app.route('/')
def hello_world():
	pass

@app.route('/user/<name>')
def user(name):
	pass

@app.route('/page/<int:num>')
def page(num):
	pass

@app.route('/test')
def test():
	print url_for('hello_world')
	print url_for('user', name='einverne')
	print url_for('page', num=1, q='hadoop mapreduce 10%3')
	print url_for('static', filename='uploads/01.jpg')
	return ''

if __name__ == '__main__':
	app.run(debug=True)

输出

/
/user/einverne
/page/1?q=hadoop+mapreduce+10%253
/static//uploads/01.jpg

url for 后接方法名


2017-07-27 linux , flask , json , restful , web , python

Flask 使用介绍

Flask 是一个轻量级的基于 python 的 web 框架。

安装运行

一般情况下,只要通过 pip 安装 Flask 即可:

pip install Flask

进入 python shell

>>> import flask
>>> print flask.__doc__
	flask
	~~~~~
	A microframework based on Werkzeug.  It's extensively documented
	and follows best practice patterns.
	:copyright: (c) 2015 by Armin Ronacher.
	:license: BSD, see LICENSE for more details.
>>> print flask.__version__
0.12.2

创建 index.py 文件,在文件中放入以下内容:

from flask import Flask

app = Flask(__name__)

@app.route('/')
def hello_world():
	return 'Hello World!'

if __name__ == '__main__':
	app.run()

运行 python index.py

python index.py
 * Running on http://127.0.0.1:5000/

变量 app 是一个 Flask 实例,当客户端访问根目录 / 时,将响应 hello_world() 函数返回的内容。这不是返回 Hello World! 这么简单,Hello World! 只是 HTTP 响应报文的实体部分,状态码等信息既可以由 Flask 自动处理,也可以通过编程来制定。

Tips

更改静态资源地址

在创建 Flask 时使用额外的参数,具体可参考 __doc__

显示调试信息

添加 run 函数参数:

app.run(debug=True)

绑定网络接口和端口

默认情况下,Flask 使用 127.0.0.1 ,端口为 5000,通过如下方式更改:

app.run(host='0.0.0.0', port=80, debug=True)

绑定 80 端口需要 root 权限运行 index.py

获取请求参数

from flask import Flask, request
app = Flask(__name__)

@app.route('/')
def hello_world():
	params = request.args.items()
	return params.__str__()

if __name__ == '__main__':
	app.run()

另外可以通过 request.full_pathrequest.path 来获取客户端请求 url

获取 POST 请求参数

from flask import Flask, request

app = Flask(__name__)

@app.route('/')
def hello_world():
	return 'hello world'

@app.route('/register', methods=['POST'])
def register():
	print request.headers
	print request.form
	print request.form['name']
	print request.form.get('name')
	print request.form.getlist('name')
	print request.form.get('nickname', default='little apple')
	return 'welcome'

if __name__ == '__main__':
	app.run(debug=True)

使用 requests 模拟客户端请求:

import requests
user_info = {'name': 'einverne', 'password': '123'}
r = requests.post("http://127.0.0.1:5000/register", data=user_info)
print r.text

唯一 URL

构造访问 URL 时可能会遇到如下两种情况:

@app.route('/projects/')
def projects():
    return 'The project page'

@app.route('/about')
def about():
    return 'The about page'

解释:

  • 第一种类似文件系统中访问文件夹,访问一个结尾不带斜线的 URL 会被 Flask 重定向到带斜线的规范 URL 去
  • 第二种类似 Unix-like 系统中的路径名,访问结尾带斜线的 URL 会产生一个 404 “Not Found” 错误。

RESTful

Flask 下有 Flask-Restless 结合 SQLAlchemy 轻松实现 RESTful 。

reference


2017-07-27 python , web , flask , django

Flask cookie and session

因为HTTP协议是无状态的,即服务器不知道用户上一次做了什么,这严重阻碍了交互式Web应用程序的实现,所以引入了 Cookie 和 Session。

session

from flask import Flask, render_template_string, \
	session, request, redirect, url_for
app = Flask(__name__)
app.secret_key = 'F12Zr47j\3yX R~X@H!jLwf/T'

@app.route('/')
def hello_world():
	return 'hello world'

@app.route('/login')
def login():
	page = '''
	<form action="" method="post">
		<p>name: <input type="text" name="user_name" /></p>
		<input type="submit" value="Submit" />
	</form>
	'''
	return render_template_string(page)
	
@app.route('/do_login', methods=['POST'])
def do_login():
	name = request.form.get('user_name')
	session['user_name'] = name
	return 'success'

@app.route('/show')
def show():
	return session['user_name']

@app.route('/logout')
def logout():
	session.pop('user_name', None)
	return redirect(url_for('login'))

if __name__ == '__main__':
	app.run(debug=True)

设置 session 过期时间

from datetime import timedelta
from flask import session, app
session.permanent = True
app.permanent_session_lifetime = timedelta(minutes=5)
from flask import Flask, request, Response, make_response
import time
app = Flask(__name__)

@app.route('/')
def hello_world():
	return 'hello world'

@app.route('/add')
def login():
	res = Response('add cookies')
	res.set_cookie(key='name', value='letian', expires=time.time()+6*60)
	return res

@app.route('/show')
def show():
	return request.cookies.__str__()

@app.route('/del')
def del_cookie():
	res = Response('delete cookies')
	res.set_cookie('name', '', expires=0)
	# print res.headers
	# print res.data
	return res
if __name__ == '__main__':
	app.run(host='0.0.0.0', debug=True)

reference


2017-07-27 flask , web , python

北京租房所思所想

毕业面临人生第一次租房,而到现在从学校搬出来也已经有近一个月时间,期间工作有些繁忙,而有一些租房相关的笔记一直躺在WizNote中,直到今天回到家,才想到应该把我的经历记下来,提醒自己以后租房过程中避坑。

信息来源

现在的社会是一个信息为主的社会,我们经常挂在嘴边说的一句话就是信息不对称能够产生利益,现在社会很多的金钱交易都是基于信息的不对称。而租房信息获取的途径也会直接导致以后一年的住房条件和心情。下面就讲讲我参考的几个主要站点和App。

自如

首先就是自如,也是我周围同学使用最多的,大多数周围的同学都通过自如找到了房子,我也看过一些自如的房子,自如有如下特点

  • 自如的房子装修一般还不错,该有的家具设施都有,一般也比较干净
  • 自如需要多交一个月的服务费,和中介多交一个月也无太大差别,另水电自理
  • 双周的保洁还是让公共区域非常的干净,至少我看过的两个房子进门都非常干净也没有异味

缺点:

  • 但是自如的房子一般都比较”贵”,相对来讲
  • 住自如的房子就要抱着和室友相处的”危险”,当然我相信这个世界是美好的,同在一个屋檐下,在同一个城市打拼,本就应该相互尊重相互谦让一下,然而事实就是我身边确实发生了非常不愉快的事情,甚至严重到了报警,所以如果租自如的房子,请做好合租的思想准备。

107间

在同学QQ群中第一次听说,立马下载安装注册之后,需要缴纳100元作为认证费用,只有缴纳费用之后才能看到发布者联系方式。可是缴纳认证费用之后连续联系的两家都已经将房屋出租出去。不及时更新房屋信息,并且在缴纳认证费用的界面没有任何提示。如果30天内没有签约,费用不退。

总结下:

  • 房源相对较少
  • 房屋信息更新不及时,打电话联系客服竟然还是人工和房东进行确认,这都什么时候还用人工确认
  • 签约流程不明确,107间确实过滤了大部分中介,可带来的却是中间确认流程的缺失

强烈建议将该App 拉入黑名单。白白让我交了100块的认证。

链家

房源多,整租单间价格和市场几乎就是市场均价,但是环境看机会。

我爱我家

类似链家。

安居客

同样也是一个找租房的应用,不过看官网和他应用的主要内容似乎是一家经营房产,买卖房屋为主业的公司,租房只是他们其中的一个副业,当然也可以在上面找找周围合适的房屋信息,个人感觉比那个鬼 107 间要靠谱一些,和自如相同也是有“房管”来管理租赁一个范围内的房屋,和自如类似。可以参考,毕竟最后没有在安居客租房因此也不能下结论。

内网

如果你公司内网有租房信息,请一定要利用好,租房那天在外面跑了很多地方,顶着大太阳看了一个有一个房子,却只有在公司内网同事分享的一些房子靠谱一些。个人最后也在同学的推荐下找到了相对比较合适的房子。

58

其他 58,链家 ,豆瓣 之类,只是寥寥看了一下,并没有真正却联系,在看房的时候也了解到不乏有之前的房东在 58 上找到很好的房子,进而想要帮房东更快的租出房子而内网发布信息的。当然如果个人贸然出租请还是注意防骗。

关于合同的一切

这个社会的复杂性都在一直合同中变的扁平和简洁,而着又同样带来了合同的复杂性,合同越复杂带来的后续处理细节就越方便。我们找到房东直租,但房东是一位上了年龄的阿姨,合同也让我们自己带,网上,同学问了一圈,最后在住房和城市建设委员会的网站上找了一份租房合同模板 。但网站上给出的版本还是 08 年的版本,我们又找了一份 14 年的修订版 —- 北京市房屋租赁合同(自行成交版2014)

有了合同模板就好很多,按照上面的填空,填完也能够整个合同流程有一个大概的印象,应该注意的地方合同中大多都有提到,当然除了合同中提到的内容,涉及到金钱的地方要额外的注意。

  • 押一付三,每月金额,押金金额,开始日期结束日期,交房租日期。
  • 家具、空调、洗衣机等等电器的使用情况和损坏状况。
  • 关键的一点,水电费的读数,取暖费谁交。

2017-07-25 租房 , 合租 , 生活 , living

MySQL 中 KEY vs PRIMARY KEY vs UNIQUE KEY vs INDEX 的区别

对于题目中提出的问题,可以拆分来一步步解决。在 MySQL 中 KEYINDEX 是同义。那这个问题就可以简化为 PRIMARY KEY,UNIQUE KEY 和 INDEX 的区别。而这三者也正好是索引的划分,主键索引,唯一索引和普通索引(INDEX)。

使用 INDEX 来加速从数据库中读取数据。INDEX 通常加在那些 JOIN, WHERE,和 ORDER BY 子句的列上。

创建索引时,需要确保该索引是应用在 SQL 查询语句的条件(一般作为 WHERE 子句的条件)。 实际上,索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录。

索引也有它的缺点:虽然索引提高了查询速度,却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件。

MySQL 中 KEY 与 INDEX 区别

KEY 通常是 INDEX 同义词。如果关键字属性 PRIMARY KEY 在列定义中已给定,则 PRIMARY KEY 也可以只指定为KEY。这么做的目的是与其它数据库系统兼容。 PRIMARY KEY 是一个唯一 KEY,此时,所有的关键字列必须定义为NOT NULL。如果这些列没有被明确地定义为NOT NULL,MySQL应隐含地定义这些列。

KEY 即键值,是关系模型理论中的一部份,比如有主键(PRIMARY KEY),外键(Foreign KEY)等,用于数据完整性检否与唯一性约束等。而 INDEX 则处于实现层面,比如可以对表个的任意列建立索引,那么当建立索引的列处于SQL语句中的Where条件中时,就可以得到快速的数据定位,从而快速检索。至于UNIQUE INDEX,则只是属于INDEX中的一种而已,建立了UNIQUE INDEX表示此列数据不可重复,猜想MySQL对UNIQUE INDEX类型的索引可以做进一步特殊优化吧。

于是,在设计表的时候,KEY只是要处于模型层面的,而当需要进行查询优化,则对相关列建立索引即可。

KEY

KEY 是数据库的物理结构,包含两层含义,一是约束,偏重于约束和规范数据库的结构完整性,二是索引,辅助查询。

  • primary key 有两个作用,一是约束作用(constraint),用来规范一个存储主键和唯一性,但同时也在此key上建立了一个index;
  • unique key 也有两个作用,一是约束作用(constraint),规范数据的唯一性,但同时也在这个key上建立了一个index;
  • foreign key也有两个作用,一是约束作用(constraint),规范数据的引用完整性,但同时也在这个key上建立了一个index;

可见,key是同时具有constraint和index的意义.

INDEX

INDEX 也是数据库的物理结构,但他只有辅助查询作用,它会在创建时占用另外的空间。索引分为前缀索引、全文索引等。索引只是索引,不会去约束索引字段的行为。

PRIMARY KEY 和 UNIQUE KEY 的区别

PRIMARY KEYs(主键) 和 UNIQUE KEYs(唯一键约束) 是类似的, PRIMARY KEY通常是一列,也有可能多列,通常由他来决定一行数据(row)。 一张表只能有一个 PRIMARY KEY,但可以有很多 UNIQUE KEY。 当给一列设置为 UNIQUE KEY 之后,不能有两行在该列上有相同的数据。 PRIMARY KEY 不允许有 NULL值,但是 UNIQUE KEY 可以。

修改表 `ALTER TABLE table_name ADD PRIMARY KEY(column_name, …)

总结,相同点:

  • PRIMARY KEY 和 UNIQUE KEY 都是用来保证列上数据的为原型
  • 都可以在一列或者多列上加

差异点:

  • 同一张表 PRIMARY KEY 只能有一个, UNIQUE KEY可以有多个
  • PRIMARY KEY 不能有空值, UNIQUE KEY 可以有。如果 PRIMARY KEY 的1个或多个列为NULL,在增加PRIMARY KEY时,列自动更改为 NOT NULL 。而UNIQUE KEY 对列没有要求是通过参考索引实施的,如果插入的值均为NULL,则根据索引的原理,全NULL值不被记录在索引上,所以插入全NULL值时,可以有重复的,而其他的则不能插入重复值。

    alter table t add constraint uk_t_1 UNIQUE (a,b); insert into t (a ,b ) values (null,1); # 不能重复 insert into t (a ,b ) values (null,null);#可以重复

在MySQL中,对于一个PRIMARY KEY的列,MySQL已经自动对其建立了UNIQUE INDEX,无需重复再在上面建立索引了。

网上关于 PRIMARY KEY 和 UNIQUE INDEX 的一段解释:

Note that “PRIMARY” is called PRIMARY KEY not INDEX. 
KEY is something on the logical level, describes your table and database design (i.e. enforces referential integrity …) 
INDEX is something on the physical level, helps improve access time for table operations. 
Behind every PK there is (usually) UNIQUE INDEX created (automatically). 

操作索引

建立索引会占用磁盘空间的索引文件。

CREATE INDEX IndexName ON mytable(username(length));

如果是 CHAR,VARCHAR 类型,length 可以小于字段实际长度;如果是 BLOB 和 TEXT类型,必须指定 length。

在创建表时创建索引:

CREATE TABLE mytable( 
	ID INT NOT NULL,   
	username VARCHAR(15) NOT NULL,
	INDEX [INDEXName] (username(length)) 
);  

删除索引

DROP INDEX [INDEXName] ON mytable;

2017-07-24 MySQL , Linux , Key , Index

树莓派中安装MySQL 5.7

最近用到 MySQL 5.7 把所有设备上的 MySQL 版本都升级到了最新,在 Ubuntu/Debian 上升级MySQL 5.7 的内容可以在之前的文章看到。现在记录一下树莓派中升级 MySQL 的步骤。使用到 MySQL 5.7 主要也是因为其支持的新数据类型,之前项目用到了,迁移的时候会遇到问题。在网上寻找解决方案的时候遇到了一个和我遭遇差不多的,需要使用到 MySQL 5.7+ 才支持的 JSON data-type。

在 respberry pi 官方的源中,只有稳定版的 5.5 MySQL,如果要用到最新的版本只能够自己手动编译更新安装,幸而 Debian 提供了编译好的安装包 ,根据以下步骤就能够安装上。

下载依赖

apt-get 安装

sudo apt-get install libaio1 libaio-dev libhtml-template-perl libevent-core-2.0-5

需要安装新版本的 gcc,所以要从 stretch 源中拉取

sudo vim /etc/apt/sources.list
# change jessie to stretch

sudo apt-get update
sudo apt-get install gcc-6 g++-6

# change stretch back to jessie 
sudo apt-get update

然后安装两个依赖

wget http://ftp.debian.org/debian/pool/main/m/mecab/libmecab2_0.996-3.1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/l/lz4/liblz4-1_0.0~r131-2+b1_armhf.deb
sudo dpkg -i libmecab2_0.996-3.1_armhf.deb
sudo dpkg -i liblz4-1_0.0~r131-2+b1_armhf.deb

移除原来的版本

sudo apt-get --purge remove mysql-server # and a lot of like client, common etc

安装最新版

下载 deb 并安装

wget http://ftp.debian.org/debian/pool/main/m/mysql-5.7/libmysqlclient-dev_5.7.18-1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/m/mysql-5.7/libmysqlclient20_5.7.18-1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/m/mysql-5.7/libmysqld-dev_5.7.18-1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/m/mysql-5.7/mysql-client-5.7_5.7.18-1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/m/mysql-5.7/mysql-client-core-5.7_5.7.18-1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/m/mysql-5.7/mysql-server-5.7_5.7.18-1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/m/mysql-5.7/mysql-server-core-5.7_5.7.18-1_armhf.deb
wget http://ftp.debian.org/debian/pool/main/m/mysql-defaults/mysql-common_5.8+1.0.2_all.deb

sudo dpkg -i mysql-common_5.8+1.0.2_all.deb
sudo dpkg -i mysql-client-core-5.7_5.7.18-1_armhf.deb
sudo dpkg -i mysql-client-5.7_5.7.18-1_armhf.deb
sudo dpkg -i mysql-server-core-5.7_5.7.18-1_armhf.deb
sudo dpkg -i mysql-server-5.7_5.7.18-1_armhf.deb

注意这里的版本号,可能之后会更新,去 ftp 中获取最新的版本在这里替换即可。

安装完成之后 sudo reboot

在启动之后

mysql_upgrade -u root -p --force
# 然后输入密码
sudo service mysql restart

安装完毕。

reference


2017-07-23 MySQL , Linux , RespberryPi

使用 rsync 增量同步备份文件

rsync 全名 Remote Sync,是类unix系统下的数据镜像备份工具。

rsync - a fast, versatile, remote (and local) file-copying tool

rsync是一个功能非常强大的工具,其命令也有很多功能特色选项

它的特性如下:

  • 可以从远程或者本地镜像保存整个目录树和文件系统。
  • 可以保持文件原来的权限、时间、所有者、组信息、软硬链接等等。
  • 无须特殊权限即可安装。
  • 快速:他要比 scp (Secure Copy) 要快;第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作,可以使用更少的带宽。
  • 安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
  • 支持匿名传输,以方便进行网站镜像。

rysnc 的官方网站:http://rsync.samba.org/ ,可以从上面得到最新的版本。

rsync的使用

Rsync的命令格式可以为以下六种:

rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]HOST:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] 

rsync 有六种不同的工作模式:

  1. 拷贝本地文件;当SRC和DEST路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。

  2. 使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DEST 路径地址包含单个冒号”:”分隔符时启动该模式。

  3. 使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC 地址路径包含单个冒号”:”分隔符时启动该模式。

  4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。

  5. 从本地机器拷贝文件到远程rsync服务器中。当DEST路径信息包含”::”分隔符时启动该模式。

  6. 列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。

这6种方式看似复杂,其实只要记住一些常用参数,然后记住一些常用方法就能够将 rsync 利用起来。

可以man rsync 参考 rsync 文档,了解详细的使用方法,下面解析一些参数的使用

常用的几个参数

-v  verbose 详细输出
-a 	归档模式,递归方式传输文件,并保持连接,权限,用户和组,时间信息
-z  压缩文件传输
-h  human-readable, 输出友好

rsync参数的具体解释如下:

-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关,强制对文件传输进行校验
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件,不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--force 强制删除目录,即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间,单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息

Example

下面举例说明rsync的六种不同工作模式:

拷贝本地文件

当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。

同步文件

rsync -ahvz backup.tar.gz  /backups/  # DESC 不存在时自动创建

将备份文件同步到 /backups/ 目录下。

同步目录

rsync -avzh /home/src /backups/files/

/home/src 目录下的文件同步发送到 /backups/files 目录下。记住如果目标地址没有 src 目录,rsync 会自动创建改文件夹。

rsync -avz /home/src/ /backups/files/

SRC 路径末尾的 / 表示不自动创建 DEST 文件夹,在 man rsync 中的解释就是末尾的 / 表示”拷贝当前目录下的文件” ,而不是”拷贝当前的目录“,

远程 shell 拷贝到远程

使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DES路径地址包含单个冒号”:”分隔符时启动该模式。

rsync -avz /local/path/  user@remoteip:/path/to/files/

将本地 /local/path/ 中的文件同步备份到远程 /path/to/files/ 目录。

远程 shell 拷贝到本地

使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。

rsync -avz user@remoteip:/home/user/src  ./src

远程 rsync 服务器拷贝到本地

从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。

rsync -av user@remoteip::www  /databack

拷贝本地文件到远程

从本地机器拷贝文件到远程rsync服务器中。当DES路径信息包含”::”分隔符时启动该模式。

rsync -av /databack user@remoteip::www

文件列表

列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。

rsync -v rsync://remoteip /www 

rsync 使用更改端口

经常遇见的一种情况就是 ssh 更改了默认 22 端口,这个时候使用 -e 参数即可。

rsync有两种常用的认证方式,一种为rsync-daemon方式,另外一种则是ssh。

ssh方式比较缺乏灵活性 一般为首选,但当远端服务器的ssh默认端口被修改后,rsync时找不到一个合适的方法来输入对方ssh服务端口号。

比如现在向机器 remoteip 传送文件,但此时 remoteip 的 ssh 端口已经不是默认的22 端口。

键入命令

rsync /local/path user@remoteip:/path/to/files/ # 出现错误

rsync中的命令 参数 -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步。

参数的作用是可以使用户自由选择欲使用的shell程序来连接远端服务器,当然也可以设置成使用默认的ssh来连接,但是这样我们就可以加入ssh的参数了。

现在命令可以这样写了:

rsync -avz -e "ssh -p $port" /local/path/ user@remoteip:/path/to/files/

显示备份进度

可以使用 --progress 选项来显示进度

rsync -avzhe ssh --progress /home/files/ root@remoteip:/path/to/files/

限制备份文件最大值

设置 Max size 备份文件

rsync -avzhe ssh --max-size='2000k' /var/lib/rpm/ root@remoteip:/root/tmprpm	

备份结束后自动删除本地文件

rsync --remove-source-files -zvh backup.tar /tmp/backups/	

设置备份带宽

rsync --bwlimit=100 -avzhe ssh /var/lib/rpm/ root@remoteip:/root/tmprpm/	

参考


2017-07-22 Linux , rsync , scp

Tmux 使用介绍

Tmux 是一个很棒的终端复用工具,和 screen 命令类似,但是 Tmux 终极的分屏功能要比 screen 强大很多,当然入门也比 screen 要高很多。如果你长时间在终端进行编程或者操作,或者你陷入无数的 Tab 而无法自拔,那么你应该需要开始了解一些 Tmux。

本文会从如下几个方面对 Tmux 进行介绍:

  1. Tmux 基本使用
  2. Tmux 的基本模块 - Windows - Panes - Sessions

Tmux 主要包括以下几个模块:

  • session 会话:一个服务器连接可以包含多个会话
  • window 窗口:一个会话可以包含多个窗口
  • pane 面板:一个窗口可以包含多个面板,如果桌面足够大可以充分利用面板达到非常强大的分屏

安装

Ubuntu/Debian 系下

sudo apt-get install tmux

基础概念

Tmux is a tool that allows running multiple terminal sessions through a single terminal window. It allows you to have terminal sessions running in the background and attach and detach from them as needed, which is very useful.

Tmux 的前缀快捷键

Tmux 的快捷键前缀(Prefix), 为了使自身的快捷键和其他软件的快捷键互不干扰,Tmux 提供了一个快捷键前缀,和 screen 默认激活控制台的 Ctrl+a 不同,Tmux 默认的是 Ctrl+b。当想要使用 Tmux 的快捷键时,需要先按下快捷键前缀,然后再按下快捷键。Tmux 所使用的快捷键前缀默认是组合键 Ctrl-b(同时按下 Ctrl 键和 b 键)。 例如,假如你想通过快捷键列出当前 Tmux 中的会话(对应的快捷键是 s),那么你只需要做以下几步:

  1. 按下组合键 Ctrl-b (Tmux 快捷键前缀)
  2. 放开组合键 Ctrl-b
  3. 按下 s 键

使用快捷键之后就可以执行一些相应的指令了。当然如果你不习惯使用 Ctrl+b,也可以在~/.Tmux 文件中加入以下内容把快捷键变为 Ctrl+a, 或者其他快捷键:

# Set prefix key to Ctrl-a
unbind-key C-b
set-option -g prefix C-a

在下文中就使用 <prefix> 来代替 Tmux 的前缀快捷键了。

Tmux 的配置文件

每当开启一个新的会话 session 时,Tmux 都会先读取 ~/.tmux.conf 这个文件。该文件中存放的就是对 Tmux 的配置。

如果你希望新的配置项能够立即生效,那么你可以将下面这一行配置加入到文件 ~/.tmux.conf 中。

bind r source-file ~/.tmux.conf \; display-message "tmux config reloaded" # create new short cut to reload tmux.conf

这样配置了之后,每当向 ~/.tmux.conf 文件中添加了新的配置,只需要按下 <prefix> r 就可以重新加载配置并使新的配置生效,从而免去了开启一个新的会话。

以下所有的操作都是激活控制台之后,即键入 <prefix> 前提下才可以使用的命令

基本操作

<prefix> ?    列出所有快捷键;按 q 返回
<prefix> d    脱离当前会话,可暂时返回 Shell 界面,输入`tmux attach`能够重新进入之前会话
<prefix> s    选择并切换会话 session;在同时开启了多个会话时使用
<prefix> D    选择要脱离的会话;在同时开启了多个会话时使用
<prefix> :    进入命令行模式;此时可输入支持的命令,例如 kill-server 所有 Tmux 会话
<prefix> [    复制模式,光标移动到复制内容位置,空格键开始,方向键选择复制,回车确认,q/Esc 退出
<prefix> ]    进入粘贴模式,粘贴之前复制的内容,按 q/Esc 退出
<prefix> = 	  选择性粘贴缓冲区中内容
<prefix> ~    列出提示信息缓存;其中包含了之前 Tmux 返回的各种提示信息
<prefix> t    显示当前的时间
<prefix> Ctrl+z    挂起当前会话

如果要查看当前 Tmux 的配置,可以通过 tmux show -g 来查看。

session 相关

Tmux 的一个 Session 可以包含多个 Windows.

在 Tmux 外:

tmux 		  						创建 session
tmux new -s $session_name  			创建并指定 session 名字
tmux ls  							列出存在的 session,包括 session 中存在的 windows
tmux attach -t session_name 		进入指定会话 session_name
tmux a -t $session_name  			上面的缩写形式,进入已存在的 session
tmux kill-session -t $session_name 	删除指定 session

在 Tmux 内:

<prefix> :kill-session  			删除退出当前 session
<prefix> d 							临时退出 session,回话在后台运行,可以通过 attach 进入指定的会话
<prefix> :kill-server  				删除所有活跃 session
<prefix> :new -s session_name       在 Tmux 中新建 session
<prefix> s  	列出所有活跃 session,并可以从列表中选择 session
<prefix> $  	重命名 session

窗口相关

window(窗口)在 session 里,一个 session 可以有 N 个 window,并且 window 可以在不同的 session 里移动。 window 可以看成是一个 session 的不同 tab。

<prefix> c 		创建 window
<prefix> & 		删除或者关闭 window
<prefix> n 		下一个 window
<prefix> p 		上一个 window
<prefix> w 		列出现在开启的 window
<prefix> , 		重命名 window
<prefix> f 		在多个 window 里搜索关键字
<prefix> l 	    last window 在相邻的两个 window 里切换
<prefix> 0,1,2  在 window 之间切换,如果窗口数超过 10 个,可以使用 `<prefix> 'num` 来切换

pane 相关

pane 在 window 里,可以有 N 个 pane,并且 pane 可以在不同的 window 里移动、合并、拆分

创建 pane

<prefix> " 		横切 split pane horizontal,后面会 remap 这个键
<prefix> %      竖切 split pane vertical,后面 remap 这个键
<prefix> o 		按顺序在 pane 之间移动
<prefix> x      删除 pane
<prefix> z      最大化 pane 和恢复原状
<prefix> !      移动 pane 至 window
<prefix> "空格" 更换 pane 排版
<prefix> { 		移动 pane 往左边,往上面
<prefix> } 		移动 pane 往右边,往下面
<prefix> q 		显示 pane 编号,在显示编号的时候按对应数字可以切换到该 pane,这个操作太复杂,后面 remap
<prefix> 方向键上下左右   	上下左右选择 pane

调整 pane 的大小

<prefix> :resize-pane -U #向上
<prefix> :resize-pane -D #向下
<prefix> :resize-pane -L #向左
<prefix> :resize-pane -R #向右
<prefix> :resize-pane -D 20 (Resizes the current pane down by 20 cells)
<prefix> :resize-pane -U 20 (Resizes the current pane upward by 20 cells)
<prefix> :resize-pane -L 20 (Resizes the current pane left by 20 cells)
<prefix> :resize-pane -R 20 (Resizes the current pane right by 20 cells)
<prefix> :resize-pane -t 2 20 (Resizes the pane with the id of 2 down by 20 cells)
<prefix> :resize-pane -t -L 20 (Resizes the pane with the id of 2 left by 20 cells)

其他低频率操作

在上下左右的调整里,最后的参数可以加数字 用以控制移动的大小,例如:

<prefix> :resize-pane -D 50

移动 pane 合并至某个 window

<prefix> :join-pane -t $window_name

列出缓冲区目标

<prefix> :list-buffer

查看缓冲区内容

<prefix> :show-buffer

vi 模式

<prefix> :set mode-keys vi

快捷键帮助

<prefix> ? (<prefix> :list-keys)

Tmux 内置命令帮助

<prefix> :list-commands

TIPS

让你的 Tmux 更加高效,一下内容都可以编辑进 ~/.tmux.conf 用来进一步自定义 Tmux 的行为。 默认的 Tmux 有很多操作方式可能比较 awkward, 只有自己配置让自己熟悉他的行为之后才能让 Tmux 展现出最高效的部分。

自定义 Prefix

在前面也说过, Tmux 默认的 Prefix 是 Ctrl + b,可以按照自己的习惯设定 Prefix 快捷键,很多人将 Caps 和 Ctrl 互换,并且将 Prefix 定义为 Ctrl + a, 我自己使用了以下还是不怎么习惯,所以我将 Prefix 定义成了 Ctrl + \

定义分割 pane 的快捷键

默认情况下 Tmux 使用 " 来垂直分割成上下两部分,使用 % 来水平分割成左右两部分,但是这两个键需要 Shift+',以及很难按到的%,不如直观上使用 |- 来分割 pane。

# split panes using | and -
bind | split-window -h
bind - split-window -v
unbind '"'
unbind %

在 pane 中移动

在 pane 中移动是最高频的操作了,默认 Tmux 的行为需要每一次都按 <prefix>, 这样导致每一次都非常麻烦,所以在配置中定义 M-<direction> (M 代表 Meta,也就是键盘上的 Alt 键), 这样每一次只需要按 Alt+h, 就能够移动到左边的 pane。

# switch panes using Alt-arrow without prefix
bind -n M-h select-pane -L
bind -n M-l select-pane -R
bind -n M-k select-pane -U
bind -n M-j select-pane -D

这里另外推荐一个 Plugin,如果不想自己配置,可以使用这个插件 vim-tmux-navigator ,这个插件做到了在 pane 中移动就像在 vim 中一样,并且可以和 vim 无缝衔接。使用 Ctrl + hjkl 来在不同的 Panel 中移动。

设置 Colorscheme

在设置完 Tmux 在 Tmux 中使用 Vim 的时候会发现,Vim 的 colorscheme 变的有些奇怪,需要在 .bashrc 或者 .zshrc 中设置:

export TERM="xterm-256color"

复制模式

Tmux 中的复制需要使用 <prefix> [ 来进入,具体分为如下几步:

  • <prefix> [ 进入复制模式
  • space 开始复制,一共光标进行选择复制
  • Enter 复制并退出复制模式
  • 在将光标移动到指定位置,按 <prefix> ] 进行粘贴

Tmux 和 iTerm,Guake,Terminator 等终端的区别

X Windows 系统中常用的 Xterm,GNU Screen,SSH, GNome 中的 Terminal,KDE 中的 Konsole,Mac 下常用的 iTerm2 等,这些软件都属于 Terminal Emulator。 iTerm 等只是一个 GUI 软件,它的窗格只是窗格。而 Tmux 是终端复用,在一个命令行窗口中不仅可以显示多个 Shell 的内容,而且可以保持多个会话。 最重要的是:Tmux 和 Vim 一样属于字符终端软件,不需要任何 GUI 的支持,在远程登录时尤其有用。

reference


2017-07-21 tmux , linux , command

将 MySQL 升级到 5.7

这些天折腾 Django 的时候用到了 MySQL,然而本地和VPS 上使用的版本不一致,本地使用了 5.7 版本,而 VPS 上使用了 5.5 的老版本,在数据迁移的时候遇到了 5.5 版本下不支持 DATETIME(6) 这样的数据类型。 DATETIME(6) 用来保存精确到微秒的时间。

环境:

系统:Debian 7, 按道理 Ubuntu/Debian 系应该都可以

无奈只能升级 MySQL 到 5.7 , 结果也比较顺利,官方有很详细 的升级说明:

wget http://dev.mysql.com/get/mysql-apt-config_x.y.z-1_all.deb  # 从官网找到最新的版本,上面的链接中有
sudo dpkg -i mysql-apt-config_x.y.z-1_all.deb
sudo apt-get update
sudo apt-get install mysql-server

在中间弹出配置框时选择 5.7 ,应用,即可

mysql --version

最后记得运行

sudo mysql_upgrade -u root -p

reference


2017-07-20 MySQL , Linux

电子书

Google+

最近文章

  • 由 WebM 格式学习常见的容器和编码格式 因为使用 YouTube 所以接触到了 WebM 格式,这个格式 Google 开源的一个媒体容器格式,常见的文件后缀名是 .webm,他设计的目标是为了给 HTML5 提供视频和音频。Google 发起的 WebM 项目还有一个姊妹项目 WebP 是提供图像编码的。BSD 协议开源。1 https://en.wikipedia.org/wiki/WebM ↩
  • Jupyter 简单使用 Jupyter 是一个为了支持多语言交互式编程的项目, Jupyter Notebook 是一个开源的网络程序,允许用户创建和分享包含代码,视图,方程式,文本的文档。
  • GraphQL 初识 在开发服务端接口的时候接触到 GraphQL 这个名词,故而有了这篇文章。因为初始,所以整理过程难免有些错误和疏漏,请留言告知。在我们面对一个新的名词,或者一门新的技术时,了解的过程可以分成这么几部分,他是什么,他解决了什么问题,他和目前同类型的技术相比优势在哪里,这样几个部分去看也就能够比较粗略,但是快速的了解一样新东西了。所以这篇文章的组织结构也以这样的方式进行。
  • go 语言学习笔记 1 并发 Go 语言在语言级别支持协程,叫 goroutine。Go 语言标准库提供的所有系统调用 (syscall) 操作,当然也包括所有同步 IO 操作,都会出让 CPU 给其他 goroutine
  • 跨平台开源卡片记忆工具 anki 一开始的时候我无法用一句话来形容这个软件,大部分人将他称为背单词软件,部分人有拿他作为知识笔记软件,甚至有人拿他来学习乐谱,诗歌,但总之如果要用简单的话来描述这个软件,那么跨平台必定是关键词,另外一个关键词就是卡片,在另外一个就是循环记忆,那么至于卡片上承载什么样的内容,就完全由用户来决定了。