split 命令可以用来分割文件,支持按文本分割,也支持二进制分割。常见的格式
split [OPTION]... [FILE [PREFIX]]
输出的结果为多个文件 PREFIXaa,PREFIXab … 默认的大小是 1000 行,默认的 PREFIX 是 x
。
如果没有 FILE 文件,或者当 FILE 参数是 -
时,会从标准输入读取。
-C
指定分割文件大小:
split -C 10M large_file.mp4 small
将大文件 large_file.mp4
按照 10M 大小进行分割,并指定分割后文件前缀 small
,不指定前缀时, 自动对分割文件名命名,一般以 x 开头
-l
选项后接分割行
split -l 1000 large_file.txt small
split -b 100M data.bak smail
cat small* > new_file.txt
日志是每一个编程语言必备的模块,借助日志不仅可以监控在线服务的状态,也可以在出问题之后迅速的定位问题。
# -*- coding: utf-8 -*-
import logging
import sys
# 获取 logger 实例,如果参数为空则返回 root logger
# 最基本的入口,该方法参数可以为空,默认的 logger 名称是 root,如果在同一个程序中一直都使用同名的 logger,其实会拿到同一个实例,使用这个技巧就可以跨模块调用同样的 logger 来记录日志
logger = logging.getLogger("AppName")
# 指定 logger 输出格式
formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')
# 文件日志
file_handler = logging.FileHandler("test.log")
file_handler.setFormatter(formatter) # 可以通过 setFormatter 指定输出格式
# 控制台日志
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter # 也可以直接给 formatter 赋值
# 为 logger 添加的日志处理器
logger.addHandler(file_handler)
logger.addHandler(console_handler)
# 指定日志的最低输出级别,默认为 WARN 级别
logger.setLevel(logging.INFO)
# 输出不同级别的 log
logger.debug('this is debug info')
logger.info('this is information')
logger.warn('this is warning message')
logger.error('this is error message')
logger.fatal('this is fatal message, it is same as logger.critical')
logger.critical('this is critical message')
# 2016-10-08 21:59:19,493 INFO : this is information
# 2016-10-08 21:59:19,493 WARNING : this is warning message
# 2016-10-08 21:59:19,493 ERROR : this is error message
# 2016-10-08 21:59:19,493 CRITICAL: this is fatal message, it is same as logger.critical
# 2016-10-08 21:59:19,493 CRITICAL: this is critical message
# 移除一些日志处理器
logger.removeHandler(file_handler)
# 格式化输出
service_name = "Booking"
logger.error('%s service is down!' % service_name) # 使用 python 自带的字符串格式化,不推荐
logger.error('%s service is down!', service_name) # 使用 logger 的格式化,推荐
logger.error('%s service is %s!', service_name, 'down') # 多参数格式化
logger.error('{} service is {}'.format(service_name, 'down')) # 使用 format 函数,推荐
# 2016-10-08 21:59:19,493 ERROR : Booking service is down!
当你使用 logging 模块记录异常信息时,不需要传入该异常对象,只要你直接调用 logger.error() 或者 logger.exception() 就可以将当前异常记录下来。
# 记录异常信息
try:
1 / 0
except:
# 等同于 error 级别,但是会额外记录当前抛出的异常堆栈信息
logger.exception('this is an exception message')
# 2016-10-08 21:59:19,493 ERROR : this is an exception message
# Traceback (most recent call last):
# File "D:/Git/py_labs/demo/use_logging.py", line 45, in <module>
# 1 / 0
# ZeroDivisionError: integer division or modulo by zero
通过日志名称来区分同一程序的不同模块
logger = logging.getLogger("App.UI")
logger = logging.getLogger("App.Service")
import logging
import time
logging.basicConfig(format="%(asctime)s %(levelname)s %(message)s",
datefmt="%Y %b %d %H:%M:%S",
filename="./log.log",
filemode="w", # default is "a"
level=logging.INFO)
while True:
for i in range(6):
logging.log(i*10, "a log") # logging.log(level, msg)
time.sleep(1)
fmt 中允许使用的变量可以参考下表
%(module)s 调用日志输出函数的模块名 |
%(funcName)s 调用日志输出函数的函数名 |
%(created)f 当前时间,用 UNIX 标准的表示时间的浮点数表示 |
%(relativeCreated)d 输出日志信息时的,自 Logger 创建以来的毫秒数 |
最常用的是 StreamHandler 和 FileHandler, Handler 用于向不同的输出端打 log,比如可以将一份日志分别输出到文件和终端。
console = logging.StreamHandler(stream=sys.stdout) # 默认流为sys.stderr
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger().addHandler(console)
files = logging.FileHandler("log2.log", mode="a", encoding="utf-8") # 设置文件流
files.setLevel(logging.WARNING)
formatter = logging.Formatter("%(levelname)s %(message)s")
files.setFormatter(formatter)
logging.getLogger().addHandler(files)
说明:
logging 的配置大致有下面几种方式。
通过 basicConfig 配置 logger : https://docs.python.org/2/library/logging.html#logging.basicConfig
可能的原因有很多,但总结下来无非就一个,日志中使用了重复的 handler
切记添加 handler 时不要重复。
If you write something, and you want to share with the world. And let others use through pip install
, you can upload your package to pypi.
Put your code in some fold like douban
. Write your own setup.py
to give basic info about this lib or package. And you can put a README.md
file and LICENSE file
douban-dl/
LICENSE.txt
README.md
setup.py
douban/
__init__.py
__main__.py
other_packages.py
setup file often used to describe your project, you can have a template like this:
from setuptools import setup, find_packages
def readme():
with open('README.md') as f:
return f.read()
requirements = [
"bs4",
"requests"
]
setup(
name='douban-dl',
version='0.0.1',
description='',
long_description=readme(),
packages=['douban',],
url="https://github.com/einverne/douban-dl",
author="einverne",
author_email="your@email.com",
entry_points={
'console_scripts': [
'douban-dl = douban.__main__:main',
]},
keywords="douban downloader",
packages=find_packages(exclude=["tests"]),
license='MIT',
install_requires=requirements,
)
Register your own account at https://pypi.python.org/pypi. And create following file under ~/.pypirc
.
[distutils]
index-servers =
pypi
testpypi
[pypi]
username: einverne
password: password
[testpypi]
repository: https://test.pypi.org/legacy
username: einverne
password: password
Use following command to create a compressed archive file which is under dist
sub-directory. This file will wrap-up all project’s source code.
python setup.py sdist
And upload
python setup.py sdist [bdist_wininst] upload
this command upload archive file to pypi. bdist_wininst
option alse create windows distribution.
All above had beed tested by myself -> https://pypi.python.org/pypi/douban-dl
这篇文章主要介绍 Redis 的持久化机制,主从复制等等
通常情况下 Redis 会将数据存储于内存中,但 Redis 也支持持久化。Redis 支持两种持久化方式,RDB 方式 和 AOF 方式。RDB 通过快照方式,将内存数据写入磁盘。而 AOF 方式则是类似 MySQL 日志方式,记录每次更新的日志。前者性能高,但是可能引起一定的数据丢失,后者相反。
RDB 通过快照 snapshotting 完成,也是 Redis 默认的持久化方式,当符合一定条件时 Redis 会自动将内存中的所有数据以快照方式保存一份副本到硬盘上 (dump.rdb),这个过程称为”快照”。
Redis 根据以下情况执行快照:
save 900 1
表示在 15min(900s) 时间内,有一个或者一个以上键被更改则进行快照。save 300 10
表示 300 秒内超过 10 个 key 被修改,则发起快照SAVE 命令时, Redis 同步地进行快照操作,会阻塞所有来自客户端的请求。尽量避免在生产环境使用这一命令。
BGSAVE 命令,后台异步进行快照。查看快照是否成功,通过 LASTSAVE 命令获取最近一次成功执行快照时间,返回结果 Unix 时间戳。
FLUSHALL ,Redis 清除数据库所有数据。只要定义了自动快照条件,则会进行快照。如果没有定义自动快照,则不会进行快照。
复制操作时,即使没有定义自动快照条件,也会生成 RDB 快照
Redis 默认将快照文件存储在工作目录中 dump.rdb 文件中,可以通过配置 dir 和 dbfilename 两个参数分别来指定快照文件的存储路径和文件名。
快照的保存过程:
需要注意的是,每次快照持久化都是将内存数据完整写入到磁盘一次,并不是增量的只同步变更数据。如果数据量大的话,而且写操作比较多,必然会引起大量的磁盘 io 操作,可能会严重影响性能。
快照的方式是一定间隔备份一次,它的缺点就是如果 Redis 意外挂掉的话,就会丢失最后一次快照之后的所有修改。如果应用要求不能丢失任何修改可以采用 AOF 持久化方式。
AOF 将 Redis 执行的每一条写命令追加到硬盘文件中(默认为 appendonly.aof)。默认没有开启 AOF (append only file) ,可以通过 appendonly 参数启用:
appendonly yes
AOF 文件保存位置和 RDB 文件位置相同,通过 dir 参数设置,默认为 appendonly.aof ,通过 appendfilename 参数修改:
appendfilename appendonly.aof
Redis 在重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库。
操作系统会在内核中缓存写命令的修改,因此不是立即存盘,所以也可能会导致部分数据丢失。通过 fsync 函数强制系统写入磁盘的时机, 有三种方式如下(默认是:每秒 fsync 一次):
appendonly yes # 启用 aof 持久化方式
# appendfsync always # 收到写命令就立即写入磁盘,最慢,但是保证完全的持久化
appendfsync everysec # 每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中
# appendfsync no # 完全依赖 os, 性能最好,持久化没保证
AOF 方式的缺点:
bgrewriteaof
命令。 收到此命令 Redis 将使用与快照类似的方式将内存中的数据以命令方式保存到临时文件中,最后替换原来的文件结构上,容易发生单点故障,分配不同服务器
容量上,内存容易成为存储瓶颈,需要对数据进行分片
集群的特点在于拥有和单机实例同样的性能,同时在网络分区后能够提供一定的可访问性以及对主数据库故障恢复的支持。
复制多副本部署不同服务器,防止一台故障丢失数据。通过主从复制可以允许多个 slave server 拥有和 master server 相同的数据库副本。
主从复制特点:
从数据库配置中:
slaveof 主数据库地址 主数据库端口
当配置好 slave 后,slave 与 master 建立连接,然后发送 sync 命令。无论是第一次连接还是重新连接,master 都会启动一个后台进程,将数据库快照保存到文件中,同时 master 主进程会开始收集新的写命令并缓存。后台进程完成写文件后,master 发送文件给 slave, slave 将文件保存到硬盘上,再加载到内存中,接着 master 就会把缓存的命令转发给 slave, 后续 master 将收到的写命令发送给 slave。如果 master 同时收到多个 slave 发来的同步连接命令,master 只会启动一个进程来写数据库镜像,然后发送给所有的 slave。
使用 info 命令来判断当前 redis 是主库还是从库, role
字段,还可以利用 master_link_status
来查看主从是否异步,up 为正常,down 为同步异步。
监控 Redis 运行状况。
Redis 不同命令拥有不同的属性,是否只读命令,是否是管理员命令,一个命令可以拥有多个属性。
REDIS_CMD_WRITE
属性,会修改 Redis 数据库数据REDIS_CMD_DENYOOM
属性,可能增加 Redis 占用的存储空间,显然拥有该属性的命令都拥有 REDIS_CMD_WRITE
属性。REDIS_CMD_NOSCRIPT
属性,无法在 Redis 脚本中执行REDIS_CMD_RANDOM
脚本执行了该属性命令之后,不能执行拥有 REDIS_CMD_WRITE
属性命令REDIS_CMD_SORT_FOR_SCRIPT
产生随机结果REDIS_CMD_LOADING
当 Redis 启动时,只会执行拥有该属性的命令Redis 由单线程处理所有 client 请求,在接收到 client 发送的命令后会立即处理并返回结果,但是当 client 发出 multi
命令后,这个连接会进入事务上下文,连接后续命令并不会立即执行,而是先放到队列中,当收到 exec
命令后,redis 顺序执行队列中所有命令,并将结果一起返回。
get keydemo
multi
set keydemo 10
set keydemo 20
exec
get keydemo
在 multi 开始之后可以使用 discard
来取消事务。
[[乐观锁]],指的是每次拿数据时认为别人不会修改,不上锁,而在提交更新时判断期间是否有别人更新该数据。
乐观锁使用数据库版本记录实现,需要满足提交版本必须大于当前记录版本才能执行更新的乐观锁策略。
Redis 从 2.1 版本开始支持乐观锁,可以使用 watch 显式对 key 加锁。watch 命令会监视给定的 key,在 exec 结束时如果监视 key 从调用 watch 后发生过变化,则事务会失败。
phpRedisAdmin 是一个 PHP 实现的 Redis 管理 Web 界面。地址:https://github.com/erikdubbelboer/phpRedisAdmin
Openpyxl 是一个用来处理 Excel 格式文件的 Python 库,它能用来处理 Excel 2007 及以上版本的 excel 文件,也就是 .xlsx/.xlsm/.xltx/.xltm 格式的表格文件。
使用 pip 安装
pip install openpyxl
使用方法包括读和写,参考如下例子:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from openpyxl import Workbook, load_workbook
class ExcelWriter:
def __init__(self, name):
self.name = name
self.wb = Workbook()
def create_work_sheet(self, sheet_name, index):
ws = self.wb.create_sheet(sheet_name, index)
ws.sheet_properties.tabColor = "1072BA"
def write_row(self):
ws = self.wb.active
for row in range(1, 10): # 1 到 10 行
ws.append(range(10)) # 10 列
self.wb.save(self.name)
def set_cell_value(self, row, col, value):
ws = self.wb.active
ws.cell(row=row, column=col).value = value
def save(self):
self.wb.save(self.name)
class ExcelReader:
def __init__(self, path):
self.path = path
self.wb = load_workbook(path)
def get_all_sheetnames(self):
return self.wb.get_sheet_names
def get_all_rows(self, sheet_name):
"""
按行进行迭代
:param sheet_name:
:return:
"""
ws = self.wb.get_sheet_by_name(sheet_name) # 调用 get_sheet_by_name 如果 sheet name 不存在返回 None
if ws is None:
return
rows = ws.rows
for row in rows:
if row is None:
return
yield [col.value for col in row]
def get_cell_value(self, sheet_name, row, col):
ws = self.wb.get_sheet_by_name(sheet_name)
if ws is None:
return
return ws.cell(row=row, column=col).value
if __name__ == '__main__':
writer = ExcelWriter("sample.xlsx")
writer.write_row()
reader = ExcelReader('sample.xlsx')
sn = reader.get_all_sheetnames()
for data in reader.get_all_rows('Sheet'):
print data
openpyxl 还有很多重量级的功能,比如绘图等等,具体可参考文档。
Python 其他处理 Excel 的库
这一篇文章整理了一下目前互联网上免费,并且能够稳定发送邮件的服务,能够满足个人使用需求,能够通过 API 调用直接发送邮件的服务。
个人的一些要求有这些:
对于小型的应用,最开始的时候可以使用 Gmail SMTP 来发送邮件,免费,并且送达率由 Google 来保证,基本没有啥问题。
但是 Gmail SMTP 发送有数量限制:
如果你使用超过了 Gmail 的限制,那么 Google 会在没有任何警告的前提下停止 Gmail 账号的访问,需要等一整天之后才能再访问,所以如果你的服务每天会发送超过 500 封邮件的情况下最好还是不要使用 Gmail。
[[Elastic Email]] 是一家加拿大的公司。官网地址:
在官网上可以看到调用 API 发送邮件的价格大约在 1000 封邮件 $0.12 左右。当每天发送超过 100 封邮件的时候需要增加支付方式。这也就意味着当每天发送的邮件数量不超过 100 封邮件的时候完全免费。但一旦超过数量,就必须购买其服务。如果一个月超过 10000000 封邮件的时候可以联系客服给予优惠价。
[[Mailgun]] 提供了 HTTP API 和 SMTP 两种方式发送邮件。
免费服务每个月 10000 封 / 单个域名 限制,个人其实完全用不完。老账号似乎还有每个月 10000 封邮件的免费额度。但是 Mailgun 的 Free 账号,没有绑定信用卡已经无法添加域名了。
Mailgun 似乎调整了收费方式,对于新注册的用户,前三个月可以每个月有 5000 封邮件的免费额度。一旦超过 3 个月,就需要根据使用来选择套餐付费使用。
而 Mailgun 升级第一档付费的就要 35 美元一个月,并且也只能发送 5 万邮件一个月。
[[SendGrid]] 免费服务每天可以发送 100 封邮件,同样支持 API 和 SMTP 方式,还可以使用 Webhook 方式。
MXRoute 是 LowEndTalk 上一位名叫 jar 的管理员提供的邮件服务,在最便宜的时候可以以 15 美元的价格购买一年的服务,目前也在官网提供 199 美元终身的服务。
MXRoute 不允许发送垃圾邮件,并且对于发送邮件每个电子邮件地址每小时 300 封出站电子邮件。
如果你想以更低的价格使用 MXRoute 的服务,也可以联系我 以更低的价格出售 MXRoute 的服务。
Resend 是一个专为开发者而服务的发送邮件系统。提供每天 100 封,一个月 3000 封邮件的免费试用额度。
Postmark 每个月 100 封邮件免费额度。
Sparkpost 屏蔽了 xyz 域名。
Mailchimp 是一个电子邮件订阅的在线工具。
搜狐的服务,免费账号 50 封邮件 / 天 20 条短信 / 天。需要域名备案。
如果是通过 Amazon EC2 托管的程序,每个月前 62000 封邮件免费。
[[sendinblue]] 提供免费的发送额度,每天可以至多发送 300 封邮件。
mailtrap 给个人开发这提供免费 500 封测试邮件。
Mail baby 是一个邮件服务提供商。只需要保持每个月 1$ 的费用,每发送 1000 封邮件花费 20 美分。
Mail Space 最低的一个套餐是每个月 3.33$,年付。每个月可以发送 1000 封邮件。
Tutanota 是一家德国公司,可以支付每个月 1 欧元使用。
mailbox.org 也是一家德国公司,提供三档套餐:
Premium,25GB 邮件空间,50GB 云端存储空间,25 个 @mailbox.org 昵称,250 个自定义域名昵称,9 欧元/每月
ProtonMail 是一款加密电子邮箱。
免费版提供 500MB 空间,每天 150 封邮件限制,3 个文件夹/标签限制。
Mailchannels 是一家邮件发送服务提供商。
一个域名邮箱提供商。
Mailcheap 是一家提供邮件发送服务的供应商。
Migadu 是一个收费的域名邮箱服务提供商,看了一下价格还挺贵。
mailtrap 是一个发送邮件的服务,免费版本提供每个月 100 封的测试邮件。
Sendy 是一个电子邮件发送服务,宣称比 Amazon SES 便宜 100 倍。
XyaMail 是一个发送邮件的服务,基本套餐 7.99$ 一年,Premium 19.99$ 一年。
mymangomail 是一个收费的邮件发送服务。
关于树莓派的装机,配置,系统安装,网络配置等等网上有太多的叫教程,就不在一一介绍。这里主要想要整理一下在折腾过程中遇到的几个问题。一些细节很琐碎,记录下来备忘。我安装的是 Raspberry Pi 官方的系统,也就是 Debian 的衍生系统,所以绝大多数下面的内容在其他 Debian/Ubuntu/Linux Mint 系统上都可以操作。很多内容我在 Mint 下也都已经实现过。
树莓派到今天已经发布了很多代了,当时买的比较早,稍微和新一代比较一下
一图胜过千言
安装完成之后
sudo apt-get install raspi-config
sudo raspi-config
选择 Network -> interface
或者手工编辑 vim /lib/udev/rules.d/73-usb-net-by-mac.rules
:
ACTION=="add", SUBSYSTEM=="net", SUBSYSTEMS=="usb", NAME=="", \
ATTR{address}=="?[014589cd]:*", \
TEST!="/etc/udev/rules.d/80-net-setup-link.rules", \
IMPORT{builtin}="net_id", NAME="eth0"
修改其中的 NAME.
编辑 /etc/network/interfaces
:
auto lo
iface lo inet loopback
auto eth0
allow-hotplug eth0
iface eth0 inet dhcp
查看设备:
lsusb
扫描可见 SSID:
sudo iwlist wlan0 scan
编辑:
auto wlan0
allow-hotplug wlan0
iface wlan0 inet dhcp # DHCP 自动分配 IP
wpa-ssid yourssid # 要连接的 wifi 名称
wpa-psk yourpassword # 要连接的 wifi 密码
auto wlan0
allow-hotplug wlan0 # 允许热插拔(非必须配置)
iface wlan0 inet static # 采用静态 IP 分配的方式
address 192.168.2.249 # 为树莓派设置的 ip
netmask 255.255.255.0 # 子网掩码
gateway 192.168.2.1 # 网关地址
wpa-ssid yourssid # 要连接的 wifi 名称
wpa-psk yourpassword # 要连接的 wifi 密码
编辑 /etc/network/interfaces
:
auto wlan0
allow-hotplug wlan0
iface wlan0 inet dhcp
pre-up wpa_supplicant -B w -D wext -i wlan0 -c /etc/wpa_supplicant/wpa_supplicant.conf
post-down killall -q wpa_supplicant
编辑多个配置文件路径 /etc/wpa_supplicant/wpa_supplicant.conf
,或者可以用命令生成:
wpa_passphrase SSID password >> /etc/wpa_passphrase/wpa_passphrase.conf
或者手动编辑该文件:
ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev
update_config=1
country=CN
network={
ssid="xxxx" # wifi 名称
psk="xxxx" # wifi 密码
key_mgmt=WPA-PSK # 加密方式
}
network={
ssid="xxxx"
psk="xxxx"
key_mgmt=WPA-PSK
}
network={
ssid="xxx"
key_mgmt=NONE # 加密方式,不加密
}
network={
ssid="xxxx"
key_mgmt=NONE
wep_key0="xxxx" # wep 密码
}
network={
ssid="xxxx"
psk="xxxx"
key_mgmt=WPA-PSK
scan_ssid=1 # 如果你的无线接入点是隐藏的,该配置就是必须的
}
network={
ssid="xxxx"
psk="xxxx"
key_mgmt=WPA-PSK
priority=999 # priority 指连接优先级,数字越大优先级越高(不可以是负数)
}
启动网卡:
sudo ifup wlan0
sudo /etc/init.d/networking restart
查看详情:
sudo ifconfig -a
sudo iwconfig
运行:
sudo wpa_cli
在交互模式下可以使用这些命令:
再该命令下需要先创建 network, 设置 network SSID, 密码,加密方式,最后再 enable。具体可以 help 查看。
在安装完成之后可以使用国内的 sources.list 源,比如说 清华大学的
编辑 /etc/apt/sources.list
:
deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main non-free contrib
deb-src http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main non-free contrib
编辑 /etc/apt/sources.list.d/raspi.list
:
deb http://mirrors.tuna.tsinghua.edu.cn/raspberrypi/ stretch main ui
然后更新软件包,一般 update 用来同步本地 package 和 源的 package 索引, update 一定要在 upgrade 或者 dist-upgrade 之前。update 只是用来同步 package 的状态,只是相当于检查更新,而需要手动触发更新。
sudo apt-get update
更新系统, upgrade 用来更新本地安装过的所有 package 的新版本。
sudo apt-get upgrade
更加智能的更新系统,会用更加智能的方式解决包冲突
sudo apt-get dist-upgrade
最后更新 kernel 和 firmware:
sudo rpi-update
sudo apt-get instal ttf-wqy-microhei
sudo apt-get install scim-pinyin
sudo dpkg-reconfigure locales
不同系统有不同的文件系统,在 Windows 下绝大部分的文件系统都是 NTFS,当然我一直在用的移动硬盘也格式化成了 NTFS,那么在 Linux 下挂载 NTFS 格式的磁盘,需要借助 ntfs-3g
这个 Package。
NTFS-3G 是微软 NTFS 文件系统的一个开源实现,包括读写支持。
使用如下命令安装 NTFS-3G
sudo apt-get install ntfs-3g
然后使用 sudo fdisk -l
来查看当前系统能够识别的磁盘及分区。一般来说额外的硬盘应该会是类似 /dev/sda1
这样的标示。
使用 mount
命令来挂载 NTFS 磁盘。
sudo mount -t ntfs-3g /dev/sda1 /media/sda1
mount 命令默认会调用 /sbin/mount.ntfs ,它在安装了 ntfs-3g 之后被符号连接到 /bin/ntfs-3g。 确保本地挂载点文件夹存在,否则自己手工新建 mkdir -p /media/sda1
。
或者可以直接使用 ntfs-3g
命令
ntfs-3g /dev/sda1 /media/sda1
具体参考: Arch Linux Wiki
使用 frp , 在外网 VPS 上搞一个 server 。
在之前的文章 就曾说到使用 Samba 来在局域网共享文件,搭配 Android 上 ES Explorer,电视盒子基本上可以做到类似家庭共享的作用,所有的一切都看路由器能够不能带动了。这里再说一下基本配置。
使用如下命令安装
sudo apt-get install samba
修改配置文件 smb.conf
[Public]
comment = Public Storage # 共享文件夹说明
path = /home/pi/Public # 共享文件夹目录
read only = no # 不只读
create mask = 0777 # 创建文件的权限
directory mask = 0777 # 创建文件夹的权限
guest ok = yes # guest 访问,无需密码
browseable = yes # 可见
设置文件夹权限
sudo chmod -R 777 /home/pi/Public/
重启 Samba 服务
sudo samba restart
完成后局域网中的其他设备就可以通过,\\IP\
来访问共享的内容
很早之前,我也写过 Resilio Sync 的文章,那个时候还叫 BTSync。在笔记本上一直跑着,这些天我看树莓派负载也不高,跑一个 Resilio Sync 应该也还可以。
不过过程却有点繁复,国内似乎屏蔽了 Resilio Sync 的官网,连他的 Key 都无法下载下来,可以使用 proxychains 代理的方法(可以参考之前的文章),不过毕竟也稍微麻烦一点,不过后来发现,在官网下载一个可运行的 rslsync ,再配置一些 conf 文件就可以直接开跑。
在文件 /etc/apt/sources.list.d/resilio-sync.list
中写入:
deb [arch=armhf] http://linux-packages.resilio.com/resilio-sync/deb resilio-sync non-free
添加公钥
wget -qO - https://linux-packages.resilio.com/resilio-sync/key.asc | sudo apt-key add -
更新 index
sudo dpkg --add-architecture armhf
sudo apt-get update
安装
sudo apt-get install resilio-sync
安装完之后,如果想要修改 conf 文件,可以去相应的位置 /etc 下找,然后使用树莓派的 IP:8888 来访问 WEB 管理界面。
然后就是添加相应的 KEY 来同步文件了。具体可以参考我之前那篇文章。
Flask Admin 是 Flask 的一个管理插件,类似于 Django Admin 一样的存在,可以很方便的帮助开发者实现管理界面,并且能够提供一套和数据库对应的界面。
Flask-Admin 提供一个现成的 SQLAlchemy 模型接口。它以类执行并接受 2 个参数:模型类和数据库会话。
初始化 Flask Admin
from flask import Flask
from flask.ext.admin import Admin
app = Flask(__name__)
admin = Admin(app)
app.run()
运行这个程序并访问 http://localhost:5000/admin/ ,可以看到基础模板。
增加一个管理视图
from flask import Flask
from flask.ext.admin import Admin, BaseView, expose
class MyView(BaseView):
@expose('/')
def index(self):
return self.render('index.html')
app = Flask(__name__)
admin = Admin(app)
admin.add_view(MyView(name='Hello'))
app.run()
模型视图允许你为数据库中的每个模型增加专用的管理页面。可以自动为数据库中每一张表生成一个管理页面。
from flask.ext.admin.contrib.sqla import ModelView
admin = Admin(app)
admin.add_view(ModelView(User, db.session))
构造自己的 ModelView,要定制这些模型视图,有两个选择:一是覆盖 ModelView 类的公有属性,二是覆盖它的方法。
from flask.ext.admin.contrib.sqla import ModelView
# Flask and Flask-SQLAlchemy initialization here
class MyView(ModelView):
# Disable model creation
can_create = False
# Override displayed fields
column_list = ('login', 'email')
def __init__(self, session, **kwargs):
# You can pass name and other parameters if you want to
super(MyView, self).__init__(User, session, **kwargs)
admin = Admin(app)
admin.add_view(MyView(db.session))
from flask.ext.admin.contrib.fileadmin import FileAdmin
import os.path as op
# Flask setup here
admin = Admin(app)
path = op.join(op.dirname(__file__), 'static')
admin.add_view(FileAdmin(path, '/static/', name='Static Files'))
Flask 处理上传的文件非常简单,总结归纳可以分为三步:
<form>
标签被标记有 enctype=multipart/form-data
,并且在里面包含一个 <input type=file>
标签假设将上传的文件存放在 static/uploads
目录中。
werkzeug 库可以判断文件名是否安全,例如防止文件名是 /../test.png
, 安装
pip install werkzeug
具体代码:
from flask import Flask, request
from werkzeug.utils import secure_filename
import os
app = Flask(__name__)
app.config['UPLOAD_FOLDER'] = 'static/uploads/'
app.config['ALLOWED_EXTENSIONS'] = set(['png', 'jpg', 'jpeg', 'gif'])
# For a given file, return whether it's an allowed type or not
def allowed_file(filename):
return '.' in filename and \
filename.rsplit('.', 1)[1] in app.config['ALLOWED_EXTENSIONS']
@app.route('/')
def hello_world():
return 'hello world'
@app.route('/upload', methods=['POST'])
def upload():
upload_file = request.files['file']
if upload_file and allowed_file(upload_file.filename):
filename = secure_filename(upload_file.filename)
upload_file.save(os.path.join(app.root_path, app.config['UPLOAD_FOLDER'], filename))
return 'hello, '+request.form.get('name', 'little apple')+'. success'
else:
return 'hello, '+request.form.get('name', 'little apple')+'. failed'
if __name__ == '__main__':
app.run(debug=True)
app.config
中的 config 是字典的子类,可以用来设置自有的配置信息,也可以设置自己的配置信息。函数 allowed_file(filename)
用来判断 filename 是否有后缀以及后缀是否在app.config['ALLOWED_EXTENSIONS']
中。
这里使用了 werkzeug
自带的 secure_filename
方法,该方法会过滤所有非 ASCII 码,对于中文文件名处理就不怎么友好了,所以我们可以定义自己的 secure_filename
方法
def secure_filename(filename):
"""
确保文件名不包含 / -
:param filename:
:return:
"""
filename = re.sub('[" "\/\--]+', '-', filename)
filename = re.sub(r':-', ':', filename)
filename = re.sub(r'^-|-$', '', filename)
return filename
使用正则将文件名中的非法字符去除掉。
Flask 提供了 getlist
方法
for upload in request.files.getlist("file"):
filename = os.path.splitext(upload.filename)[0]
filename = secure_filename(filename)
save_name = hashlib.md5('video'+ str(time.time())).hexdigest()[:16]
dest = '/'.join([dest_folder, save_name])
print("Accept incoming file:", filename)
upload.save(dest)
模拟上传文件
import requests
files = {'file': open('01.jpg', 'rb')}
user_info = {'name': 'einverne'}
r = requests.post("http://127.0.0.1:5000/upload", data=user_info, files=files)
print r.text
要控制上产文件的大小,可以设置请求实体的大小,例如:
app.config['MAX_CONTENT_LENGTH'] = 16 * 1024 * 1024 #16MB
如果要获取上传文件的内容可以:
file_content = request.files['image01'].stream.read()
在 template 目录下新建 upload.html
,确保在 HTML 表单中设置 enctype=”multipart/form-data” 属性
<form action="\{\{ url_for('.upload_file') \}\}" method=post enctype=multipart/form-data>
<div class="form-group">
<label for="exampleInputFile">上传文件</label>
<input type="file" name="file">
<p class="help-block">上传数据</p>
<button type="submit" class="btn btn-default">Submit</button>
</div>
</form>
在 views.py 中写 upload_file
方法处理上传逻辑
@crawler_control.route('/upload', methods=['POST'])
def upload_file():
if request.method == 'POST':
f = request.files['file']
if f and '.' in f.filename and f.filename.rsplit('.', 1)[1] in app.config['ALLOWED_EXTENSIONS']:
filename = secure_filename(f.filename)
path = op.join('/tmp', filename)
f.save(path)
return "Success"
return render_template_string("only support POST")
处理 JSON 时,请求和响应头的 Content-Type
设置为 application/json
。
from flask import Flask, request, Response
import json
app = Flask(__name__)
@app.route('/json', methods=['POST'])
def my_json():
print request.headers
print request.json
rt = {'info':'hello '+request.json['name']}
# add custom headers
response.headers.add('Server', 'python flask')
return Response(json.dumps(rt), mimetype='application/json')
if __name__ == '__main__':
app.run(debug=True)
模拟客户端请求
import requests, json
user_info = {'name': 'einverne'}
headers = {'content-type': 'application/json'}
r = requests.post("http://127.0.0.1:5000/json", data=json.dumps(user_info), headers=headers)
print r.headers
print r.json()
模拟 RESTful 接口
from flask import Flask
app = Flask(__name__)
@app.route('/')
def hello_world():
return 'hello world'
@app.route('/user/<username>')
def user(username):
print username
print type(username)
return 'hello world'
@app.route('/user/<username>/friends')
def user_friends(username):
print username
print type(username)
return 'hello world'
if __name__ == '__main__':
app.run(debug=True)
使用内置类型装换
@app.route('/page/<int:num>')
def page(num):
print num
print type(num)
return 'hello world'
自动将 num 转换成 int 类型,目前 Flask 支持的转换有:
类别 | 解释 |
---|---|
string | 任何不带 slash(/) 的字符串 |
int | 整数 |
float | float |
path | 接受 slash(/) |
any | 所有 |
uuid | uuid string |
复杂的用法,比如定义一个范围
@app.route('/page/<int:num1>-<int:num2>')
def page(num1, num2):
print num1
print num2
return 'hello world'
自定义转换器
自定义的转换器是一个继承 werkzeug.routing.BaseConverter
的类,修改 to_python
和 to_url
方法即可。to_python
方法用于将url中的变量转换后供被 @app.route
包装的函数使用,to_url
方法用于 flask.url_for
中的参数转换。
下面是一个示例,将 HelloWorld/index.py
修改如下:
from flask import Flask, url_for
from werkzeug.routing import BaseConverter
class MyIntConverter(BaseConverter):
def __init__(self, url_map):
super(MyIntConverter, self).__init__(url_map)
def to_python(self, value):
return int(value)
def to_url(self, value):
return 'hi'
app = Flask(__name__)
app.url_map.converters['my_int'] = MyIntConverter
@app.route('/page/<my_int:num>')
def page(num):
print num
print url_for('page', num='123')
return 'hello world'
if __name__ == '__main__':
app.run(debug=True)
浏览器访问 http://127.0.0.1:5000/page/123 后,HelloWorld/index.py 的输出信息是:
123
/page/hi
上面例子只能提到的 url_for
方法用于构建URL,他的使用方法如下
from flask import Flask, url_for
app = Flask(__name__)
@app.route('/')
def hello_world():
pass
@app.route('/user/<name>')
def user(name):
pass
@app.route('/page/<int:num>')
def page(num):
pass
@app.route('/test')
def test():
print url_for('hello_world')
print url_for('user', name='einverne')
print url_for('page', num=1, q='hadoop mapreduce 10%3')
print url_for('static', filename='uploads/01.jpg')
return ''
if __name__ == '__main__':
app.run(debug=True)
输出
/
/user/einverne
/page/1?q=hadoop+mapreduce+10%253
/static//uploads/01.jpg
url for 后接方法名