使用 flask migrate 来迁移数据结构

最近在学习使用 Flask 生成一个短链接服务时看到了 Flask-Migrate 这样一款插件,之前学习 Django 的时候自带数据库迁移工具, Flask 中也有这样一款,不过是以插件的形式出现,Flask Migrate 基于 Alembic ,Alembic 是 SQLAlchemy 作者开发的数据迁移工具。

文档主页:https://flask-migrate.readthedocs.io/en/latest/

安装

执行:

pip install Flask-Migrate

在安装完成之后需要在代码中添加如下代码

from flask import Flask
from flask_sqlalchemy import SQLAlchemy
from flask_migrate import Migrate

app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///app.db'

db = SQLAlchemy(app)
migrate = Migrate(app, db)

class User(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    name = db.Column(db.String(128))

在添加代码之后需要运行

flask db init

来初始化项目,命令运行之后会在项目中生成 migrations 文件夹,该文件夹需要添加到版本控制。

之后可以使用 migrate 命令来初始化迁移

flask db migrate

迁移脚本不会检测 models 的所有变更, Alembic 目前无法检测表名修改,列名修改,其他限制可以在 Alembic 网站 查看。

之后可以应用该迁移

flask db upgrade

运行该命令来将修改应用到数据库,以后对 model 的每一次修改需要重复 migrateupgrade 命令。如果要在不同机器之间同步数据库结构,只需要同步 migrations 文件夹,并且在另一台机器上运行 flask db upgrade 即可。

Flask Migrate 也支持直接使用脚本的方式运行,具体可参考 官方的文档 ,非常易懂。

Flask-Migrate 还支持降级:

flask db downgrade

其他常用的命令

(venv) $ flask db
Usage: flask db [OPTIONS] COMMAND [ARGS]...

  Perform database migrations.

Options:
  --help  Show this message and exit.

Commands:
  branches   Show current branch points
  current    Display the current revision for each...
  downgrade  Revert to a previous version
  edit       Edit a revision file
  heads      Show current available heads in the script...
  history    List changeset scripts in chronological...
  init       Creates a new migration repository.
  merge      Merge two revisions together, creating a new...
  migrate    Autogenerate a new revision file (Alias for...
  revision   Create a new revision file.
  show       Show the revision denoted by the given...
  stamp      'stamp' the revision table with the given...
  upgrade    Upgrade to a later version

集成存在的数据库

假如已经有数据库表结构了,后期引入了 Flask-Migrate,那么可以通过如下步骤集成 Flask-Migrate 到项目中。

  • 创建一个临时的数据库
  • 如果项目中存在 migration 文件夹,删除
  • 执行 flask db init 创建新的 migration
  • 执行 flask db migrate 来初始化已经存在的 migration
  • 这个时候切换到已经存在的数据库,修改数据库地址
  • 执行 flask db stamp head 这一步会在数据库创建 alembic_version 表,然后保存最新的 migration 版本

之后就可以使用 Migration 来管理数据库版本了。

flask db migrate
flask db upgrade

在 dev 和 prd 环境中使用

Migrations 总是在开发环境中生成。

生产环境中只会应用变更(upgrade)。

reference


2018-05-14 flask , sql , migrate , sqlalchemy , alembic , mysql , database

在屏幕上显示敲击的键盘 screencast

之前在做一次 Vim 演示的时候想要更加直观的在屏幕上实时显示出当前敲击的字母,所以找到了 screencast 这个解决方法。

安装

Debian/Ubuntu:

首先安装依赖:

sudo apt-get install python3-gi gir1.2-gtk-3.0
sudo apt-get install python3-gi-cairo python3-cairo
sudo apt-get install python3-setuptools python3-babel
sudo apt-get install fonts-font-awesome slop

如果使用 GNOME:

sudo apt-get install gir1.2-appindicator3-0.1

安装:

sudo apt-get install screenkey

手动通过源码安装

GitLab页面 下载安装包

wget "https://github.com/wavexx/screenkey/archive/screenkey-0.9.tar.gz"
tar xvf screenkey-0.9.tar.gz
# 安装依赖
sudo apt-get install python-gtk2 python-setuptools python-setuptools-git python-distutils-extra

然后执行安装

sudo ./setup.py install

然后启动

screenkey

使用

然后可以设置各种参数,延迟时间,字体,大小,颜色,透明度等等

reference


2018-05-13 screencast , keyboard , linux

Driving On The Way

--- layout: post title: "自驾游必备 App" tagline: "" description: "" category: 经验总结 tags: [driving, tour, travel, app, collection, ] last_updated: ---

今年五一开车 2000 多公里,一路上找景点,找路线,找美食,这里记录一些比较好用的 App,当然在记录这写应用的时候,又发现了其他人推荐的应用,虽然之前并没有用上,但可以做一个备份期望可以用上。

PS 部分免责声明,PS 部分我并没有深入的用过,但是口碑还不错。

去哪里

这个问题早已经应该在心中确定,但如果没有确定,可以浏览马蜂窝 站点,一来对目的地有一个基本的了解,二来可以留心目的地的路况等等。虽然市场上游记类网站和应用也是泛滥的,但是马蜂窝确实多少年来一直兢兢业业专攻旅行的网站。写到这里不免想起,一直萦绕在我脑海里面的一个疑问,其实做内容的网站很容易转型做“工具”,比如马蜂窝就可以很轻松的售卖旅行产品,包括机票火车票,住宿等等,反而携程,去哪儿这一类“工具”类网站要转型做“内容”就要难很多。虽然携程也有游记,但终究只是为买票而生的辅助。

PS. 穷游锦囊,有个叫浪浪的,常有人推荐

选好车

说到选车,我只能推荐神州租车了,其他租车行并没有接触过,所以也不好推荐。而针对性的选择一辆舒适的车就成了关键,因为可能需要长时间在车上度过,选择一辆空间大,舒适的 SUV 就比较好。而如果目的地都是平原,可以选择轻便的小汽车

PS. 并没有使用过的租租车

制定路线

推荐 Google My Maps,使用 Google My Maps 可以快速制定一条大致路线,可以从宏观上对整个路线有个了解。

google my map plan

当然还要推荐另外一个很好用的工具 Trello,然后可以制作出如下的计划

trello plan

当然真正出行的时候,少不了导航应用,Google Map 看卫星图,高德导航

google map satellite

天气

国内墨迹,国外雅虎天气

找美食

大众点评,必不可少。在不熟悉的地方,选择一个品类,往往评价不错的菜肴是不会有什么差错的。

PS. 国外似乎有这俩 Yelp 和 Trip advisor,还有预订位置的 Open Table

住宿

强推 Airbnb,虽然很久前注册过 Airbnb 但是一直没怎么使用过,然而突然发现这么好用,每一个房子主人都很友好,房子也都非常新,房子里面各种设置都很不错。但是 Airbnb 可能有一个不好的地方,就是可能有些地方并没有那么多的选择,这个时候就需要携程,马蜂窝等等有旅馆预定的应用了。

airbnb

如果不嫌弃你可以点击我的邀请链接:https://zh.airbnb.com/c/einv 注册成功后你会得到 175 的优惠券。

PS. Booking 也是个好网站。

其他

绝大部分情况下停车并没有太大问题,可是如果真的到了城市环境,有一个 ETCP 还是需要的。

当然以上大部分只能局限于国内自驾的大部分情况,国外去如果要租车,可能还需要准备驾照翻译件或者国际驾照,不同国家的国情可能都需要调整。


2018-05-11

关于抖音的一点想法

去年年底装上了头条系全系列产品包括新闻,抖音,火山小视频,而半年多过去了,最后留下来的只有抖音。而之前不久也刚刚看到新闻报道抖音日活已经超 1.5 亿了。所以想整理下自己的看法。

以产品划分用户

全年年底的时候看过一篇文章,其核心思想就是 “头条以产品划分用户群”,虽然并不知道这是不是头条内部有意而为之或者就是产品定位的问题,确实头条内部关于视频的应用报的上名字的就有仨,火山,西瓜,抖音。这三个应用却各有特点,虽然我并没有很深入的使用,但也能快速的感觉到他们的差别,抖音明显要更年轻化,年龄 10+,20+ 主打的产品,而火山则是主打 ugc,各种内容都有,质量参差不齐,西瓜视频,后来者,却继承了头条视频的大量的积淀。而着三款应用能很明显的区分出一部分用户群,如果按照现在 2017 年底的时间来看,明显子女一代用抖音,父母一代更加偏向用火山和西瓜,这是天然的划分。如果要以地域划分,明显大城市是抖音的用户群,而中小城市就是西瓜的天下。

虽然我对这样的产品划分理念并不是那么的“理解”,但确确实实现在移动互联网的发展就是那样的一个趋势,这或许也是有了 Facebook 也还有 Instagram 和 Snapchat 的原因,当随着年龄的变化,一个平台的用户逐渐增多,下一个年龄层的用户自然的就去寻找代替品,或许是为了潮流,或者只是为了凸显不同。就像厌倦了 QQ,逃到了 Wechat,厌倦了 Wechat 的一代,或许又逃回了 QQ。

为什么抖音会火

很多人说拍抖音简单,但我想很多说这个话的人应该没怎么自己拍过。抖音的短视频看起来简单,那是因为他的难度系数正好介于普通用户和专业自媒体拍摄难度系数的中间,抖音大量的视频都只需要用一部手机就能拍摄出来,但是仔细看这短短的十几秒,里面可能包含十几个场景,包括大量的剪辑,而曾经这些剪辑手法我都只在 YouTube 等等平台的长视频或者电影片段中才能看到;另外一点很多人说抖音的成功是将视频引入音乐,可是这难道不是常识吗,电影电视剧 OST,或者 YouTube 去搜一下会看到很多教你如何给视频选择 BGM 的教程,而抖音成功的是让音乐成为了用户拍摄视频的入口,创作相同主题的短视频,一来带动了 BGM 的流行,二来将用户的视频天然的进行了分类。

基于这一点认识,我之前曾经和朋友聊天聊起,抖音流行的歌甚至可能改写音乐的发行历史,如果歌手的歌拿来在抖音发行,或许比拿去发专辑,或者拿去音乐平台要流传更广,毕竟好的音乐只有被人知道,歌才有他的价值,中国目前最缺乏的就是一个有效的渠道让有价值的内容让人知道,抖音或者头条的出现正是弥补了这一空缺。或许有人要说以前也出现过优酷土豆还有 bilibili 等等的网站,还有门户网站推出的新闻客户端为什么无法做到,其实道理很简单,对于优酷等等他们太慢以至于跟不上快速发展的移动互联网,而且对于长视频其实无形中过滤了很大一批的入门却能制作出很有趣内容的作者。而门户网站往往都是自上而下的内容输出,很多用户其实并不关心那些国家大事,而更关心和我们一样的普通人,并且门户网站的写作者和庞大的互联网用户贡献的内容来看几乎就是沧海一粟,Web2.0 带来的就是源源不断的内容输出。

关于运营

不可否认的一点就是运营在产品中的重要地位,抖音这样一款产品我相信以任何一家大公司的实力就能够在几个月的时间内轻松的复制,但是大家都做不到抖音的一点就是大家仅仅认为抄袭一个同样的产品就能够刮分一片市场,这个想法是多么的天真。虽然我也并没有那么关注抖音产品的发展历史,但是作为一个普通用户能够感受到抖音玩法的变化,这无疑是有引导性质的,抛出一个亮点,大家跟风也好,抛砖引玉也好,对任何一个内容型产品都是帮助。而现在大部分场内的玩家能够复制他的系统却抓不到他们的精神内核。

抖音这样一个产品的出现是好是坏?很多人都在想这个问题,其实完全不需要担心,你说他消耗时间也好,让人沉迷也好,如果它能够在流行文化中烙下自己的印记就已经是他产品的胜利。至于他所带来的话题效应,好坏,留待后人判别吧。


2018-05-10 youtube , toutiao , 抖音 , 头条 , 短视频

青海游记思绪整理

7 天的旅程已经结束,更加准确的说应该是完整的 6 天,还有一天时间在路上。这一次经历很多第一次,第一次使用 Trello 规划出行,第一次长时间驾驶超过 2000 公里,第一次使用 Airbnb 来计划住宿,第一次上 3000 多米的高原,这许许多多的第一次让我感受了很多也收获了很多。

旅途遥远记得欣赏沿途的风景

大环线的路程相较于短短 6 天,时间非常赶,但是尤其是从大柴旦到敦煌,以及从张掖到西宁的路上,会路过无数的山脉和平原,别那么赶,看看两边风景。在很大一段时间内,你会看到两边延伸到天边的大漠,以及面前一直通向天边的公路,还有远处层叠的群山。当我们从张掖沿着 G227 穿过祁连山的时候,山上的积雪还没有化尽,从远处看云雾缭绕,太壮观了。

提前计划好住宿

如果说对行程有什么遗憾的话,那么就是没有提前预定好住宿,虽然其实并没有那么的失望,但是如果提前制定好落脚点,那么行程会完美很多。这一次的行程让我爱上了 Airbnb ,虽然很早就已经注册,却一直呆在无数的应用中没有体现出他的价值,我可以说这是我使用至今体验最好的应用了,不管是界面友好程度,还是下单预定,或是之后联系房东,没有人我这个第一次使用的他的人感受到一点点阻碍,而且在绝大部分情况下过滤结果的前几个都是能够满足我的要求的,正因为时间赶,所以预定也很赶,但是却都超出意外,尤其是在西宁和敦煌,家中设施齐全,更甚至敦煌的房东也给我们准备了葡萄干、杏仁干等等特色干果,我最关心的电视也是资源充足。且不说住宿条件,虽然也预订到了一些不那么满意的房子,但是 Airbnb 总体给我的感觉都还是不错的。

Trello

使用 Trello 的时间并没有那么的长,但却一点一点慢慢地适应了 Trello 并且喜欢上了 Trello 独特的设计。“看板” 的概念接触没多久,甚至之前一直拿他当做 todo list,但现在我是知道我小看了这个概念,看板可以让很多工作得到有效的管理,甚至可以提前规划,他提供的图片,附件,checklist 等等功能可以让计划有条不紊的执行,并且界面非常美观。

trello

雅丹和丹霞的区别

过去西北最多被提及的就是这两个容易弄混的名词。

雅丹地貌,或者称为风蚀脊(Yardang)是典型的风蚀性地貌。“雅丹”在维吾尔语中的意思是“具有陡壁的小山包”。由于风的磨蚀作用,小山包的下部往往遭受较强的剥蚀作用,并逐渐形成向里凹的形态。如果小山包上部的岩层比较松散,在重力作用下就容易垮塌形成陡壁,形成雅丹地貌,有些地貌外观如同古城堡,俗称魔鬼城。

丹霞地貌的定义为“有陡崖的陆上红层地貌”,形成丹霞地貌的是一种沉积在内陆盆地的红色岩层,这种岩层在千百万年的地质变化过程中,被水切割侵蚀,形成了红色山块群。

张掖丹霞因其与众不同的岩石色彩而举世闻名。这些岩石光滑而险峻,高数百米,是砂岩和其他矿物经过 2400 万年的沉淀堆积而成。


2018-05-06 travel , trip , plan , trello , qinghai , thinking

BitTorrent 客户端简单比较

横向比较一下 BitTorrent 客户端。

  • [[Transmission]]
  • [[rTorrent]]
  • [[qBittorrent]]
  • [[Deluge]]
  • [[uTorrent]]
  • [[Vuze]]
  • [[BiglyBT]]

Transmission

开源地址:

特性:

  • 占用资源少
  • 跨平台支持,三大桌面端(Windows/Linux/Mac)、GTK+、QT版本,还有 Daemon 版本等等
  • Daemon 守护进程方便在服务器,嵌入式系统,Headless(无 GUI) 运行
  • 可以通过 Web 或者终端来进行控制
  • Local peer discovery
  • Full encryption, DHT, µTP, PEX and Magnet Link support 1

Transmission 在日常中使用完全没有问题,不过唯一的不足就是 Transmission 是无法制作 torrent 的。

Transmission 的扩展,包括 Android 开源的 Remote control Transdroid, RSS Tool FlexGet 等等。2

Docker

docker create \
  --name=transmission \
  -e PUID=1000 \
  -e PGID=1000 \
  -e TZ=Europe/London \
  -e TRANSMISSION_WEB_HOME=/combustion-release/ `#optional` \
  -e USER=username `#optional` \
  -e PASS=password `#optional` \
  -p 9091:9091 \
  -p 51413:51413 \
  -p 51413:51413/udp \
  -v path to data:/config \
  -v path to downloads:/downloads \
  -v path to watch folder:/watch \
  --restart unless-stopped \
  linuxserver/transmission

更多参考这里

rTorrent

[[rTorrent]] 是一个用 C++ 编写的纯文本 BitTorrent 客户端。rTorrent 适合在 Tmux, screen, dtach 中使用,配和 ruTorrent 作为 GUI。

Docker

docker create \
  --name=rutorrent \
  -e PUID=1000 \
  -e PGID=1000 \
  -p 80:80 \
  -p 5000:5000 \
  -p 51413:51413 \
  -p 6881:6881/udp \
  -v /path/to/rutorrent/config:/config \
  -v /path/to/rutorrent/downloads:/downloads \
  --restart unless-stopped \
  linuxserver/rutorrent

更多参考这里

ruTorrent

ruTorrent 是一款 PHP 写的 rTorrent 的 Web UI

Flood

Flood 是 rTorrent 的一个 UI 界面,用 [[Node.js]] 实现。

qBitTorrent

官网:

特性:

  • 开源,跨平台
  • RSS feed
  • magnet links, DHT, PEX, LSD

Docker

docker create \
  --name=qbittorrent \
  -e PUID=1000 \
  -e PGID=1000 \
  -e TZ=Asia/Shanghai \
  -e UMASK_SET=022 \
  -e WEBUI_PORT=8080 \
  -p 6881:6881 \
  -p 6881:6881/udp \
  -p 8080:8080 \
  -v /path/to/appdata/config:/config \
  -v /path/to/downloads:/downloads \
  --restart unless-stopped \
  linuxserver/qbittorrent

更多参考这里

Deluge

官网:

Deluge 比较优秀的一点是支持 Plugin,官网上有非常丰富的插件可供选择。

Docker

docker create \
  --name=deluge \
  --net=host \
  -e PUID=1000 \
  -e PGID=1000 \
  -e TZ=timezone \
  -e UMASK_SET=022 `#optional` \
  -e DELUGE_LOGLEVEL=error `#optional` \
  -v /path/to/deluge/config:/config \
  -v /path/to/your/downloads:/downloads \
  --restart unless-stopped \
  linuxserver/deluge

更多参考这里

uTorrent

支持平台:Windows, macOS, Android。

不支持 Linux, 不开源,就不说了。

Vuze

Vuze 是一款使用 Java 编写的 BT 客户端,支持三大主流桌面平台。

BiglyBT

BiglyBT 是一款开源的,跨平台的 BT 客户端。BiglyBT 是 Vuze 开源项目的延续,由 Vuze/Azureus 开发,由两个原始开发人员和社区成员维护,从 2003 年至今已经维护超过 20 年

特性

  • 快速下载 BT 种子
  • 按 IP 地址过滤
  • 限制上传和下载速度
  • 多语言
  • 通过下载,标签,网络(来对特定国家的 peers)进行全局限速
  • 下载开始之前支持选择要下载的文件
  • [[WebTorrent]] 支持,内置一个 WebTorrent tracker
  • 局域网查找,允许同一个防火墙背后的普通网络中多个 BiglyBT 客户端通过端到端直接连接提高下载速度
  • 通过 Android 等应用程序进行控制,支持 (Transmission RPC 的客户端)
  • 订阅 RSS 源,还可以创建自己的订阅与他人共享
  • 去中心化的公共和匿名聊天,带有默认频道
  • I2P DHT 进行匿名下载
  • 检测 VPN
  • Tor 代理
  • 媒体播放
  • 媒体转换
  • [[UPnP]] 服务器和 [[DLNA]] 支持,允许设备直接连接和浏览内容,允许 BiglyBT 将内容直接发送到设备

Motrix

Motrix 是一款全能的下载管理器,跨平台,支持 HTTP,FTP,BT,磁力链接等等。

Motrix 使用 Vue 以及 Electron 技术构建。


2018-04-24 bittorrent , transmission , linux , docker

VPS 安全保护:使用 fail2ban 防止暴力破解

之前的文章里面也总结过一些 fail2ban 的简单使用,这里就扩展开来,把一些常见的使用方式记录一下,以便后面回顾。

今天想起这件事情主要是看到日志发现新建的服务(非标准端口)也有人不断的扫描,尝试登录,虽然已经设置过 SSH,nginx 端口的 fail2ban,但是没有考虑到所有的服务端口。

Installation

sudo apt install fail2ban

Configuration

fail2ban 的主要配置都集中在 /etc/fail2ban/ 目录下

  • fail2ban.conf 主要是 fail2ban 自身的配置,包括日志级别,日志存储位置,PID 等
  • jail.conf 是配置 fail2ban 功能配置

fail2ban 的功能可以分散在不同的文件中进行管理,配置优先顺序是:

  • jail.conf
  • jail.d/*.conf
  • jail.local
  • jail.d/*.local

jail.local 中配置

[ssh]
enabled  = true
port     = ssh, 10022
filter   = sshd
logpath = /var/log/auth.log
maxretry = 5

修改配置后可以使用如下方法来重新加载配置:

fail2ban-client reload

N 次尝试后永久禁止 IP

用上面的方法配置 ssh 后查看 Nginx access 日志还依然有非常多的 IP 再不停的扫描,所以想办法如果能把 fail2ban 的日志过滤出来然后再给 fail2ban 就可以把 fail2ban 中发现的 IP 再 block 掉。

参考该链接 中内容新增 filter,然后配置:

[fail2ban]
enabled = true
filter = fail2ban
action = iptables-allports[name=fail2ban]
logpath = /var/log/fail2ban.log
# findtime: 1 day
findtime = 86400
# bantime: 1 year
bantime = 31536000

解决方法来自 stackoverflow

fail2ban-client

查看状态:

fail2ban-client status

分析

测试筛选规则设否匹配当前的日志格式 auth.log

fail2ban-regex /var/log/auth.log /etc/fail2ban/filter.d/sshd.conf

查看生效

用 iptables 来查看:

sudo iptables -L -v -n

其他配置

MySQL

[mysqld]
port = 3306
logpath = /var/log/mysql/error.log
log_warnings = 2
maxretry = 5

2018-04-23 linux , fail2ban , security , sshd , password

Maven 依赖管理

使用 Maven 来管理项目的依赖,带来便捷性的同时也引入了一些问题。对于一个大型项目来说,引用数十个依赖是经常遇到的。Maven 在管理这些依赖的时候,遵循一些基本原则,这就是这篇文章主要要定义的问题。另外如果项目中出现了依赖冲突,也是这篇文章的重点。

dependencyManagement 作用

dependencyManagement 主要有两个作用

  • 集中管理项目的依赖项
  • 控制使用的依赖项的版本

使用 dependencyManagement 声明依赖,实际项目并不会引入,因此子项目需要显示声明需要用的依赖

  • 如果不在子项目中声明依赖,是不会从父项目中继承下来的
  • 只有在子项目中写了该依赖项,并且没有指定具体版本,才会从父项目中继承该项,并且 version 和 scope 都读取自父 pom
  • 如果子项目中指定了版本号,那么会使用子项目中指定的 jar 版本

dependencies 即使在子项目中不写该依赖项,那么子项目仍然会从父项目中继承该依赖项。父工程使用 dependencyManagement 假引用,目的是管理版本号。dependencies 用于实际上需要引入的工程,这些工程如果继承于父工程会找到对应的版本号。

maven 中的仓库分为两种,snapshot 快照仓库和 release 发布仓库。snapshot 快照仓库用于保存开发过程中的不稳定版本,release 正式仓库则是用来保存稳定的发行版本。定义一个组件或者模块为快照版本,只需要在 pom 文件中在该模块的版本号后加上 -SNAPSHOT 即可(注意这里必须是大写)。

在 distributionManagement 段中配置的是 snapshot 快照库和 release 发布库的地址

<distributionManagement>
  <repository>
    <id>central</id>
    <name>artifactory-releases</name>
    <url>releases-url</url>
  </repository>
  <snapshotRepository>
    <id>snapshots</id>
    <name>artifactory-snapshots</name>
    <url>snapshots-releases</url>
  </snapshotRepository>
</distributionManagement>

maven 区别对待 release 版本构件和 snapshot 版本,snapshot 为开发过程中版本,实时但不稳定。

一般来说发布到远程仓库还需要认证,没有任何配置信息,可能会得到 401 错误。所以还需要在 maven 的 settings.xml 文件中做如下配置:

<server>
  <id>central</id>
  <username>admin</username>
  <password>admin123</password>
</server>

<server>
  <id>snapshots</id>
  <username>admin</username>
  <password>admin123</password>
</server>

需要注意的是,settings.xml 中 server 元素下 id 的值必须与 POM 中 repository 或 snapshotRepository 下 id 的值完全一致。将认证信息放到 settings 下而非 POM 中,是因为 POM 往往是它人可见的,而 settings.xml 是本地的。配置完成后就可以通过 mvn deploy 进行发布了。

Maven 依赖原则

在之前的 Maven 介绍中也有提及,这边展开。

Maven 解决依赖冲突

在之前的 maven 介绍 中指出来 Maven 的传递性依赖两个原则,第一就近原则,第二依赖路径距离一样则优先定义的依赖。

而当项目比较复杂之后,避免不了可能会出现打包时依赖的 jar 出现冲突。当引入新的依赖,发现项目中突然出现很多 method not found,或者 class not found 问题,基本上可以确定是因为依赖产生了冲突。

举一个比较直观的例子

加入我们的项目 A ,依赖 B, C 两个包,而 B ,C 各自依赖了 G1.0 和 G2.0 两个版本的包,那么 Maven 怎么选择?

Maven 的依赖传递会自动寻找到 B,C 两个依赖,并且发现依赖的 C,并自动引入,那么 G 会引入 1.0 还是 2.0 呢?这里就要引入 Maven 的第一个原则,最短路径优先,这条原则是 A - B - C - D1.0 另外 A - E - D2.0 显然 Maven 会选择 D2.0,而显然在这个例子中是不行的;那么就要提到第二条原则,谁先定义则使用谁,所以在路径一致前提下,如果先定义了 A - B - G1.0,会选择 G1.0,而这个时候可能就会产生问题,命名我需要使用 G2.0 中新的方法和类,但是 G1.0 中并没有就会出现错误。

这个时候就需要通过下面的步骤来排查错误。

判断 jar 是否被正确引用

在项目启动时把所有的加载的 jar 包都打印出来,添加 VM 参数 -verbose:class 。通过打印的信息确认是否正确的 jar 包被依赖。

查看依赖树

通过 maven 自带的工具来查看依赖树

mvn dependency:tree -Dverbose

通过查看其中可能导致冲突的 jar 包,然后使用 exclusions 来排除掉。

<dependency>
  <groupId>info.einverne.chat</groupId>
  <artifactId>common-biz</artifactId>
  <version>1.0.0-SNAPSHOT</version>
  <exclusions>
    <exclusion>
      <artifactId>slf4j-log4j12</artifactId>
      <groupId>org.slf4j</groupId>
    </exclusion>
  </exclusions>
</dependency>

使用 enforcer 快速发现冲突

上面提到的例子是一个很简单的演示,实际情况要比这个复杂许多,有的时候仅仅通过 mvn dependency:tree 可能无法快速的发现冲突,这个时候就可以尝试使用 Enforcer 插件,这个插件也可以自定义许多规则,我们可以使用 dependencyConvergence – ensures all dependencies converge to the same version. 来保证所有的依赖都使用相同的版本。

<plugins>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-enforcer-plugin</artifactId>
        <version>1.4.1</version>
        <configuration>
            <rules><dependencyConvergence/></rules>
        </configuration>
    </plugin>
</plugins>

在定义了插件之后就可以使用 mvn 的 goal —- mvn enforcer:enforce 来分析项目,会给出可能的冲突结果

Dependency convergence error for log4j:log4j:1.2.17 paths to dependency are:
+-com.ricston.conflict:conflict-info:2.1.3-SNAPSHOT
  +-org.slf4j:slf4j-log4j12:1.7.6
    +-log4j:log4j:1.2.17
and
+-com.ricston.conflict:conflict-info:2.1.3-SNAPSHOT
  +-log4j:log4j:1.2.16

对于这个插件更多的介绍,可以查看另一篇插件的文章

reference


2018-04-19 maven , build , java , linux , build-system

清空Chrome缓存的301重定向

可能是之前测试短域名生成服务的时候,添加了 http://localhost:8080 的跳转,导致了此后所有对该地址的访问都被重定向到了另一个网址,即使我在 8080 端口的服务已经停止,并且已经更换了其他测试的服务,Chrome 依然缓存了 301 重定向。

而由因为跳转的时间非常快,所以我无法使用以前经常使用的 Ctrl+Shift+R 来强行刷新页面清除缓存。所以只能求助 Google,幸而操作并不复杂,不过让我学到了一些 Chrome 的小 tips,因此记录下来。

强制刷新

之前提到的 Ctrl + Shift + R 就能够强制刷新,但其实还有一种UI上面的操作,如果打开 DevTools 的情况下,点击刷新按钮,并长按,会弹出如下的菜单,选择 Empty Cache and Hard Reload 即可。

hard reload

针对我的情况,直接打开 http://localhost 然后强行刷新即可。

开启 Devtools 中的停止缓存

开启 Developer Tools,一般的快捷键是 Ctrl + Shift + I ,如果从菜单上开启是Chrome的点点点 -> 工具 -> 开发者工具;或者任意的页面点击 Inspect 审查当前页面,就能打开。

然后再打开的开发者调试工具集中,打开 Settings,快捷键 F1,在工具集的右上角,点点点-> Settings。

在 Perferences -> Network 标签下 有一个 Disable Cache(while Devtools is open) ,选中即可。

最暴力清除数据

当然最暴力的就是清除数据了,不建议这么做。

reference

  • https://superuser.com/a/869739/298782

2018-04-18 chrome , linux , redirect , browser , devtools

Linux 下的防火墙 ufw

UFW,全称 Uncomplicated Firewall,是通过 iptables 实现的防火墙工具。ufw 是对 iptables 的封装,iptables 的规则太过于复杂,不适合新手。这篇文章也是如何增强VPS安全性的扩展篇,在修改了SSH端口,登录用户之后,最好清楚自己开放了VPS的哪些端口访问,把他们用 ufw 管理起来,防止被滥用。

安装

Ubuntu 默认已经安装如果没有安装,使用一行命令即可:

sudo apt update && sudo apt install ufw

配置及使用

默认情况下,ufw 的配置文件在 /etc/default/ufw ,然后用户定义的防火墙规则文件会存在 /etc/ufw/*.rules/lib/ufw/*.rules

UFW 默认允许所哟出站连接,拒绝所有入站连接

sudo ufw default deny incoming
sudo ufw default allow outgoing

允许管理IPv6

sudo vim /etc/defaulf/ufw

然后修改

IPV6=yes

允许SSH连接

sudo ufw allow ssh
# 等价于
sudo ufw allow 22

如果修改了SSH连接端口,记住相应的允许端口连接。

允许HTTP/HTTPS

sudo ufw allow http
# 等价于
sudo ufw allow 80

sudo ufw allow https
sudo ufw allow 443

默认情况下 ufw allow 不加 in 是指允许入站连接,如果要允许出站,加上 out

sudo ufw allow in port
sudo ufw allow out port

允许指定端口的协议

sudo ufw allow ftp
# 等价于
sudo ufw allow 21/tcp

允许指定范围的端口连接和协议

sudo ufw allow 6000:6005/tcp
sudo ufw allow 7000:7005/udp

允许指定的IP连接

默认情况下相应的端口允许所有IP连接,通过from指定允许某IP的连接

sudo ufw allow from 123.45.67.89
sudo ufw allow from 123.45.67.89 to any port 22

如果要允许子网的连接

sudo ufw allow from 15.15.15.0/24
sudo ufw allow from 15.15.15.0/24 to any port 22

拒绝连接

和允许连接一样,只要将相应的allow换成 deny 即可

删除规则

首先查看当前的规则,并且打印出规则号

sudo ufw status numbered

每条规则前都有一个序号

sudo ufw delete [number]

也可以通过协议删除

sudo ufw delete allow http
# 等价于
sudo ufw delete allow 80

查看UFW状态

sudo ufw status verbose
sudo ufw show added

启用禁用UFW

sudo ufw enable
sudo ufw disable

ufw 默认会开机启动,如果没有,手动设置

sudo systemctl start ufw
sudo systemctl enable ufw

启用日志

sudo ufw logging on
sudo ufw logging off
sudo ufw logging low|medium|high    # 指定日志级别 日志文件在 /var/log/ufw.log

日志的格式

其中前面列出了主机防火墙日志的日期、时间、主机名,后面的内容意思是:

[UFW BLOCK]:表示事件描述的开始以及是何种事件。在此例中,它表示阻止了连接。 IN:如果它包含一个值,那么代表该事件是传入事件 OUT:如果它包含一个值,那么代表事件是传出事件 MAC:目的地和源 MAC 地址的组合 SRC:IP数据包的源IP DST:目的地的IP LEN:数据包长度 TTL:数据 TTL,或称为time to live。 PROTO:数据包的协议 SPT:数据包的源端口 DPT:目标端口 WINDOW:发送方可以接收的数据包的大小 SYN URGP:指示是否需要三次握手。 0 表示不需要。

重置防火墙

这条命令将禁用 ufw,并删除所有定义的规则

sudo ufw reset

默认情况下, ufw 会备份规则。


2018-04-16 linux , firewall , ufw , iptables , ports

电子书

本站提供服务

最近文章

  • AI Shell 让 AI 在命令行下提供 Shell 命令 AI Shell 是一款在命令行下的 AI 自动补全工具,当你想要实现一个功能,敲一大段命令又记不住的时候,使用自然语言让 AI 给你生成一个可执行的命令,然后确认之后执行。
  • 最棒的 Navidrome 音乐客户端 Sonixd(Feishin) Sonixd 是一款跨平台的音乐播放器,可以使用 [[Subsonic API]],兼容 Jellyfin,[[Navidrome]],Airsonic,Airsonic-Advanced,Gonic,Astiga 等等服务端。 Sonixd 是一款跨平台的音乐播放器,可以使用 [[Subsonic API]],兼容 Jellyfin,[[Navidrome]],Airsonic,Airsonic-Advanced,Gonic,Astiga 等等服务端。
  • 中心化加密货币交易所 Gate 注册以及认证 Gate.io 是一个中心化的加密货币交易所。Gate 中文通常被称为「芝麻开门」,Gate 创立于 2013 年,前身是比特儿,是一家致力于安全、稳定的数字货币交易所,支持超过 1600 种数字货币的交易,提供超过 2700 个交易对。
  • 不重启的情况下重新加载 rTorrent 配置文件 因为我在 Screen 下使用 rTorrent,最近经常调试修改 rtorrent.rc 配置文件,所以想要找一个方法可以在不重启 rTorrent 的情况重新加载配置文件,网上调查了一下之后发现原来挺简单的。
  • Go 语言编写的网络穿透工具 chisel chisel 是一个在 HTTP 协议上的 TCP/UDP 隧道,使用 Go 语言编写,10.9 K 星星。