netlify 是一个提供静态网站托管的服务,提供 CI 服务,能够将托管 GitHub,GitLab 等网站上的 Jekyll,Hexo,Hugo 等静态网站。
Netlify is a unified platform that automates your code to create high-performant, easily maintainable sites and web apps.
Netlify 有如下的功能:
Netlify 的使用非常直观和简单,和网站的自我介绍和定位一样简答,使用 GitHub 登录,然后获取公开项目的授权,让其获取源码,然后指定编译命令,比如我的网站使用 Jekyll,那么编译命令就是
jekyll build
将生成的静态网站放到
_site
这个目录下,接下来的事情就是等着 Netlify 自动编译部署,默认情况下 Netlify 会分配一个随机的子域名 https://《随机字符》.netlify.com
这样的地址,可以在设置中设置为自己想要的域名,或者在设置中绑定自己的域名。
那接下来就是 Netlify 会在每一次提交 commit 时自动编译部署静态网站。最后来访问下 https://blog.einverne.info
同类型的静态网站托管服务, GitHub Page 原生支持,绝大部分常用的功能 GitHub Page 也都支持,不过是 GitHub 在国内的访问一般。另外 Pancake.io 可以将 Dropbox 中的静态内容映射成网站也同样支持绑定域名,Postach.io 能够将 Evernote 作为 blog 发布的源。
其他一些同类型的服务,now 同样能够托管静态网站,不过也支持托管 Node.js。Firebase Hosting 随同 Firebase 一同提供,更加推荐作为产品介绍静态页面来托管,不要将其作为博客内容托管。Surge 静态网站托管,支持命令行上传代码。
本文主要是一些和硬盘相关的命令,包括如何查看硬盘的型号,容量,还有硬盘上的分区情况,来详细了解本机硬盘的状态。
如果想要在 Linux 下查看硬盘信息,可以使用命令 hdparm
。这个命令可以用来查看硬盘制造商,序列号等等有用信息。man hdparm
中告诉我, hdparm
命令是用来查看或者设置 SATA/IDE 设备参数的。
假设本地有设备 /dev/sda
那么可以使用
hdparm -I /dev/sda
来查看该设备的信息
/dev/sda:
ATA device, with non-removable media
Model Number: Netac SSD 240G
Serial Number: 5002B725438XXXX
Firmware Revision: O1217A
Transport: Serial, ATA8-AST, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6, SATA Rev 3.0
Standards:
Supported: 9 8 7 6 5
Likely used: 9
Configuration:
Logical max current
cylinders 16383 16383
heads 16 16
sectors/track 63 63
--
CHS current addressable sectors: 16514064
LBA user addressable sectors: 268435455
LBA48 user addressable sectors: 468862128
Logical Sector size: 512 bytes
Physical Sector size: 512 bytes
Logical Sector-0 offset: 0 bytes
device size with M = 1024*1024: 228936 MBytes
device size with M = 1000*1000: 240057 MBytes (240 GB)
cache/buffer size = unknown
Nominal Media Rotation Rate: Solid State Device
Capabilities:
LBA, IORDY(can be disabled)
Queue depth: 32
Standby timer values: spec'd by Standard, no device specific minimum
R/W multiple sector transfer: Max = 2 Current = 2
DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6
Cycle time: min=120ns recommended=120ns
PIO: pio0 pio1 pio2 pio3 pio4
Cycle time: no flow control=120ns IORDY flow control=120ns
Commands/features:
Enabled Supported:
* SMART feature set
Security Mode feature set
* Power Management feature set
* Write cache
* Look-ahead
* Host Protected Area feature set
* WRITE_BUFFER command
* READ_BUFFER command
* NOP cmd
* DOWNLOAD_MICROCODE
SET_MAX security extension
* 48-bit Address feature set
* Device Configuration Overlay feature set
* Mandatory FLUSH_CACHE
* FLUSH_CACHE_EXT
* SMART error logging
* SMART self-test
* General Purpose Logging feature set
* WRITE_{DMA|MULTIPLE}_FUA_EXT
* {READ,WRITE}_DMA_EXT_GPL commands
* Segmented DOWNLOAD_MICROCODE
* Gen1 signaling speed (1.5Gb/s)
* Gen2 signaling speed (3.0Gb/s)
* Gen3 signaling speed (6.0Gb/s)
* Native Command Queueing (NCQ)
* Host-initiated interface power management
* Phy event counters
* READ_LOG_DMA_EXT equivalent to READ_LOG_EXT
* DMA Setup Auto-Activate optimization
Device-initiated interface power management
* Software settings preservation
Device Sleep (DEVSLP)
* SMART Command Transport (SCT) feature set
* SCT Write Same (AC2)
* SCT Features Control (AC4)
* SCT Data Tables (AC5)
* DOWNLOAD MICROCODE DMA command
* WRITE BUFFER DMA command
* READ BUFFER DMA command
* Data Set Management TRIM supported (limit 8 blocks)
* Deterministic read ZEROs after TRIM
Security:
Master password revision code = 65534
supported
not enabled
not locked
frozen
not expired: security count
supported: enhanced erase
2min for SECURITY ERASE UNIT. 2min for ENHANCED SECURITY ERASE UNIT.
Device Sleep:
DEVSLP Exit Timeout (DETO): 40 ms (drive)
Minimum DEVSLP Assertion Time (MDAT): 31 ms (drive)
Checksum: correct
hdparm
提供了一个简单的读速度测试参数
hdparm -Tt /dev/sda
结果
/dev/sda:
Timing cached reads: 25572 MB in 2.00 seconds = 12798.56 MB/sec
Timing buffered disk reads: 800 MB in 3.01 seconds = 266.08 MB/sec
能够看到 2 秒内读取了 25572M 缓存,而在 3 秒内从磁盘上物理读 800M 数据。
fdisk
主要用来查看和修改硬盘分区表,它能够识别 GPT,MBR,BSD 等等分区表。设备可以被划分为一个或者若干逻辑磁盘,这些逻辑磁盘叫做分区。这些分区信息被包含在分区表 (partition table) 中,通常在硬盘的 sector 0 中保存。
设备名通常叫做 /dev/sda
, /dev/sdb
等等,设备的名字通常指整块硬盘,分区名字通常是设备名后面加上分区的序号,比如 /dev/sda1
表示的是第一块硬盘上的一个分区。详细的信息可以在 Linux kernel 文档 Documentation/devices.txt 文件中找到。
GPT 的全称是 GUID Partition Table,全局唯一标识分区表,指的是一个实体硬盘的分区表结构布局标准。1 GPT 使用 64 bit 逻辑块地址。
MBR 全称为 Master Boot Record,主引导扇区, DOS type。Sector 0 是被 4 个主分区 primary partition 描述占用的,逻辑分区 (Logical partition) 从序号 5 开始。
如果要查看硬盘的分区情况,可以使用 fdisk
fdisk -l
结果
Disk /dev/loop0: 81.7 MiB, 85692416 bytes, 167368 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/loop1: 81.7 MiB, 85639168 bytes, 167264 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/loop2: 81.6 MiB, 85549056 bytes, 167088 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/sda: 223.6 GiB, 240057409536 bytes, 468862128 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x5ad18deb
Device Boot Start End Sectors Size Id Type
/dev/sda1 63 468862127 468862065 223.6G 83 Linux
Disk /dev/sdb: 931.5 GiB, 1000204886016 bytes, 1953525168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0x29049925
Device Boot Start End Sectors Size Id Type
/dev/sdb1 * 63 629153594 629153532 300G 7 HPFS/NTFS/exFAT
/dev/sdb2 629153656 1953523711 1324370056 631.5G f W95 Ext'd (LBA)
/dev/sdb5 629153658 1153466999 524313342 250G 7 HPFS/NTFS/exFAT
/dev/sdb6 1153467063 1782588464 629121402 300G 7 HPFS/NTFS/exFAT
/dev/sdb7 1782589440 1798213631 15624192 7.5G 82 Linux swap / Solaris
/dev/sdb8 1798215680 1953523711 155308032 74.1G 83 Linux
Partition 1 does not start on physical sector boundary.
Partition 5 does not start on physical sector boundary.
Partition 6 does not start on physical sector boundary.
Disk /dev/sdc: 119.2 GiB, 128035676160 bytes, 250069680 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x326f11b9
Device Boot Start End Sectors Size Id Type
/dev/sdc1 * 63 248346992 248346930 118.4G 7 HPFS/NTFS/exFAT
/dev/sdc2 248348672 250066943 1718272 839M 27 Hidden NTFS WinRE
dd
工具是一个专业的测试工具,对测试结果要求不高,可以用来做 IO 读写的简单评估。首先要了解两个特殊设备:
/dev/null 伪设备,回收站。写该文件不会产生 IO
/dev/zero 伪设备,会产生空字符流,对它不会产生 IO
dd
命令使用:
dd if=/dev/zero of=/tmp/test bs=1G count=1 oflag=dsync
if
用来设置 dd 命令读取的输入文件名of
dd 输出文件名bs
设置 dd 命令读取的块大小count
dd 命令读取的块个数oflag=dsync
使用同步 I/O 去除 caching 影响综上
测试硬盘写速度
sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
测试磁盘读速度
dd if=tempfile of=/dev/null bs=1M count=1024
同样在 Linux 下也可以使用 GUI 图形化的工具来查看,搜索菜单 Disks,然后就能查看当前电脑安装的硬盘了。
使用命令 lsblk
查看。
https://en.wikipedia.org/wiki/GUID_Partition_Table ↩
最近想把机械硬盘换成 SSD,然后使用 du -h
查看了一下本地硬盘使用,发现用了180多G,想要清理一下废弃的大文件,然后就发现了这个非常好用的磁盘管理工具 ncdu。 Ubuntu 源下有这个软件,可以直接使用命令安装:
sudo apt install ncdu
终端下直接使用 ncdu ,然后工具就会直接扫描当前目录,并且按照文件及文件夹占用大小,从大到小排列,例如:
22.2 GiB [##### ] /Documents
16.2 GiB [### ] /.local
. 13.7 GiB [### ] /.cache
10.9 GiB [## ] /.m2
10.8 GiB [## ] /Dropbox
9.8 GiB [## ] /Git
3.2 GiB [ ] /.IntelliJIdea2016.3
2.2 GiB [ ] /.pyenv
1.4 GiB [ ] /.IdeaIC2016.3
1.3 GiB [ ] /.wiznote
在界面中按下 ?
就会发现很多快捷键
┌───ncdu help─────────────────1:Keys───2:Format───3:About──┐
│ │
│ up, k Move cursor up │
│ down, j Move cursor down │
│ right/enter Open selected directory │
│ left, <, h Open parent directory │
│ n Sort by name (ascending/descending) │
│ s Sort by size (ascending/descending) │
│ C Sort by items (ascending/descending) │
│ d Delete selected file or directory │
│ t Toggle dirs before files when sorting │
│ g Show percentage and/or graph │
│ -- more -- │
│ Press q to close │
└──────────────────────────────────────────────────────────┘
看到这个快捷键,就可以疯狂的使用d
来删除不再使用的大文件了。
最后开心的按下 q
退出。
Clonezilla 是一个分区和硬盘镜像和克隆的工具。Clonezilla 能够实现硬盘到硬盘,分区到分区的快速拷贝,在备份文件,克隆系统的应用中有着非常高的性能。使用起来也非常的方便,因此平时都保留着一个 8G U 盘制作的 Clonezilla 可以启动 U 盘。
Clonezilla is a partition and disk imaging/cloning program
下载地址: http://clonezilla.org/downloads.php
之前其实写过一篇克隆系统的文章 这里再系统性的总结一下。
制作一个 bootable Clonezilla 非常简单,在官网现在 iso 镜像之后,使用镜像写入工具就可以制作可以启动的 Clonezilla。在 Windows 下可以使用 Universal usb installer,或者 unetbootin,Linux 下使用 etcher。几乎都是加载 iso,选择写入设备,写入的过程比较简单,就不展开具体教程了。
使用制作好的 U 盘启动,需要调整 PC 启动顺序,然后进入 clonezilla 系统,在 Clonezilla 中可以选择硬盘到硬盘复制,分区到分区复制,还有网络的备份,SSH 的备份,这些不怎么常用就暂时省略,主要使用硬盘到硬盘的备份和分区到分区的备份。
在具体的使用过程中遇到了一系列的问题,比如 Clonezilla 中无法找到新加的磁盘,比如如何将大容量的分区拷贝到小容量的分区中。不过这些问题都一一得到了解决。下面就讲下这些问题的解决方案。
在电脑上直接插上新的 SSD,有可能默认情况下新的 SSD 没有分区,磁盘上也没有新建的分区表。这个时候 Clonezilla 就无法在分区到分区的拷贝中找到新的磁盘的分区。因此需要使用 Live boot 的 Linux mint U 盘启动,在 U 盘启动的 Linux 中使用 GParted 来针对新的磁盘进行分区。一般情况下直接划分一个系统分区就足够了。
划分分区的时候可能会遇到 MBR(Master Boot Record) 和 GPT(GUID Partition Table) 这样两个分区表的名词,这两个都是硬盘分区表的格式,不过一老一新。
MBR 主引导记录,是传统的分区机制,MBR 支持 32 位或者 64 位系统,但是支持的分区数量有限,并且不支持超过 2T 的硬盘。
GPT 是全局唯一标识分区表,是一个新的分区机制,解决了 MBR 很多缺点。支持大于 2T 的磁盘,fdisk
命令最大只能建立 2T 分区,需要使用 parted
命令来创建大于 2T 的分区。GPT 向后兼容 MBR,必须在支持 UEFI 的硬件上才能使用。
可以使用
sudo parted /dev/sdb print
来查看 sdb
这块硬盘上的分区表。关于 parted 命令更多的介绍,可以参考这篇文章
如果使用 GUI,那么在 U 盘启动的 Linux 中使用 GParted 可以直接对硬盘进行分区,然后应用即可,当新硬盘有分区时,Clonezilla 就能够找到分区并将原先的分区克隆到新的分区中了。
Clonezilla 只能够将小的分区复制到大的分区中,因此会面临一个大问题。比如有一块 1T 的机械硬盘,需要将其中的一个 500g 的分区克隆到 250G 的 SSD 中,那么就需要先将 500G 的分区缩小到 250G 以下。查看当前 500G 系统分区实际文件占用大小,实际使用量一定要小于 250G,删除无用文件将实际占用文件缩小到 250G 以下之后,可能需要一个可以启动的 Linux live CD,一般情况下我也会制作一个 Linux Mint 的可启动 U 盘,然后启动该 U 盘,在 Linux Mint 中,使用 GParted 调整需要克隆的分区大小,将分区调整到 250G 以下。搜索关键词 shrink partition。缩小分区操作可能因不同硬盘和文件占用而不同耗时,一般情况下也需要非常长时间的操作。
在缩小分区之后,就可以启动 Clonezilla 然后使用分区到分区的操作,将原先 HDD 上的系统分区拷贝到 SSD 的分区中。拷贝也是一个非常耗时的操作,等待拷贝完成,这样系统就在原来分区和 SSD 上各有一份拷贝了。
由于 Clonezilla 在拷贝时是原样复制,因此可能导致 Linux 分区的 UUID 也一模一样,因此需要根据这篇文章 来修改 Linux 分区的 UUID。
接下来的事情就是修改引导,让电脑启动到 SSD 中的系统。
这里就要推荐一个软件 boot-repair
sudo add-apt-repository ppa:yannubuntu/boot-repair
sudo apt-get update
sudo apt-get install -y boot-repair && boot-repair
需要在 Live boot 的 Linux mint 中启动 boot-repair
来修复确实的引导。然后开机启动新硬盘上的系统就 OK 了。
Trello 是这一年来我发现的为数不多非常好用,并且一直用到现在“好”应用,然而上个礼拜在工作的时候收到一份邮件,是一个内部使用的效率工具,点开一看竟然发现是和 Trello 类似的一个内部规划和管理工具,那个时候就是萌生了写下这样一篇文章的想法。说实话经过一番搜索和调查整理之后发现 Trello 类似的项目真的很多,商业化的,非商业化的,开源的,闭源的,不过追根溯源看板这个概念也并不是 Trello 首创,这个概念本来就来自日本,已经经过多年的实践证明过了的。
接触 KanbanFlow 是在《[[软技能]]》这本书中,作者也使用 Trello 和 KanbanFlow 来管理自己的待办,KanbanFlow 优于 Trello 的一点是自带了 Pomodoro 番茄时钟。
这是国内团队做的,看官网是主攻企业和大客户,为公司等等提供定制化服务。
我简单的使用了一下 Teambition 的个人版,主要的流程和 Trello 并没有什么大的差异,甚至大体功能都比不上 Trello,比如不能附加图片等等,不过界面很清爽,好的一点是他自带模板功能,Trello 早期让我无法适从的一点就是,进去以后光秃秃,虽然他也有模板,但是对于一个初用者,如果有不同种类的模板给予选择,肯定可以更好的使用起来,虽然熟悉之后可能自己手动根据自己的需求创建相应的项目要来的更加自由,但是初期模板确实给了一个清晰地方向,你可以用来管理 TODO,可以用来指定旅行计划,可以用来管理读书笔记,更加甚至给公司用可以用来管理 OKR,可以用来制定需求池,可以用来管理敏捷开发,用来管理项目进度等等等等。
开源版本的 Trello
如果考虑到隐私问题,可以用来私有托管。并且在他们发布的 1.0 版本 中,增加了 Snap, Docker, VirtualBox, 等等快捷安装的方式。
如果想要在线尝试一下,可以访问这里:https://oasis.sandstorm.io/demo
在安装 Ubuntu Server 18.04 的时候再一次看到 wekan,然后就顺手体验了一下,虽然外观和 Trello 比起来还是有些距离,但是功能上是已经能够满足日常 90% 的需求了。而 Open Source 最棒的就是,如果用着不开心了,自己干。
当然客观上来讲,目前 (2020 年) Trello 在第三方 API 和界面上还是领先与 Wekan 的,但谁能知道 5 年,10 年后呢。
单独写了一篇文章,开始的时候竟然漏掉了。
下面几个也都大同小异,大家都主打团队协作工具,效率工具,看使用的方式吧,好的工具确实能够提高效率,但却也不能因为好的工具而浪费时间。
以前也写过一篇文章叫做购买 VPS 之后需要做的事情 其中也提到了一些安全设置来确保 VPS 的安全性,但是那篇文章更多的集中于设置和配置。那这篇文章就集中总结归纳一下需要特别注意的安全问题。
经常检查系统更新,尤其是出现重大安全问题时一定更新到最新的系统,以 Debian/Ubuntu/LinuxMint 为例
apt-get update
apt-get upgrade
SSH 默认使用 22 端口,我们和 VPS 打交道用的最多的就是这一个端口,修改 /etc/ssh/sshd_config
中 Port
的设置,修改为其他端口,然后使用
ssh -p <the port you set> name@server.ip
来指定端口访问,虽然修改为非默认端口也避免不了被扫描出来,但概率要稍微低一点。
推荐使用公钥、私钥来登录 VPS,在本机 ssh-copy-id name@server.ip
将本地公钥拷贝 到远程 ~/.ssh/authorized_keys
文件中
限制 root 账户登录 SSH 同理,修改 /etc/ssh/sshd_config
将 PermitRootLogin
值改为 no。注意之前先新建可用账户,然后再禁用 root 登录。
adduser [nickname_you_want]
adduser [nickname_you_want] sudo # 或者 visudo
通过上面的命令生成公私钥之后,可以取消密码登录,编辑 /etc/ssh/sshd_config
然后修改:
PasswordAuthentication no
然后重启 ssh 服务:
sudo /etc/init.d/ssh restart
在 /etc/ssh/sshd_config
中增加:
MaxAuthTries 6
然后重启 ssh。
不响应 ping,修改 /proc/sys/net/ipv4/icmp_echo_ignore_all
文件,0 为允许,1 为禁止
# 禁止 ping
echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
# 允许 ping
echo 0 > /proc/sys/net/ipv4/icmp_echo_ignore_all
编辑 /etc/security/limits.conf
添加配置:
* hard maxlogins 2
Fail2ban 是一个能够保护 SSH 等常用端口暴力破解的工具
sudo apt install fail2ban
项目的配置地址在 /etc/fail2ban/
目录下。
其中可以找到一个 jail.conf
的配置文件,该文件可能在升级时被覆盖,所以可以拷贝一份 cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local
来编辑 local 文件,fail2ban 配置文件优先级:
编辑 /etc/fail2ban/jail.local
[DEFAULT]
# "ignoreip" can be an IP address, a CIDR mask or a DNS host. Fail2ban will not
# ban a host which matches an address in this list. Several addresses can be
# defined using space separator.
ignoreip = 127.0.0.1/8 123.45.67.89
# "bantime" is the number of seconds that a host is banned.
bantime = 31536000 ; 1 year
# A host is banned if it has generated "maxretry" during the last "findtime"
# seconds.
findtime = 600
maxretry = 3
更多的配置可以参考这篇文章
fail2ban 的日志可以在 /var/log/fail2ban.log
查看。
当你发现服务器有异常请求时,如何查看服务器用户登录日志。首先查看当前服务器登录的用户
w
使用该命令可以查看当前连接在线的用户,然后使用
last
来查看过去一段时间的登录用户,包括登录用户名,登录 IP,登录时间,时长等等。如果发现异常等级即使处理。
然后检查 sudo less /var/log/auth.log
文件查看登录日志。
cAdvisor 可以对节点机器上的资源及容器进行实时监控和性能数据采集,包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况,cAdvisor集成在Kubelet中,当kubelet启动时会自动启动cAdvisor,即一个cAdvisor仅对一台Node机器进行监控。kubelet的启动参数 –cadvisor-port
可以定义cAdvisor对外提供服务的端口,默认为4194。
cAdvisor原生支持 Docker 容器,cAdvisor 容器是基于Google的 Imctfy 开发。cAdvisor 运行一个守护进程用来收集每一个容器的数据,cAdvisor 的数据可以使用一下方式获取:
更多的内容可以访问项目主页:http://github.com/google/cadvisor
cAdvisor 有两种方法来运行,一种是以二进制可执行文件,另一种是以 Docker 容器运行。
这里先介绍使用 Docker 容器运行的方法,使用docker容器运行cadvisor的方法如下:
docker run \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:rw \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--publish=8080:8080 \
--detach=true \
--name=cadvisor \
google/cadvisor:latest
运行之后,便可通过http://IP:8080来访问web界面。可以看到CPU的使用率、内存使用率、网络吞吐量以及磁盘空间利用率,点击界面顶部 docker 可以进入查看某个docker容器的详细信息。
注意,在 Ret Hat, CentOS, Fedora 等发行版上需要传递如下参数,因为 SELinux 加强了安全策略:
--privileged=true
设置为true之后,容器内的root才拥有真正的root权限,可以看到host上的设备,并且可以执行mount;否者容器内的root只是外部的一个普通用户权限。由于cadvisor需要通过socket访问docker守护进程,在CentOs和RHEL系统中需要这个这个选项。
--volume=/cgroup:/cgroup:ro
对于CentOS和RHEL系统的某些版本(比如CentOS6),cgroup的层级挂在/cgroup目录,所以运行cadvisor时需要额外添加–volume=/cgroup:/cgroup:ro选项。
cAdvisor 项目在他的 release 页面发布了可执行的二进制,这些文件可以直接下载并执行
wget https://github.com/google/cadvisor/releases/download/v0.26.1/cadvisor
chmod 755 cadvisor
./cadvisor
默认情况下 cAdvisor 的网页端口为 8080,直接访问本地 http://localhost:8080 即可。
cadvisor还提供远程调用的REST API,详情可以参考如下文档:https://github.com/google/cadvisor/blob/master/docs/api.md
另外,github上还有提供了一个用Go语言实现的调用REST API的客户端:https://github.com/google/cadvisor/tree/master/client
之前一篇文章 介绍了 Java 8 中 stream 基本用法,这里主要说 collect,flatmap,map 这三个比较重要的方法使用。
基础数据结构
class Person {
String name;
int age;
Person(String name, int age) {
this.name = name;
this.age = age;
}
@Override
public String toString() {
return name;
}
}
下面的例子覆盖了 collect 绝大部分的使用案例。
@Test
public void testCollectAdvance() {
List<Person> persons =
Arrays.asList(
new Person("Max", 18),
new Person("Peter", 23),
new Person("Pamela", 23),
new Person("David", 12));
Supplier<Stream<Person>> supplier = () -> persons.stream();
Set<Person> nameWithP = supplier.get()
.filter(p -> p.name.startsWith("P"))
.collect(Collectors.toSet());
System.out.println(nameWithP); // [Pamela, Peter]
Map<Integer, List<Person>> groupByAge = supplier.get()
.collect(Collectors.groupingBy(p -> p.age));
System.out.println(groupByAge);
Double averageAge = supplier.get()
.collect(Collectors.averagingInt(p -> p.age));
System.out.println(averageAge);
IntSummaryStatistics ageSummary = supplier.get()
.collect(Collectors.summarizingInt(p -> p.age));
System.out.println(ageSummary);
String phrase = supplier.get()
.filter(p -> p.age >= 18)
.map(p -> p.name)
.collect(Collectors.joining(" and ", "In Germany ", " are of legal age."));
System.out.println(phrase);
Map<Integer, String> map = supplier.get()
.collect(Collectors.toMap(
p -> p.age,
p -> p.name,
(name1, name2) -> name1 + ";" + name2
));
System.out.println(map);
// 如果要实现自己的 collector
Collector<Person, StringJoiner, String> personStringJoinerStringCollector = Collector.of(
() -> new StringJoiner(" | ", "[ ", " ]"), // supplier
(j, p) -> j.add(p.name.toUpperCase()), // accumulator
(j1, j2) -> j1.merge(j2), // combiner
StringJoiner::toString // finisher
);
String personStr = supplier.get().collect(personStringJoinerStringCollector);
System.out.println(personStr);
}
JDK 为我们实现了大部分常用的 Collector,都可以在 Collectors
类中查看。而如果我们要想实现自己的 Collector ,则需要提供四个实现,supplier,accumulator,combiner,finisher。
首先使用 Collector.of
这个静态方法来创建自定义 collector,这个静态方法需要上面提到的四个参数。
supplier 需要提供一个存放结果的容器,accumulator 的内容会存放在 supplier 中,比如上面例子中
() -> new StringJoiner(" | ")
accumulator 将累加结果添加到 supplier 创建的结果容器中,该方法有两个参数,第一个参数为 supplier 提供的结果,另一个为流中的数据
(joiner, person) -> joiner.add(person.name.toUpperCase())
在 sequential reduction 中上面两步已经足够,但是为了支持 parallel 需要提供 combiner, combiner 是定义两个结果如何合并的方法,在 parallel 的场景下,流会被分为多个部分计算,最后结果需要按照 combiner 中定义的方法来合并。
(j1, j2) -> j1.merge(j2)
虽然之前定义了 StringJoiner 来存放结果,但其实我们需要的并不是 StringJoiner,而是一个 String,所以在结果返回的时候,我们可以将 StringJoiner map 到 String 来作为返回。
Collector.of
最后有一个可变参数 Characteristics
,这个参数有三个取值:
CONCURRENT
表明一个 result container 可以同时被多个 accumulator 使用IDENTITY_FINISH
表明 finisher 方法是 identity function ,可以被省略UNORDERED
表明 colletor 不依赖于元素的排序更多关于 Collector 的内容可以参考 Java doc
之前的文章 已经讨论过将流中的对象通过 map 转成另外一种对象,但是 map 有一个限制每一个对象只能被 map 到另外一个对象,如果要将一个对象转变为多个对象,或者变成 none 呢?所以 FlatMap
就是做这个用途的。
引入基本数据结构
class Foo {
String name;
List<Bar> bars = new ArrayList<>();
Foo(String name) {
this.name = name;
}
@Override
public String toString() {
return "Foo{" +
"name='" + name + '\'' +
", bars=" + bars +
'}';
}
}
class Bar {
String name;
Bar(String name) {
this.name = name;
}
@Override
public String toString() {
return "Bar{" +
"name='" + name + '\'' +
'}';
}
}
然后填充一些数据
@Test
public void testFlatMapAdvanced() {
List<Foo> foos = Lists.newArrayList();
IntStream.range(1, 4).forEach(i -> foos.add(new Foo("Foo" + i)));
foos.forEach(f -> IntStream.range(1, 4)
.forEach(i -> f.bars.add(new Bar("Bar" + i + " <- " + f.name))));
Supplier<Stream<Foo>> supplier = foos::stream;
supplier.get()
.flatMap(f -> f.bars.stream())
.forEach(b -> System.out.println(b.name));
List<Bar> list = supplier.get()
.flatMap(f -> f.bars.stream())
.collect(Collectors.toList());
System.out.println(list);
}
FlatMap 将这个双层的数据结构拍扁,生成一个 List<Bar>
Reduction 操作将流中的所有元素缩减到一个结果, Java 8 中支持三种方式的 reduce
操作。
reduce(BinaryOperator<T>)
reduce(T, BinaryOperator<T>)
reduce(U, BiFunction<U, ? super T, U>, BinaryOperator<U>)
第一种方法接受一个 BinaryOperator accumulator 方法,其实是一个两边类型相同的 BiFunction。BiFunction 和 Function 类似,但是接受两个参数。
List<Person> persons =
Arrays.asList(
new Person("Max", 18),
new Person("Peter", 23),
new Person("Pamela", 23),
new Person("David", 12));
Supplier<Stream<Person>> supplier = persons::stream;
supplier.get().reduce((p1, p2) -> p1.age > p2.age ? p1 : p2)
.ifPresent(System.out::println);
第二种方法接受两个参数一个 T,一个 BinaryOperator,比如说可以汇总四个 Person 到一个新的 Person
Person finalPerson = supplier.get()
.reduce(new Person("", 0), (p1, p2) -> {
p1.age += p2.age;
p1.name = p1.name.concat(p2.name);
return p1;
});
System.out.println(finalPerson);
第三种方法接受三个参数,一个 T,一个 BiFunction (accumulator),一个 BinaryOperator (combiner function),如果我们只想要所有 Person 的年龄总和,其实上面的例子中并不需要 name 的值,所以可以添加一个 BiFunction (累加器)
Integer totalAge = supplier.get()
.reduce(
0,
(sum, p) -> {
System.out.format("accumulator: sum=%s; person=%s\n", sum, p);
return sum += p.age;
},
(sum1, sum2) -> {
System.out.format("combiner: sum1=%s; sum2=%s", sum1, sum2);
return sum1 + sum2;
}
);
System.out.println(totalAge);
打印内容
accumulator: sum=0; person=Person{name='Max', age=18}
accumulator: sum=18; person=Person{name='Peter', age=23}
accumulator: sum=41; person=Person{name='Pamela', age=23}
accumulator: sum=64; person=Person{name='David', age=12}
76
通过打印的内容可以看到 accumulator 打印出了所有内容,sum 一直在累加,但是观察发现 combiner 根本没有做任何操作。这是因为我们创建的这个 stream 是一个串行的,而不是 parallelStream(),所以没有调用到 combiner。如果换成下面这种方式就能看到区别了。
Integer ageSum = persons
.parallelStream()
.reduce(0,
(sum, p) -> {
System.out.format("accumulator: sum=%s; person=%s\n", sum, p);
return sum += p.age;
},
(sum1, sum2) -> {
System.out.format("combiner: sum1=%s; sum2=%s\n", sum1, sum2);
return sum1 + sum2;
});
// accumulator: sum=0; person=Pamela
// accumulator: sum=0; person=David
// accumulator: sum=0; person=Max
// accumulator: sum=0; person=Peter
// combiner: sum1=18; sum2=23
// combiner: sum1=23; sum2=12
// combiner: sum1=41; sum2=35
本意上想要了解一下 Docker 容器中 Volume 的备份,毕竟重要的数据都在 Volume 中。然后顺带看了一下 Docker 镜像,容器的备份,不过镜像和容器托管到 Docker Hub 上也算是备份了。
Volume 可以叫做 数据卷
,可供一个或者多个容器使用:
这里说的备份指的是直接从本地备份镜像文件,可以使用 docker save 命令将镜像打包成 tar 文件,之后可以使用 docker load 命令来恢复。
docker save -o /path/to/image.tar image-name:1.0.0
docker load -i /path/to/image.tar
备份容器有不同的方法:
需要注意的是所有的命令都只会备份容器 layered file system ,不包括 挂载的数据卷 Volumes
Docker user guide 中有非常详细的知道,如何备份数据卷,这样就可以在新容器启动时使用备份好的数据。当备份 data volume 时,需要先关闭容器。
docker volume create my-vol # 创建数据卷
docker volume ls # 查看所有数据卷
docker volume inspect my-vol # 查看指定数据卷内容
docker run -d -P \
--name web \
# -v my-vol:/wepapp \
--mount source=my-vol,target=/webapp \
training/webapp \
python app.py # 启动并挂载一个数据卷 使用 `--mount`
docker inspect web # 查看容器中 mount 信息
docker volume rm my-vol # 移除数据卷
数据卷
是被设计用来持久化数据的,它的生命周期独立于容器,Docker 不会在容器被删除后自动删除 数据卷,并且也不存在垃圾回收这样的机制来处理没有任何容器引用的 数据卷。如果需要在删除容器的同时移除数据卷。可以在删除容器的时候使用 docker rm -v
这个命令。
无主 (dangling) 的数据卷可能会占据很多空间,要清理请使用以下命令
docker volume prune
比如在 docker compose 中定义了叫做 db_data
的 volume:
volumes:
db_data:
那么在启动 docker compose 之后会生成一个 DOCKER_COMPOSE_NAME
加上 VOLUME_NAME
的容器卷
[DOCKER_COMPOSE_NAME]_[VOLUME_NAME]
那么可以使用下面的命令来备份该数据卷:
docker run --rm \
--volume [DOCKER_COMPOSE_PREFIX]_[VOLUME_NAME]:/[TEMPORARY_DIRECTORY_TO_STORE_VOLUME_DATA] \
--volume $(pwd):/[TEMPORARY_DIRECTORY_TO_STORE_BACKUP_FILE] \
alpine \
tar cvf /[TEMPORARY_DIRECTORY_TO_STORE_BACKUP_FILE]/[BACKUP_FILENAME].tar /[TEMPORARY_DIRECTORY_TO_STORE_VOLUME_DATA]
看清楚其中的临时 DATA 目录和 临时备份目录,执行该命令之后,在当前文件夹下就会产生 BACKUP_FILENAME.tar
这样的文件,里面包含数据卷中的内容。
这一行语句包含两个 volume,举例使用说明,假如有一个数据卷叫做 chevereto_chevereto_data
,要备份该数据卷:
docker run --rm \
--volume chevereto_chevereto_data:/tmp \
--volume $(pwd):/path_to_store_backup \
alpine \
tar cvf /path_to_store_backup/chevereto_chevereto_data.tar /tmp
那么就能够使用该命令来恢复数据卷数据:
docker run --rm \
--volume [DOCKER_COMPOSE_PREFIX]_[VOLUME_NAME]:/[TEMPORARY_DIRECTORY_STORING_EXTRACTED_BACKUP] \
--volume $(pwd):/[TEMPORARY_DIRECTORY_TO_STORE_BACKUP_FILE] \
alpine \
tar xvf /[TEMPORARY_DIRECTORY_TO_STORE_BACKUP_FILE]/[BACKUP_FILENAME].tar -C /[TEMPORARY_DIRECTORY_STORING_EXTRACTED_BACKUP] --strip 1
恢复数据卷数据,举例:
docker run --rm \
--volume chevereto_chevereto_data:/tmp \
--volume $(pwd):/path_to_store_backup \
alpine \
tar xvf /path_to_store_backup/chevereto_chevereto_data.tar -C /tmp --strip 1
如果是数据库容器,比如 MySQL 容器,备份数据可以使用如下方式
docker exec [CONTAINER_NAME] /usr/bin/mysqldump -u root --password=root [DATABASE] > backup.sql
然后使用下面的命令来恢复
cat backup.sql | docker exec -i [CONTAINER_NAME] /usr/bin/mysql -u root --password=root [DATABASE]
对于 docker compose 启动的多个容器,可能因为宿主机器变化而导致 docker 容器的 id 有变化,可能在回复数据之后,还需要对数据库连接的地址进行修改才能完整的恢复。
仅仅作为记录,为了不让树莓派吃灰。主要参考官网这篇文章。
Docker 的好用程度已经不比多说,经过这两年的发展已经非常成熟,还记得一年前买的书已经跟不上Docker的发展了,所以这里还是推荐 Docker 的官方文档,要比市面上存在所有书籍要详细。不过要是想要了解 Docker 的内部技术还是有不少好书可以参考。跑偏了,回到正题。
Docker 官方已经支持 Raspbian Jessie,所以可以直接安装:
curl -sSL https://get.docker.com | sh
Docker client 只能被 root 或者 docekr group 中的用户使用,所以将 pi 用户添加到 docker
用户组:
sudo usermod -aG docker pi
如果拉取了 busybox
镜像,可能会发现工作不正常,这只是因为有些镜像是为了 PC 或者 x86_64
架构设计的,可能未来版本会修复,所以应该使用那些设计为了在 ARM 上运行的镜像,目前 Docker 团队维护了一小部分镜像,可以在arm32v6这个用户下找到。
可以使用 arm32v6/alpine
作为基础镜像,同样也可以使用 Resin.io 制作的镜像,该镜像被用在了当前 Docker 中,这是一个轻量版本的 Raspberry Jessie。
比如说想要制作一个在树莓派上能够跑的镜像,可以以 resion/rpi-raspbian
作为基础镜像
FROM resin/rpi-raspbian:latest
ENTRYPOINT []
RUN apt-get update && \
apt-get -qy install curl ca-certificates
CMD ["curl", "https://docker.com"]
或者也可以
FROM arm32v6/alpine:3.5
RUN apk add --no-cache curl ca-certificates
CMD ["curl", "https://docker.com"]
build 命令
docker build -t curl_docker .
docker run curl_docker
如果不怎么使用 Raspberry Pi 连接显示器,或者不怎么使用 GPU,可以限制 gpu 内存的占用,修改 /boot/config.txt
添加下面一行:
gpu_mem=16