爬虫相关技术整理

部分内容从 Python 3 网络爬虫开发实战书中整理。 Python 模块主要依赖 Python 模块 requests BeautifulSoup doc celery 介绍实践 PyMySQL doc 或者 MySQL-python doc SQLAlchemy doc 数据库 MySQL Redis 抓包 Charles 介绍 MitmProxy 介绍 Fiddler wireshare 介绍工具依赖 Selenium 自动化测试框架 Appium 移动 Read more ...

2017-09-05 crawler , spider , python , mitm , linux

使用 Shell 命令来对 Unix 时间戳和日期进行转换 date 命令

在程序中经常要使用到 Unix timestamp 和日期的转换，通常情况下都是 Google 一个时间戳转换的网页在进行转换，其实 Linux 命令中就有能够快速实现转换的命令。主要都是集中在 date 这个命令。date 命令主要用于显示或设定系统时间和日期。修改系统的时区 Linux 用来修正系统的时区 sudo dpkg-reconfigure tzdata 选择 Asia > Shanghai date 常用命令获取当前的 Unix timestamp date +%s # 返回 10 位时间戳，%s 表示从 19 Read more ...

2017-09-04 shell , linux

Mastering the Vim

我已经用了很长一段时间 Vim 了，但是 Vim 最可贵之处便在于你永远达不到 Vim 的天花板，在使用的过程中我永远会发现操作 Vim 的其他便捷方法。最近看了一个关于 Vim 的讲座，革新我对 Vim 命令的认识。可以说掌握这样的一个世界观可以对 Vim 的操作上到另外一个层次。下面就总结一下这个视频中的精髓内容。 Text Objects and motions @ChrisToomey 定义了一种 Vim Language，Vim 的语法由数词 + 动词 + 名词组成，比如： d 删除 w 单词将两个字母组合起来就是删除单词这 Read more ...

2017-09-03 vim , linux , editor

Raspberry pi 自动挂载 NTFS USB 设备

一些相关的命令 sudo fdisk -l # 列出磁盘分区表结果是这样的： Disk /dev/ram0: 4 MiB, 4194304 bytes, 8192 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk /dev/ram1: 4 MiB, 4194304 byte Read more ...

2017-09-02 linux , raspberrypi , mount , ntfs , usb

Spring MVC 应用处理 CORS

什么是跨域或者说什么是CORS（Cross-origin resource sharing），中文叫”跨域资源共享”。在了解 CORS 之前首先要知道“同源策略”，出于安全考虑，浏览器会限制Ajax中发起的跨站请求。比如，使用 XMLHttpRequest 对象发起 HTTP 请求就必须遵守同源策略（same-origin policy）,”同源策略“是浏览器安全的基石。具体而言，Web 应用程序能且只能使用 XMLHttpRequest 对象向其加载的源域名发起 HTTP 请求，而不能向任何其它域名发起请求。阮一峰写的一篇关于 CORS 的文章介绍得 Read more ...

2017-09-01 Spring , CORS , JS , Web , HTTP , 跨域，

爬虫相关材料整理

这篇文章用来收集整理爬虫相关的资料。相关技术如果只想单纯的自己开发，可以使用 Python + Celery + Redis/MySQL 基本能满足 80% 的需求。如果想要选用框架 Scrapy，pyspider，等等都是非常不错的选择，我甚至在 GitHub 上看到过 Java 的分布式爬虫。书籍 Python 3 网络爬虫开发实战这本书在网上有部分 gitbook，链接在这里网上公开的部分都是无关痛痒的部分，不过提及的工具倒是可以参考一下。大部分我之前的文章也都有提及 mitmproxy wireshark Read more ...

2017-08-29 collection , spider , crawler , python , redis , mysql

树莓派系统安装及设置

树莓派官网有很多系统可以选择，我选了官方维护的 Raspbian 基于 Debian 的衍生版，主要是熟悉他的 APT 包管理，看评价三方维护的 Snappy Ubuntu Core 换用了其他的 snap 的管理，不是很了解，所以还是选择了 Raspbian。系统安装官网提供的教程非常方便，采用开源的镜像烧录工具 Etcher 非常方便的就可以在三大平台上完成镜像到 SD 的烧录。当然如果熟悉各个平台的工具也可以自己手动完成烧制。启动系统在将系统写入 microSD 卡之后，将卡插入树莓派板子，启动树莓派，开机即可，可以用 HDMI Read more ...

2017-08-26 raspberrypi , linux

Redis 安全性检查

Redis 在设计上，是用来被可信客户端访问的，也就意味着不适合暴露给外部环境非可信客户端访问。最佳的实践方法是在 Redis 前增加一个访问控制层，用于校验用户请求。基本配置 Redis 本身提供了一些简单的配置以满足基本的安全控制。 IP 绑定。如果不需要直接对外提供服务，bind 127.0.0.1 就行了，切忌 bind 0.0.0.0 端口设置。修改默认的 6379，一定程度上避免被扫描。设置密码。Redis 的密码是通过 requirepass 以明文的形式配置在 conf 文件里的，所以要尽可能得长和复杂，降低被破 Read more ...

2017-08-25 redis , database , nosql , security , key-value , db

Linux 主机在线监控: nodequery

很久没有更新这个分类下的文章了，其实一直在体验不同的产品，只是真的很少有能拿出来讲一下的东西。不管是硬件还是软件，最近几年使用的东西越来越狭窄，越来越收缩，当然对于某一个特定的需求，总有一个产品能够占领绝大多数市场，而也有部分产品能够瓜分小众市场。这里要介绍的这个 NodeQuery 就不是一个大而全的产品，而是一个很精细的小众产品。我用它也一年多了，我的需求很简单，能够实时监控我的 VPS，能够在宕机或者高负载时报警。NodeQuery 完全能够满足我的需求。用 NodeQuery 自己的话描述自己就是：”一个轻量、易用的 Linux 服务器监控服 Read more ...

2017-08-23 linux , vps , monitor

Python 笔记之内存模型 Variables Objects and References 区别

许多使用静态语言比如 C、 C++ 或者 Java 的人，在转到 Python 的时候可能第一个会疑惑的就是 Python 不需要显示的指定类型，那么 Python 是怎么知道变量的类型呢？变量创建流程在 Python 中，变量的创建遵循着一个非常合理的方式，以 a=3 来举例子：变量创建一个变量（名字）比如 a ，当第一次被赋值时被创建。变量类型 Variable Types 一个变量永远不会有任何类型信息或者约束，类型的概念和 Object 关联，而不是变量名字。变量都是通用的（泛 Read more ...

2017-08-22 python , variable , object