Spring 中 ThreadPoolTaskExecutor 配置

The Spring Framework provides abstractions for asynchronous execution and scheduling of tasks with the TaskExecutor and TaskScheduler interfaces, respectively.

The Spring TaskExecutor abstraction

Spring’s TaskExecutor interface is identical to the java.util.concurrent.Executor interface.

接口 ExecutorService 的几个常用方法:

  • submit() 有返回值的任务使用
  • execute() 无返回值的任务使用
  • getActiveCount() 当前活跃线程数

TaskExecutor types

Spring 提供了一系列的预置的 TaskExecutor 的实现,几乎能满足日常的所有需求。

  • SimpleAsyncTaskExecutor 不复用任何线程,每次调用都新建线程。但是它提供并发数量限制,当调用超过限制时,会阻塞直到线程池中有空余。
  • SyncTaskExecutor 非异步执行,没有实现异步调用,主要用于简单的测试等等不需要多线程的场景
  • ConcurrentTaskExecutor 该类适配了 java.util.concurrent.Executor,只有在 ThreadPoolTaskExecutor 满足不了需求时才考虑用这个类。
  • SimpleThreadPoolTaskExecutor 这个类的实现实际上是 Quartz 的 SimpleThreadPool,它会监听 Spring 生命周期的回调。典型的使用场景是当你需要一个线程池需要和 Quartz 和 non-Quartz 组件共享
  • ThreadPoolTaskExecutor 最常用的线程池,它在 java.util.concurrent.ThreadPoolExecutor 的基础上暴露了一些 bean 的配置,并把它包装在 TaskExecutor 中。如果你要适配 java.util.concurrent.Executor,推荐可以自定义 ConcurrentTaskExecutor
  • WorkManagerTaskExecutor This implementation uses the CommonJ WorkManager as its backing implementation and is the central convenience class for setting up a CommonJ WorkManager reference in a Spring context. Similar to the SimpleThreadPoolTaskExecutor, this class implements the WorkManager interface and therefore can be used directly as a WorkManager as well.

ThreadPoolTaskExecutor Config

Spring 线程池 ThreadPoolTaskExecutor 通过 XML 方式配置:

<bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
    <!-- 线程池维护线程的最少数量 -->
    <property name="corePoolSize" value="5" />
    <!-- 允许的空闲时间 -->
    <property name="keepAliveSeconds" value="200" />
    <!-- 线程池维护线程的最大数量 -->
    <property name="maxPoolSize" value="10" />
    <!-- 缓存队列 -->
    <property name="queueCapacity" value="20" />
	<!-- 线程名前缀 -->
	<property name="threadNamePrefix" value="taskExecutor-thread-"/>
    <!-- 对拒绝 task 的处理策略 -->
    <property name="rejectedExecutionHandler">
        <bean class="java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy" />
    </property>
</bean>

属性字段说明:

  • corePoolSize:核心线程数,线程池维护的最少线程数,不管创建后空闲与否,除非设置了 allowCoreThreadTimeOut
  • keepAliveSeconds:存活时间,允许的空闲时间,如果经过 keepAliveTime 时间后,超过核心线程数的线程还没有接受到新的任务,那就回收
  • maxPoolSize:线程池维护线程的最大数量
  • queueCapacity:缓存队列
  • rejectedExecutionHandler:对拒绝 task 的处理策略

    AbortPolicy,用于被拒绝任务的处理程序,它将抛出 RejectedExecutionException。 CallerRunsPolicy,用于被拒绝任务的处理程序,它直接在 execute 方法的调用线程中运行被拒绝的任务。 DiscardOldestPolicy,用于被拒绝任务的处理程序,它放弃最旧的未处理请求,然后重试 execute。 DiscardPolicy,用于被拒绝任务的处理程序,默认情况下它将丢弃被拒绝的任务。

将任务添加到线程池时:

  • 如果线程池中的线程数量小于 corePoolSize,即使线程池中的线程都处于空闲状态,也要创建新的线程来处理被添加的任务。
  • 如果线程池中的线程数量等于 corePoolSize,但是缓冲队列 workQueue 未满,那么任务被放入缓冲队列。
  • 如果线程池中的线程数量大于 corePoolSize,缓冲队列 workQueue 满,并且线程池中的数量小于 maxPoolSize,建新的线程来处理被添加的任务。
  • 如果线程池中的数量大于 corePoolSize,缓冲队列 workQueue 满,并且线程池中的数量等于 maxPoolSize,那么通过 handler 所指定的策略来处理此任务。也就是:处理任务的优先级为:核心线程 corePoolSize、任务队列 workQueue、最大线程 maximumPoolSize,如果三者都满了,使用 handler 处理被拒绝的任务。
  • 当线程池中的线程数量大于 corePoolSize 时,如果某线程空闲时间超过 keepAliveTime,线程将被终止。这样,线程池可以动态的调整池中的线程数。

SimpleAsyncTaskExecutor

SimpleAsyncTaskExecutor 每次都会 newThread()

protected void doExecute(Runnable task) {
	Thread thread = (this.threadFactory != null ? this.threadFactory.newThread(task) : createThread(task));
	thread.start();
}

SyncTaskExecutor

SyncTaskExecutor 在 spring-core-xxx.jar 包中。

SyncTaskExecutor 同步执行

@Override
public void execute(Runnable task) {
	Assert.notNull(task, "Runnable must not be null");
	task.run();
}

ConcurrentTaskExecutor

ConcurrentTaskExecutor 类在 spring-context-xxx.jar 包中。

ConcurrentTaskExecutor 类中通过 TaskExecutorAdapter 适配了 Executor

private Executor concurrentExecutor;
private TaskExecutorAdapter adaptedExecutor;

提交任务时直接通过 adapter 来提交:

public void execute(Runnable task, long startTimeout) {
	this.adaptedExecutor.execute(task, startTimeout);
}
@Override
public Future<?> submit(Runnable task) {
	return this.adaptedExecutor.submit(task);
}

@Override
public <T> Future<T> submit(Callable<T> task) {
	return this.adaptedExecutor.submit(task);
}

SimpleThreadPoolTaskExecutor

SimpleThreadPoolTaskExecutor 类在 spring-context-support-xxx.jar 包中。

SimpleThreadPoolTaskExecutor 继承了 Quartz 的 SimpleThreadPool,

@Override
public <T> Future<T> submit(Callable<T> task) {
	FutureTask<T> future = new FutureTask<T>(task);
	execute(future);
	return future;
}

队列的选择

ArrayBlockingQueue

数组实现的有长度限制的阻塞队列,FIFO 先进先出。

LinkedBlockingQueue

链表组成的有界队列,FIFO,默认长度是 Integer.MAX_VALUE,如果默认创建该队列一定特别小心容量问题。

PriorityBlockingQueue

优先级排序的无界队列,默认自然序,可自定义实现 compareTo() 方法来定义排序规则(不能保证同优先级的顺序)。

DelayQueue

使用 PriorityBlockingQueue 实现的延迟无界队列,创建元素时,可以指定延迟时间。

SynchronousQueue

不存储元素的阻塞队列,每一个 put 操作都需要等待 take。

LinkedTransferQueue

链表组成的无界阻塞队列,多了 transfer 和 tryTransfer 方法。

LinkedBlockingQueue

链表组成的双向阻塞队列,头部和尾部都可以添加或移除元素,多线程并发时可以将锁的竞争降一半。

选择

对于如何设置线程池中线程的数量,《Java 并发编程实战》中作者给出了一个公式:

 Number of threads = Number of Available Cores * (1 + Wait time / Service time)

说明:

  • wait time 用来表示任务中 IO 花费的时间,比如等待 HTTP 回应,这里的 wait time 也包括 thread 在 WAITING/TIMED_WAITING 状态的时间
  • service time, 任务真正处理的时间,比如解析 HTTP 回应内容等等

wait time / service time 这个比率又被称为 blocking coefficient。

对于 CPU 密集型任务,核心线程数可以设置为,CPU 核心数 + 1,在计算密集型的任务中,blocking coefficient 接近于 0,所以线程数约等于 CPU 核心数。但为什么要 +1 呢?

《Java 并发编程实战》一书中给出的原因是:即使当计算(CPU)密集型的线程偶尔由于页缺失故障或者其他原因而暂停时,这个“额外”的线程也能确保 CPU 的时钟周期不会被浪费。

在运行时可以通过 Runtime.availableProcessors 来获取 CPU 核心数。

int numOfCores = Runtime.getRuntime().availableProcessors();

如果任务是 IO 密集型,则可以适量的调大核心线程数,因为这个时候 wait time / service time 就会响应的增大。

举例

假如有一个工作线程来响应一个微服务,序列化一个 JSON,并执行一些规则。微服务的响应时间是 50ms,处理时间是 5ms,然后将应用部署到一台双核处理器的机器上,那么根据上面的公式:

2 * ( 1 + 50 / 5)  = 22    // 理想的线程池核心线程数

这个例子是一个极端简单的举例,除去 HTTP 线程池外,应用也还有可能有 JDBC 连接线程池,JMS 请求线程池等等。如果现实应用中也遇到各种不同的场景,可以针对不同的场景,使用多个线程池,然后针对不同的使用场景进行调优。

假使有多个线程池,可以在公式中新增一个 Target CPU utilization,取值范围是 [0-1], 1 表示线程池会充分利用处理器。

 Number of threads = Number of Available Cores * Target CPU utilization * (1 + Wait time / Service time)

Little’s Law

通过上面的解释,可以得到一个理想的核心线程数,可以得到一个理论上的核心数上限。但是我们如何知道并发的线程数如何影响延迟 (latency) 和吞吐量 (throughput)?

Little’s law 可以同来回答这个问题。这条定律认为,系统中的请求数等于它们到达的速度乘以处理单个请求所需的平均时间。我们可以利用该公式来计算需要多少并发线程来处理给定吞吐量并且要求延迟的场景。

L = λ * W

L - 并发处理的请求数
λ – 长期的平均到达率 long-term average arrival rate (RPS)
W – 处理单个请求的平均时间 the average time to handle the request (latency)

使用该公式,可以计算出系统的容量,需要多少实例同时运行才可以处理给定数量的请求,以及让处理的时间在一个稳定的范围。

回到上面的例子,我们有一个服务平均处理时间是 55ms,50ms wait time 和 5ms service time,核心线程数是 22 。

应用 Little’s Law 公式:

22 / 0.055 = 400 // the number of requests per second our service can handle with a stable response time

总结

上面提到的公式并不是银弹 (silver bullet) ,并不能解决所有遇到的问题。这个公式的问题在于,它注重于系统平均能够处理的请求数,所以并不适合于不同场景爆发式的流量情况。所以可以在设计系统时通过上面的公式计算出一个初始的设定,然后通过压测来调整。

reference


2016-05-26 spring , thread , thread-pool , queue

Spring BeanPostProcessor 使用

BeanPostProcessor 接口允许在 Spring Bean Factory 返回 Bean instance 时修改 Bean 的创建过程。这是影响 Bean 生命周期的一部分。

Bean life cycle

要了解 BeanPostProcessor 接口就不得不提及 Bean 的生命周期。

Life cycle callbacks

Two groups:

  • Post-initialization
  • Pre-destruction

Life cycle:

  • Instantiation
  • Populate Properties
  • BeanNameAware’s setBeanName()
  • BeanFactoryAware’s setBeanFactory()
  • Pre-initialization BeanPostProcessors
  • InitializingBeans’ afterPropertiesSet()
  • Call custom init-method
  • Post-initialization BeanPostProcessors
  • Bean is ready to use ![[202101151422-how to become smarter]] Container is shutdown:

  • DisposableBean’s destroy()
  • Call custom destroy-method

Callback

Spring 提供了这些方法可以在生命周期过程中回调。

  • InitializingBean 和 DisposableBean
  • Spring 提供的一系列 *Aware 接口
  • 配置文件中自定义 init()distroy() 方法
  • 注解 @PostConstruct@PreDestroy

InitializingBean 和 DisposableBean

大致这样:

import org.springframework.beans.factory.DisposableBean;
import org.springframework.beans.factory.InitializingBean;

public class DemoBean implements InitializingBean, DisposableBean
{
	//Other bean attributes and methods

	@Override
	public void afterPropertiesSet() throws Exception
	{
		//Bean initialization code
	}

	@Override
	public void destroy() throws Exception
	{
		//Bean destruction code
	}
}

Aware interfaces

  • ApplicationContextAware 任何 bean 想要 ApplicationContext 启动时被通知可以实现该接口
  • ApplicationEventPublisherAware
  • BeanClassLoaderAware
  • BeanFactoryAware
  • BeanNameAware
  • BootstrapContextAware
  • LoadTimeWeaverAware
  • MessageSourceAware
  • NotificationPublisherAware
  • PortletConfigAware
  • PortletContextAware
  • ResourceLoaderAware
  • ServletConfigAware
  • ServletContextAware

Custom init() and destroy() methods

定义单个 Bean:

<beans>
 <bean id="demoBean" class="info.einverne.deme.DemoBean"
					init-method="customInit"
					destroy-method="customDestroy"></bean>
</beans>

全局定义:

<beans default-init-method="customInit" default-destroy-method="customDestroy">
    <bean id="demoBean" class="info.einverne.demo.DemoBean"></bean>
</beans>

@PostConstruct and @PreDestroy

  • @PostConstruct annotated method will be invoked after the bean has been constructed using default constructor and just before it’s instance is returned to requesting object.
  • @PreDestroy annotated method is called just before the bean is about be destroyed inside bean container.

BeanPostProcessor

@Slf4j
@Component
public class CustomBeanPostProcessor implements BeanPostProcessor {


  @Override
  public Object postProcessBeforeInitialization(Object bean, String beanName) throws BeansException {
	log.info("BeanPostProcessor postProcessBeforeInitialization for:" + beanName);
	return bean;
  }

  @Override
  public Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {
	log.info("BeanPostProcessor postProcessAfterInitialization for:gg" + beanName);
	return bean;
  }
}

2016-05-26 spring , java , bean , spring-bean , spring-bean-lifecycle

gunicorn 使用

之前的文章使用 gunicorn 来部署 webpy 中简单的提到了 gunicorn 的使用。这篇文章就在官方文档的基础上学习下 gunicorn 的其他更多的用法。

基本的安装和参数就跳过了,这边讲下文档中很有用却不是常用的一些选项,如果要看基础使用可以去看之前的文章

配置文件

我们知道 gunicorn 能够直接使用命令行来启动,常见的参数

gunicorn -w 2 -b 0.0.0.0:5000 app:app --log-level info --access-logfile logfile.log --log-file error.log

当这样一路写下去就知道命令行非常难管理,所以 gunicorn 能够使用 config 文件来管理

gunicorn -c config.py app:app

这样就简单很多了。至于 config.py 文件格式如何,保证是一个 python 格式的文件,语法没有太大问题即可

import multiprocessing

bind = "127.0.0.1:8000"
workers = multiprocessing.cpu_count() * 2 + 1
backlog = 2048                           # int 范围在 64-2048 pending 的链接最大数
worker_class = 'gevent'
debug = True
pidfile = '/tmp/home.pid'
loglevel = 'info'
logfile = '/var/log/gunicorn/gun_debug.log'

其他的全部配置可以在 setting 中找到。

设计模式

gunicorn 的设计,官方这篇说明清楚的解释了 同步 worker 和 异步 worker 的区别,如果你的应用程序接口有大量的 IO 操作推荐使用 异步 worker。

重新加载配置

首先要知道 master workder 的 pid 发送 -HUP 信号

kill -HUP masterpid

如何测试性能,可以使用 hey,下面的命令发送了 10000 个请求,其中 100 是并发量。

hey -n 10000 -c 100 http://127.0.0.1:5000/

reference


2016-05-25 python , gunicorn , wsgi , http , unix , web , server

Pypi 国内镜像记录

官方 PyPI 源的 URL 为 https://pypi.org/simple

pip 临时换用国内的镜像

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package

或者设为默认:

pip install pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

或者修改配置文件:

vi ~/.config/pip/pip.conf

设为:

[global]
timeout = 60
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

常用的国内 PyPI 镜像列表

  • 豆瓣 https://pypi.doubanio.com/simple/
  • 网易 https://mirrors.163.com/pypi/simple/
  • 阿里云 https://mirrors.aliyun.com/pypi/simple/
  • 清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/

2016-05-23 pip , python , mirror

gnome do 技巧

自 Mint 开始才接触到 Gnome-do 这样一个神器,一句话介绍他的功能就是启动器,完全键盘操作的启动器。当然在启动应用之外还有很多扩展的功能,自开始使用 Gnome-do 开始几乎已经很少使用菜单开应用了。正如这篇 文章所讲使用了 Gnome-do 之后就会让 Windows 和 OS X 下的用户嫉妒不已。 不过 OS X 下貌似也有 Alfred 这样的神器。

安装与启动

Mint 下直接从软件管理里面搜索安装吧,如果想使用命令行,下面的也可以:

sudo apt-get install gnome-do

忘记了初始设置的启动快捷键是什么了,我自己一直使用 Alt + Space .

启动应用

最基本的功能就是启动应用, Alt + Space 之后,输入 “Chrome” ,找到 Chrome 之后回车就直接开启 Chrome。当然与此同时 Gnome-do 也回去搜索本地,查找相关的目录寻找与 Chrome 相关的内容,不关心跳过就行。用同样的方法可以开启本地的任何应用,当然要保证这些应用都在 Gnome-do 的搜索路径下。Gnome-do 会自动学习使用习惯,现在基本我输入 c 就能够找到 Chrome。

开启URL

打开 Gnome-do,输入网址 google.com 然后第一次可能需要使用 Tab 选择 Action: Open URL。然后回车, Gnome-do 会自动开启默认浏览器加载网页。

Plugin

以下插件都可以在 Preference 中找到,并启用,一些插件默认已经启用。

Alias

给应用程序或者其他命令重命名

Files and Folders

搜索本地文件及目录

GNOME Session Management

重启或者关机

Twitter

并不怎么用 Twitter ,不过可以实现 Twitter 发消息。

总结

大部分的情况都是启动应用,URL 或者搜索打开文件,其他的一些功能并不常用。


2016-05-20 Linux , gnome-do

snapseed 中的一些参数

照片编辑一些参数,了解一个 App 就能知道所有图像处理类 App 原理,比如 VSCO,泼辣修图,大到 Photoshop 等等。

Tools

Snapseed 中的常用调整工具

Tune Image

调整图像最常见的操作基本都能在这个 section 中找到。比如亮度、对比度、饱和度等等,细节部分可以单独调整暗部,或者亮部,还有图片整体色调。

Brightness

亮度,很容易理解的概念

Contrast

对比度,黑色像素和白色像素的对比度。利用S曲线的功能也能够实现,不过直接调节Contrast参数倒是来的更加直接。

Saturation

饱和度,色彩的饱和程度。往右为图像色彩变浓重,左反之。也称为色度色彩的三属性之一,广义讲,黑白灰的 色度=0 。

Ambiance

Ambiance 直译是 环境,气氛的意思,这边应该是调整环境的色彩。

Shadows

暗部,调整暗部,单独针对暗部调整往右为暗部更亮,往左为暗部更黑。

Highlights

高光,调整高光部分,更亮或者高光部分调整暗。

Warmth

色调,调整图片的色调,暖色或者是冷色,往右为暖色,往左为冷色。

Details

图片细节部分调整,基本上是图片锐度的调整。

Structure

图片纹理会变得清晰

Sharpening

色彩更加锐利。

Crop

裁剪比例,其实最喜欢的还是 1:1

Available crop aspect ratios:

Free - the aspect ratio can be set freely, without constraint

Original - the aspect ratio will be set based on the original image

1:1 - to create a square image

DIN - to set the aspect ratio according to European page aspect ratios (such as A4, A3, A2, etc.)

3:2 - to set the aspect ratio to what is typically found on D-SLRs

4:3 - to set the aspect ratio to what is typically found on DSCs

5:4 - to set the aspect ratio to what is found on many typical US page sizes (8×10, 16×20, etc.)

7:5 - to set the aspect ratio for 5×7 prints

16:9 - to set the aspect ratio to the aspect ratio of most HDTVs

其中值得一提的就是 DIN ,貌似是欧洲标准的 A4 纸张比例。

Rotate

这个比较好理解,就是旋转照片

Transform

变形,这是一个很棒的功能, VSCO Android 版有这个功能时间也不长,利用空间的变形可以将原本侧面拍摄导致的图片变形给纠正回来。

  • VerticalPerspective 垂直方向变形
  • Horizontal Perspective 水平方向变形
  • Rotation 旋转

Brush

笔刷

Dodge & Burn

完全不知道怎么翻译,感觉涂抹会产生红色像素

Exposure

调整曝光的画笔

Temperature

色温画笔

Saturation

饱和度画笔

Selective

选择点,单独对某个局部进行调整. 可以增加选择点,每个选择点可以使用单击,进行”剪切”,”复制”,”删除”和”撤销该选择点所有操作”.

而每个选择点则有”B”: Brightness, “S”:Saturation, “C”:Contrast . 这样三个可选操作.

而双指则可以选择该点影响的范围.

长按拖动则可以移动选择点.

Healing

修复,好像 PS 中的修复图章,只是这边只要轻轻一涂抹, Snapseed 将自动修复涂抹的区域.

Vignette

直译的话, Vignette 是装饰图案,小图案之类的意思. 而这边应该是指针对图片增加暗角,或者调高角落亮度的操作. 这里面又分为 “Outer Brightness”, 和 “Inner Brightness” 两种操作. 分别对应着暗角,和亮角。

Filters

一些滤镜,和工具不同的是,下面的内容都是在原有图片的基础上增加内容,而不是针对原始图片进行修改。

Lens Blur

这个词我也不知道怎么描述,似乎一直都是以英文描述。用官方的说法,就是增加镜头虚化效果,让注意力都集中到核心物体上。这个工具中又分成线性“linear”和椭圆”elliptical“两种模糊工具。

利用里面另外一个功能也可以定义虚化的图形,不单纯可以是圆形。

Blur Strength

模糊程度,更加模糊。向右滑动增加模糊的程度

Transition

增加周围虚化和中心物体的距离,让过度更加自然。

Vignette Strength

暗角强度,类似工具中的暗角工具。

Glamour Glow

光晕效果,直译过来就是”富有魅力的光晕“。其中每一种滤镜又可以单独调整。

Glow

光晕效果

Saturation

光晕效果色彩饱和度

Warmth

光晕效果色调冷暖。

Tonal Contrast

对比度

High Tones

增加高光部分对比度

Mid Tones

增加中间色对比

Low Tones

增加暗部色彩对比

Protect Shadows

防止暗部因为对比度的增加而损失细节

Protect Highlights

防止高光部分因为对比度增加而损失细节。

HDR Scape

High Dynamic Range 高动态范围成像

  • Filter Strength 滤镜的效果
  • Brightness 亮度
  • Saturation 饱和度

Drama

戏剧风格

  • Filter Strength 滤镜的效果
  • Saturation 饱和度

Grunge

色彩和纹理, 平行的线图标为纹理,交叉箭头为随机纹理与色彩。

  • Style 选择1500种不同的纹理
  • Brightness 亮度
  • Contrast 对比度
  • Texture Strength 纹理强度,0表示没有强度,等于没有增加纹理
  • Saturation 饱和度

Grainy Film

木纹理

  • Grain 自然的颗粒感
  • Style Strength 风格强度

Vintage

带来50,60,70年代的胶片感觉。

  • Brightness 亮度
  • Saturation 饱和度
  • Style Strength 风格强度

Vignette Strength

暗角的强度

Retrolux

创造复古,怀旧,有历史痕迹的胶片感觉

  • Brightness 亮度
  • Saturation 饱和度
  • Contrast 对比度
  • Style Strength 风格强度
  • Scrathches 划痕,value为0依然有效果
  • Light Leaks 漏光,alue为0依然有效果

Noir

Create moody, cinematic black and white images with darkroom-inspired toning and wash effects. 对胶片工业不是很了解,很不好翻译啊,总之就是模拟胶片在暗室中冲洗的效果。

  • Brightness 亮度
  • Wash 模拟darkroom 中over-processing
  • Grain 颗粒感,0为没有颗粒感
  • Filter Strength 滤镜强度

Black & White

黑白效果

  • Brightness 亮度
  • Contrast 对比度
  • Grain 颗粒感,0为没有颗粒感

Frames

调整设置不同边框,滑动调整边框的宽度。边框被应用之后就不能再对图片大小进行调整,所以调整图片大小之后添加边框。

其他可能用到的参数

HSL

HSL是色相、饱和度、明度的简称:

  • 色相是一种颜色区分于另外一种颜色的首要标准,例如红色与黄色。
  • 饱和度是衡量一种颜色鲜艳程度的标准。
  • 明度是衡量一种颜色明亮程度的标准。

曲线:

提亮 & 压暗曲线:提升或降低画面亮度。

左侧曲线可以调整图像中暗色区域,右侧则是高光部分

亮的地方更加亮,暗的地方更加暗一些,提高对比度. S曲线.

Reference


2016-05-19 Snapseed , PhotoEditing , Anroid , VSCO

gunicorn 部署 web.py 应用

整理文档之,部署 web.py 应用

之前有一个项目使用了 web.py 作为 web server,必然遇到的一个问题就是完成代码之后的部署,网上简单的搜索了一下就确定使用 gunicorn ,比较简单的 wsgi,全称是 web server gateway interface。

gunicorn

Gunicorn ‘Green Unicorn’ 是一个 Python WSGI HTTP Server for UNIX. Gunicorn 兼容众多 Python Web 框架,能轻松集成,并且消耗资源少,速度快。

安装

pip install gunicorn

具体可以参考官网,官网推荐使用 virtualenv 来安装。

#  ...
app = web.application(urls, globals())
#  在这里加入下面这句,即可
application = app.wsgifunc()

然后使用如下命令运行:

gunicorn code:application

其中 code 就是指 code.py,application 就是那个 wsgifunc 的名字。 这样运行的话, gunicorn 默认作为一个监听 127.0.0.1:8000 的 web server,可以在本机通过: http://127.0.0.1:8000 访问。

gunicorn -w 1 -b 127.0.0.1:8000 code:application

其中 -w 指定 worker 数量, -b 指定监听地址

  • --log-file FILE The Error log file to write to.
  • --log-level LEVEL debug, info, warning, error, critical
  • -D, --daemon 后台执行
  • -p FILE, --pid FILE filename to use for the PID file
  • -t INT, --timeout INT Workers silent for more than this many seconds are killed and restarted

更多参数参考这里

Nginx 反向代理

Gunicorn 是 WSGI HTTP 服务,通常将其放到 Nginx 服务器后

server {
	listen 80;
	server_name example.org;
	access_log  /var/log/nginx/example.log;
	location / {
		proxy_pass http://127.0.0.1:8000;
		proxy_set_header Host $host;

		proxy_set_header X-Real-IP $remote_addr;
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	}
}

停止 gunicorn

使用如下命令停止 gunicorn

pkill gunicorn

reference


2016-05-11 python , gunicorn , webpy , web , server

荒蛮故事 感悟

不知道什么时候加入的待看列表,今天一个偶然的机会突然翻到这部片子,突然感觉整个世界都明朗了。我知道又收获了一部不可多得的好电影,当然最初着是在第一个故事结束,片头出来的时候。

关于影片中提到的六段故事不再详说,只是有些话必须写下来才能描述得清楚现在的感受。就第一个飞机的故事,从飞机上两位的交流,转到和特定一个人的联系,继而转到和机长的关系。看完这段之后我就联想起曾经看到过的一则新闻,当然是飞机事故,没有任何危机情况,就这样机毁人亡,后来调查说是机长的精神状况导致。虽然当时看到这条新闻的时候并没有看这样一部影片,但是也曾经纠结过一个问题,为什么他能够当上机长,同样的疑问也表现在影片中,这倒也不是影片的BUG,但是经过现实新闻的映照更加凸显出这个故事荒蛮无理的背后实则是导演的一番诉说,中国古话说“君子报仇,十年不晚”,我一般很难相信这样的人存在,只是事实一遍又一遍的告诉我不是不可能,而是没有想到。继而追问起我自己,让我自己反思我自己是否在生活中是否曾经没有善待过某一些人,我想导演在放完着一个个故事的背后并不是让我们笑笑了事吧。

第二个故事吃薯条,现在回想起来虽然对故事本身对于犯罪和宽恕,对于那个女厨师本身就可以展开很多的话题,但是我印象最深刻的还是那句”老鼠药过期了是没用了,还是更毒了。“最深刻。当然本身这个故事因为设定较少,如果单纯的听女主一面之词而草草结束某个人的生命,我还是并不赞同的。

relatos salvajes

画面再转到公路上驾驶的奥迪汽车,这个故事当然影像最深,讽刺意味也最强烈。从最开始主角在大马路上开车,车中播放着激昂的音乐,原本甚至以为会是一段比较愉悦的旅程,而事后发生的故事真让我咋舌,然而回归到第一个故事的主题,这一次只是这个因果报应来的快了一些。并不知道谁先开始,也并不知道在那个遥远的国家是不是大家在大马路上是不是都会开着车逗别人一下,总之一方和另一方结下了一面之缘,而就着一面之缘,而终导致了相爱相杀。过程比较曲折,只是我在想,如果开奥迪的人不那么炫耀,言语中放写尊重,而另一位并没有开这个路上的”玩笑“,或者为人谦逊一些会不会故事会美好一些,漫漫长途或许会是一对伴侣,只是可能我们就不会看到这么黑色的故事了。

而接下来一个故事如果没有记错的话应该是那个爆破工程师,而看完这些不知道为什么我就想起了自焚者,你说故事中的爆炸是“恐怖袭击”吗?或许是当人生已经被逼迫无奈只能走上这样一条路的时候,如果掌握一些技术还能为自己挣得一口气,而那些真正的底层劳动人民,一没技术,二没知识呢?他们或许真正想到的就是拿自己的身体去赌,有些时候真的不愿意再看到去批评这些自焚者,而是我们真的应该去关注一下他们为什么会去自焚,那些理由才是这个故事导演想要告诉我们的。当然故事毕竟是故事,最后危机化解,妻子女儿周围环境都又回归了美好,一些人的犯罪趋于收敛,只是我在想如果大家都像故事中妻子那样呢?是不是最后我们依然按照那个不合理的规则继续生活着。这个社会有的时候真需要一些类似那个爆破工程师那样的角色,促进社会的进步,只是如果可能我希望方式可以和平一些。可以想象,如果那一次爆炸真的伤害了无辜的人呢?事态可能会不受控制,而这一点其实回想起来也挺讽刺,现实中往往为了刺激人们发现一些”违法“的事情,而自己却需要用”违法“的方式。想来,如果能像“聚焦”中那样,通过媒体吸引大家的注意进而解决一个社会问题的例子,少之又少啊。所以新闻必须自由,才能偶尔的给社会这口高压锅适当的降降压。

再到下一个替死鬼,似乎是看太多的新闻也好,电影也好,在富翁盯着他们的管家意味深长地长看的时候就猜想到了后面的情节,只是我没有想到的是,原来直到最后手上也需要握有筹码才行。这里暂且不说拿钱抵事这件事请的公平性,如果看过之前中国家长贿赂美国审判长被判刑来看,是非自知。就最后这个故事的结局来看,则又是一个给底层人士的警告,虽然开始有些可怜这位老头,但在他开口索要海边别墅的时候,他的整个形象就已跌落谷底。直到最后他也没有拿到他自己应拿到的那一分五十万的酬金。原本一个车祸,在富豪的住宅却演变成一桩生意,原本五十万解决的事情,又变成书房的一番商讨,双方给出自己的筹码,最多一百万的酬金无法瓜分,那如何,那就让最下面的人去死吧。这就是没有筹码的人在一局一局的商战中被人活生生吃掉的例子。

最后一个几乎可以用“血色婚礼”来形容了,看似风光的场面,看似喜庆的婚礼,却暗流涌动,我几乎没有办法想要看出导演的表现意图,只就是看着这样的故事发展下去,没有办法料到结局。我的想法并没有那么黑暗,我坚信他们双方最后是互相谅解,继而相拥,也就是冰释前嫌,不再计较,当然故事戛然而止,留下很多疑问,但这已然足够,我相信他们不会为了这一些小事而放弃人生的后半段,嗯,我还是很光明的。


2016-05-07 review , 电影 , 思考感悟

MySQL 客户端命令行使用技巧

本文会列举一些 MySQL 常用的客户端命令,已经一些使用经验。MySQL 客户端命令会知道 SQL 语句以分号 ;,或者 \g 或者 \G 结尾。

使用 \G

通常 mysql client 都是以表格的形式显示结果,通常情况排版会有一些问题,这时可以使用 \G,比如说

SHOW DATABASES \G

此时的输出结果会用 * 号来优化显示,

使用 \P 设置 pager

在 Linux 系统下,可以使用 pager 程序来显示超长的输出结果, pager 提供了在结果中导航的功能,可以使用键盘,鼠标,或者其他方法来在结果中快速导航。一些好的 pager 可以使 less, more lv 等等。

首先使用 \P 来查看

MariaDB [(none)]> \P

然后使用 \P less 来设置。

有些结果可能只关心其中列,比如

SHOW ENGINE InnoDB STATUS \G

如果只关心 IO 可以设置 \P grep 'I/O thread' 那么再次运行上面的命令,结果就是过滤后的了。

另一个比较有意思的 pager 是 md5sum,将 md5sum 设置为 pager ,那么结果是每一个查询输出都会显示 MD5 hash,通常可以用来比较两个结果是否一样。

\P md5sum
SELECT * from XXXX

存储引擎

InnoDB 成为了 MariaDB 5.5 和 MySQL 5.5 的默认存储引擎。Percona 维护一个 InnoDB 的 fork 分支。

TokuDb 引擎由 Tokutek 开发,从 5.5 起包含在 MariaDB 中,需要安装并单独开启。支持 transactions with savepoints, XA transactions , 但是不支持外键全文索引。和 InnoDb 非常不同,只要是使用了一个新的数据结果用来索引:the fractal trees. 和 B 树相似,但是每个节点都有缓存。另一个 TokuDb 的特征是数据压缩,数据压缩不能禁用。

MyISAM 历史的存储引擎,MySQL 和 MariaDB 在 5.5 版本以下的默认。

reference

  • 《Mastering MariaDB》
  • [[MySQL]]

2016-05-04 mysql , cli , mysql-cli , linux

修复 zsh 下 git 自动提示失败

前些天不知道调整了什么设置,可能是因为更新了 dotfiles 的缘故,突然 git 自动补充就失效了,然而其他命令的自动补充都是非常完美的。搜寻了一番有人说删除根目录下 ~/.zcompdump* 就行了,但是我尝试无效,重启也无效,就觉得可能哪里的配置有了冲突。

后来发现可能是我本地安装了 hub 命令,zsh 自动填充可能会需要到 completions 目录中找一些索引,所以

  • mkdir -p ~/.zsh/completions
  • 然后将 hub 的自动填充复制一份到该目录

然后在 ~/.zshrc 文件中

fpath=(~/.zsh/completions $fpath)
autoload -U compinit && compinit

重新打开 zsh,或者 source 一下,在使用 git + Tab 看看效果即可。

reference


2016-05-02 zsh , git , auto-completion , hub

电子书

最近文章

  • 读书是否是唯一重要的事? 不久之前和朋友约去了趟植物园,聊起读书是否是第一要务的时候产生了一些分歧,关于是否要去学习如何学习这一件事情产生了一些分歧。我站在的立场是读书是必须的,而我朋友则认为在有限的时间里面实践要优先于读书。而关于要不要学习如何学习这一件事情,他仍然坚持自己的实践而非去了解如何学习。
  • Android 上的 RIME 输入法 trime 同文输入法使用 早之前就已经在 Linux 和 macOS 上配置了 RIME 并且一直使用到现在,但是在主力的 Android 上从最早的触宝输入法,后来切换成 Gboard,日常使用倒是没什么大问题,就是有一些词总是需要翻页才能找到,这让我非常不爽,就想手机上能不能用 RIME,于是就有了这篇水文。
  • Obsidian 使用篇一:使用 markdown-clipper 全文保存网页 之前使用整理 Evernote 代替品 的时候就提出了我自己的一个需求,就是有一个完善的 Web Clip 系统,Evernote 和 WizNote 都做的比较不错。但 Obsidian 并没有提供类似的工具,不过幸好 Obsidian 使用 Markdown 来管理文档,这样的开放程度使得我可以寻找一个将网页变为 Markdown 的浏览器扩展就能做到。
  • 使用了半年 macOS 之后 我又回到了 Linux 的怀抱 我在使用了半年 macOS 之后,又回到了 Linux 的怀抱,虽然 macOS 有其自身的优势,我也不否认 macOS 系统上软件生态的友好,但我发现即使我将日常开发主力机器装回到 Linux,也没有丧失操作系统的便捷性和易用性。这或许和我下意识的只使用跨平台的软件有关,并且最长使用的软件几乎都是一套快捷键。
  • 重置 macOS S.M.C 和 NVRAM 今天用得好好的电脑突然三次黑屏,两次发生在早上刚刚使用的时候,一次发生在晚上回家之后。所以一怒之下就直接上官网联系了 Apple Support,但是也不知道是不是我直接登录的 .com 网站,在我提交了 Support 之后一分钟一个外国小哥打了电话过来,我一下子没反应过来,只能用着不那么熟练的英语开始了 macOS 修复之路。