HBase 如何设计 Table Schema

我们都知道 HBase 的基本结构由 rowkey,column, timestamp 组成。列存储数据不同于关系型数据库,MySQL 一旦建表,需要修改表结构时则需要执行对应的修改语句,而 HBase 在建完表之后,对于列的增加则不需要修改建表语句,但这并不意味着 HBase 的建表就可以随意建。 首先来看看 HBase 的结构 Table, 表,HBase 按照表来组织数据 Row, 行,Table 可以有多 Row,Table 按照 RowKey 进行索引 Column Family,列族,一行可以分为多个列族,列族需要在建表 S Read more ...


Docker 使用 nginx-proxy 来架设多个网站

我们知道如果使用 Nginx 可以使用 Virtual HOST 来 HOST 多个域名下的网站到同一台机器,那么如果使用 Docker 架设了一个 WordPress,还想用 Docker 架设一个新的网站,那么该怎么办呢? 有一种解决办法就是使用 Nginx 转发请求,比如一个网站监听了 81 端口,一个网站监听了 82 端口,那么使用 Nginx 的代理功能,将对应的流量转发给对应的服务器处理即可。因此 nginx-proxy 这个镜像的作用就如上面所述,让我们将不同的流量转发给不同的 Docker 容器进行处理。 启动 nginx-proxy Read more ...

2017-02-20 docker , nginx , proxy , dockerfile

Busybox 工具列表

Busybox 将很多 UNIX 下的工具集打包到一个可执行文件中,特别适合小容量的嵌入式设备,Android 等等。最近也是因为在 Android 用到才接触到。 实际的命令列表按编译时的设置决定,在有 Busybox 的系统上执行 busybox --list 即可看到一个完整的列表。 127|:/ $ busybox BusyBox v1.30.1-osm0sis (2019-02-28 18:48:08 AST) multi-call binary.BusyBox is copyrighted by many authors between Read more ...

2017-02-19 busybox , linux , commands

HBase 命令行工具

HBase Shell 是 HBase 提供的一个简单方便的命令行工具,用它可以直接操作 HBase,对 HBase 进行各种设置。 HBase Shell 提供的命令可以对对 HBase 数据进行增删改查。在上一篇 HBase 介绍 中对 HBase 做了简答的介绍,也初识了一些命令行。 根据官方的解释 Apache HBase Shell 是 (J)Ruby 下的 IRB(Interactive Ruby Shell),任何在 IRB 下的命令,在 HBase Shell 下都可以使用。1 可以在启动 HBase 之后,通过 ./bin/hbas Read more ...

2017-02-18 hbase , linux , apache , database

HBase 基本使用

[[HBase]] — Hadoop Database,是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文《Bigtable:一个结构化数据的分布式存储系统》。HBase 是 Google Bigtable 的开源实现,就像 Bigtable 利用了 Google 文件系统(File System)所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力,利用 Hadoop HDFS 作为文件系统,利用 Hadoop MapReduce 来处理 HBase 中海量 Read more ...


获取在线视频的时长

这是清理记事本的文章,解决一个问题之后,将之前整理的内容,整理发布。清空 WizNote 计划。 问题 手上有一些视频链接的 URL,如何快速的得到这些视频的时长信息? 答案 经过一番调研,发现使用 ffprobe (和 ffmpeg 套件一起) 可以完美解决这个事情。将命令 -i 参数后面的地址改成线上URL 地址即可。 ffprobe -i https://cldup.com/po79gkocrO.mp4 -show_entries format=duration -v quiet -of csv="p=0" 也可以将此代码保存为 ge Read more ...

2017-02-11 ffmpeg , ffprobe

每天学习一个命令:perf 性能分析工具

Perf 全称Performance Event,是随着 Linux 2.6+ 一同发布的性能分析工具。通过它,应用程序可以利用 PMU,tracepoint 和内核中的特殊计数器来进行性能统计。它不但可以分析指定应用程序的性能问题 (per thread),也可以用来分析内核的性能问题,当然也可以同时分析应用代码和内核,从而全面理解应用程序中的性能瓶颈。 安装 perf 工具在 linux-tools 下面,安装如下三个包即可 apt-get install linux-tools-common linux-tools-generic linux- Read more ...

2017-02-02 linux , 监控 , 资源占用 , command , perf

Spark 学习笔记

Spark 是一个依托于 Hadoop 生态的分布式内存计算框架,在吸收了 Hadoop MapReduce 优点的基础上提出以 RDD 数据表示模型,将中间数据放到内存,用于迭代运算,适用于实时计算,交互式计算场景。 什么是 Spark 简单的讲是一个通用计算引擎。 A fast and general engine for large-scale data processing An open source implementation of Resilient Distributed Datasets (RDD) Support Read more ...

2017-01-28 spark , notes , hadoop

Kerberos 使用

Kerberos 是一个网络验证协议,通过使用密钥来为 client/server 应用提供高强度的安全校验。一个开源的实现是由 Massachusetts Institute of Technology 实现。Kerberos 也在很多商业产品中被使用。 Kerberos 使用 UDP,默认使用 88 端口 在 Hadoop 生态中涉及到的安全问题可以大致归纳为两类,Authentication 和 Authorization: Authentication 认证用户身份,也就是证明 A 是 A 的问题 Authorization 则是 Read more ...

2017-01-27 kerberos , security , protocol

Linux 下自动更新 Chrome

最近使用 Gmail 竟然告诉我“即将不支持此版本浏览器”,于是看了一样 Chrome 版本号 —- v52 , 感觉还很新啊,查了一下发现 Chrome 版本已经更新到了 v56。 但是 Linux 下 Chrome 不会自动更新, chrome://help/ 来查看也不会自动更新。所以搜索了一下,发现 Google 其实维护了自己的 Linux Repository。 因为我是通过网站下载 GUI 安装的,所以没有自动更新的模块,添加 Chrome 的 source 即可。 添加 PPA 源 如果使用 PPA,则可以通过下面的命令,让 apt Read more ...

2017-01-27 Linux , Chrome , Google , APT

最近文章

  • Gemini 2 的原生多模态图片生成 Google 今天发布了 Gemini 2.0 Flash 的多模态图像生成功能。
  • Helm 使用 Helm 是 [[Kubernetes]] 的一个包管理工具,用来简化 Kubernetes 应用的部署和管理。
  • K8s 部署 TiDB TiDB 是由 PingCAP 开发的一款开源分布式 SQL 数据库,支持事务处理和实时分析。它与 Kubernetes 的结合使得数据库能够实现云原生化,具备弹性扩展、自动故障转移等特性。
  • 开源 Kotlin ORM 框架 Exposed 使用说明 Exposed 是 JetBrains 在数年前推出的轻量级 ORM 框架,Kotlin 编写,已经在 JetBrains 内部多个关键产品使用。
  • Open WebUI 基于网页的大语言交互界面及联网搜索配置 之前的视频也介绍过,ChatWise,Cherry Studio,Chatbox 等大语言模型调用的本地客户端,虽然这些客户端都还是跨平台的,但是总还是需要占用本地的空间,今天我就来介绍一款基于网页的 LLM 交互客户端 Open WebUI,以及再介绍一下如何配置 Open WebUI 让其支持联网搜索。