Spark 学习笔记

Spark 是一个依托于 Hadoop 生态的分布式内存计算框架，在吸收了 Hadoop MapReduce 优点的基础上提出以 RDD 数据表示模型，将中间数据放到内存，用于迭代运算，适用于实时计算，交互式计算场景。 什么是 Spark 简单的讲是一个通用计算引擎。 A fast and general engine for large-scale data processing An open source implementation of Resilient Distributed Datasets (RDD) Support Read more ...

2017-01-28 spark , notes , hadoop

Kerberos 使用

Kerberos 是一个网络验证协议，通过使用密钥来为 client/server 应用提供高强度的安全校验。一个开源的实现是由 Massachusetts Institute of Technology 实现。Kerberos 也在很多商业产品中被使用。 Kerberos 使用 UDP，默认使用 88 端口 在 Hadoop 生态中涉及到的安全问题可以大致归纳为两类，Authentication 和 Authorization： Authentication 认证用户身份，也就是证明 A 是 A 的问题 Authorization 则是 Read more ...

2017-01-27 kerberos , security , protocol

Linux 下自动更新 Chrome

最近使用 Gmail 竟然告诉我“即将不支持此版本浏览器”，于是看了一样 Chrome 版本号 —- v52 , 感觉还很新啊，查了一下发现 Chrome 版本已经更新到了 v56。 但是 Linux 下 Chrome 不会自动更新， chrome://help/ 来查看也不会自动更新。所以搜索了一下，发现 Google 其实维护了自己的 Linux Repository。 因为我是通过网站下载 GUI 安装的，所以没有自动更新的模块，添加 Chrome 的 source 即可。 添加 PPA 源 如果使用 PPA，则可以通过下面的命令，让 apt Read more ...

2017-01-27 Linux , Chrome , Google , APT

每天学习一个命令：ln 创建链接

ln 它的功能是为某一个文件在另外一个位置建立一个同步的链接。当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在 其它的目录下用 ln 命令链接（link）它就可以，不必重复的占用磁盘空间。非常类似于 Windows 系统中的快捷方式，但是又比超链接要强很多。 命令格式： ln [OPTION] TARGET LINK_NAME 命令功能： Linux 文件系统中，有所谓的链接 (link)，我们可以将其视为档案的别名，而链接又可分为两种 : 硬链接 (h Read more ...

2017-01-26 linux , command , ln , link

每天学习一个命令: base64 编解码

Base64 是一种使用 64 个可打印的字符来表示二进制数据的方法，base64 中仅且包括字母 A-Za-z0-9+/ 共64个字符。Base64 通常处理文本数据，表示、传输、存储二进制数据。 Base64编码由来 有些网络传送渠道不支持所有字节，比如邮件发送，图像字节不可能全部都是可见字符，所以受到了很大限制。最好的解决办法就是在不改变传统协议的情况下，利用一种扩展方式来支持二进制文件的传送，把不可打印的字符用可打印字符来表示。 Base64 就是一种基于64个可打印字符来表示二进制数据的方法。 原理 Base64 索引中，64个字符使用 Read more ...

2017-01-20 base64 , linux , encode , decode

RESTful 接口

RESTful 为 Representational State Transfer 的缩写，拆分开这三个单词来就是： Representational - REST resources can be represented in virtually any form, include XML, JSON, or even HTML 表现层，资源的表现形式 State - concerned with the state of a resource 状态，指的是互联网上资源的状态 Transfer - transferring resour Read more ...

2017-01-10 Web , API , RESTful

每天学习一个命令：lscpu 查看 CPU 信息

lscpu 显示 CPU 的架构信息 lscpu 从 sysfs 和 proc/cpuinfo 中收集信息。这个命令的输出是规范的可以用来解析，或者给人来阅读。该命令显示的信息包括，CPU 的数量，线程 (thread)，核心 (core)，Socket 还有 Non-Uniform Memory Access (NUMA) 节点数。 Socket 具体是指的主板上 CPU 的插槽数量，一般笔记本只有一个，而服务器可能会有多个。如果有两个插槽，通常称为两路 Core 具体是指 CPU 的核心，也就是平常说的几核，比如八核之类 threa Read more ...

2017-01-09 linux , command

每天学习一个命令：tree 生成目录结构

tree 命令，是一个列出树型目录结构的命令。同时也能够统计出目录下的文件数量和目录数量。 生成目录结构的输出，可以是纯 ASCII 字符，也可以是 html tree -H baseHREF 根据手册 tree 命令是用来以树的方式 list 目录下的所有文件 tree -s -v --du -T "目录索引 - Kindle 伴侣每周一书（往期）（更新：06 月 05 日）" -I "Z.*|index*" -h -H ./ -o index.html 说明： -s 列出文件或者目录大小 -v 按照字母序排序 --d Read more ...

2017-01-06 linux , tree , command

每天学习一个命令：nmap 扫描开放端口

nmap 是一个网络探测和安全审核工具，能够扫描主机开放端口。nmap 全称 network mapper 网络映射器，设计的目标是快速扫描大型网络。 nmap 以原始 IP 报文来检测网络上有哪些主机，主机运行哪些操作系统（包括版本），主机提供哪些服务（应用程序名和版本），主机使用什么类型的报文过滤器 / 防火墙，以及一堆其它功能。虽然 Nmap 通常用于安全审核，许多系统管理员和网络管理员也用它来做一些日常的工作，比如查看整个网络的信息，管理服务升级计划，以及监视主机和服务的运行。 Nmap 输出的是扫描目标的列表，以及每个目标的补充信息，至于是 Read more ...

2017-01-05 linux , nmap , 学习笔记 , port , network

每天学习一个命令：netstat 查看本地监听端口

以”查看本地端口占用情况”为契机学习一下 netstat 命令。在 man netstat 中的介绍，netstat 可以打印网络连接，路由表，接口信息，masquerade 连接，多播信息的工具。 netstat - Print network connections, routing tables, interface statistics, masquerade connections, and multicast memberships 简单使用 直接运行以下命令可以打印出当前系统上所有开放的端口（包括 TCP，UDP 端口），进程 Read more ...

2017-01-04 network , linux , netstat , ports

电子书

本站提供服务

文章分类

最近文章

  • Readdy：AI 驱动的交互设计工具 Readdy 是一款可以自然语言交互的 AI 建站工具，通过对话时设计，可以实现零代码快速生成网站，还可以直接发布到 Figma，或者是一键导出代码进行进一步的编辑。 在我之前的文章和视频中，我也介绍过如何使用 Claude，Vercel 的 [[v0.dev]]，还有 Google 的 [[Stitch]]，[[lovable]]，[[bolt new]]，[[Replit]] 等等非常多通过自然语言来生成代码的工具。
  • 利用 ClickUp 来管理你的任务 我在之前的文章中介绍过 Trello 这样一款看板工具，还介绍过日本很多公司在使用的 Backlog 项目管理工具，最近和朋友一起合作想要做一款英语学习外教平台，朋友推荐了一款叫做 ClickUp 的团队协作和项目管理工具，初步用起来非常的灵活自由，并且免费的套餐给的使用权限还非常大，基本上什么功能都能使用，还可以无限制添加成员和创建任务，相较于其他一些项目管理的应用非常慷慨。
  • Google Gemini CLI 使用初体验：命令行上的 AI 工作流引擎 在 AI 浪潮席卷行业的背景下，Google 终于推出了一款备受期待的命令行工具——Gemini CLI。尽管在代码生成和补全领域，Google 此前推出的 Gemini Code Assist 等产品在与 GitHub Copilot、Cursor、Claude 等竞品的较量中未能激起太大水花，但 Gemini CLI 的发布，标志着 Google 将竞争的焦点扩展到了一个新的维度。
  • 简洁高效的开源网络终端 Next Terminal 我个人一直都是使用本地的 SSH Config 来管理我的 SSH 连接，虽然这个方案有自身的优点，就是安全，易配置，我所有的连接都只允许使用 SSH Key 访问，关闭了用户名密码，另外所有的配置都通过 assh 一键配置，我给所有的节点都配置了昵称，所以我只需要输入 ssh alias 就可以连接到任何我想连接的机器。
  • ChatWise 本地多模型支持的 AI 客户端 在我之前的视频里面当时介绍了三款不同的本地 AI 客户端，[[Cherry Studio]]，[[Chatbox]]，ChatWise，每个客户端都有自身的优缺点，前两款也还是开源的，但是今天要介绍的 ChatWise 是一款更轻量的，更强大的 AI 客户端，包括一些个人觉得非常好用的功能，比如本地联网搜索，MCP 支持，Artifacts 等等使用起来都非常方便。

赞助