Google Protobuf协议分析

protobuf 是google开源的一个序列化框架,类似xml,json,最大的特点是基于二进制,比传统的XML表示同样一段内容要短小得多。还可以定义一些可选字段,用于服务端与客户端通信。前面几篇文章说了protobuf的用法,看到网上也没有分析protobuf协议的文章,就利用一些时间写了 protobuf 的协议分析。

protobuf协议核心思想
基于128bits的数值存储方式(Base 128 Varints)
数据表示方式:每块数据由接连的若干个字节表示(小的数据用1个字节就可以表示),每个字节最高位标识本块数据是否结束(1:未结束,0:结束),低7位表示数据内容。(可以看出数据封包后体积至少增大14.2%)

数字1的表示方法为:0000 0001,这个容易理解
数字300的表示方法为:1010 1100 0000 0010
继续阅读Google Protobuf协议分析

Erlang集群IP及端口管理

erlang集群是依靠epmd维护的,epmd是erlang集群节点间端口映射的守护进程,负责维护集群内的节点连接,提供节点名称到IP地址及端口的解析服务。

epmd 自定义端口号

epmd端口配置
默认情况下,epmd绑定在4369端口。但是,端口固定的话,容易遭受攻击,可能导致新节点的认证失败而无法启动,或无法加入集群。或者要在一台机器上部署不同的erlang集群,希望不会互相干扰。
epmd -daemon -port 5000
如果想用调试模式启动 epmd,使用 epmd -d -port 5000

另外,epmd通常伴随着erlang节点启动时自动启动,无须手动处理,所以,这里也可以通过修改erl启动参数以达到自动调整epmd端口。
erl -name hello@127.0.0.1 -epmd “epmd -port 5000 -daemon” 
继续阅读Erlang集群IP及端口管理

在erlang项目使用protobuf

protobuf是google的一个序列化框架,类似XML,JSON,其特点是基于二进制,比XML、JSON表示同样一段内容要短小得多,还可以定义一些可选字段,广泛用于服务端与客户端通信。文章将着重介绍在erlang中如何使用protobuf。

首先google没有提供对erlang语言的直接支持,所以这里使用到的第三方的protobuf库(erlang_protobuffs
继续阅读在erlang项目使用protobuf

Erlang消息选择性接收特性

从 rabbitMQ 代码中找到 gen_server2 , 对gen_server进行了一些优化。看到前辈写的博文也提到这个,引发了我的思考。见 gen_server2 – OTP gen_server优化版 。

gen_server2 引发的思考

正如 litaocheng 所说的:
gen_server 和 gen_server2 最大的不同是:
gen_server2 收到任何一条消息放到外部的队列中,当VM内部消息队列为空后,才进行消息处理,继续循环
gen_server 收到任何一条消息后,立即进行处理,处理完成后继续循环
继续阅读Erlang消息选择性接收特性

Erlang进程堆垃圾回收机制

每个Erlang进程创建之后都会有自己的PCB,栈,私有堆。erlang不知道他创建的进程会用到哪种场合下,所以一开始分配的内存比较小。如果分配的空间不够了,erlang gc会动态调整堆大小以满足需求,如果分配的空间大了,就会收缩堆,回收内存。

erlang进程堆的gc是分代gc,分代gc的想法基于统计学:大部分数据的生存周期都比较短,最新的数据更容易不再被使用。这里erlang使用young heap 和old heap来区分数据,young heap放新数据,old heap放旧数据,也就是gc后存活的数据。
继续阅读Erlang进程堆垃圾回收机制

erlang shell 命令中文说明

erlang shell 是在命令行模式下使用命令和 erlang 交互的工具。erlang shell功能十分强大,可以直接编译、加载、执行、调试模块等等,完全可以将shell做为erlang项目的终端使用。文章将对erlang shell 命令做介绍,还简单以示例说明。

打开erlang shell的帮助信息,在这里变成中文了。同时可以看下官方文档

shell 函数帮助

Eshell V5.10.2  (abort with ^G)
1> help().
** shell 内置命令 **
b()        -- 显示所有绑定的变量
e(N)       -- 重复某次查询 <N>
f()        -- 释放所有绑定的变量
f(X)       -- 释放某个绑定的变量
h()        -- 显示之前的操作
history(N) -- 设置保存之前操作命令的条数
results(N) -- 设置保存之前操作结果的条数
catch_exception(Bool) -- 设置的执行过程中的异常处理
v(N)       -- 使用某次查询的值 <N>
rd(R,D)    -- 定义一个 record
rf()       -- 移除所有 record
rf(R)      -- 移除某个 record
rl()       -- 显示所有 record
rl(R)      -- 显示某个 record 信息
rp(Term)   -- 显示某个元组的所有内容
rr(File)   -- 从一个文件或模块读取 record 定义
** c 模块命令 **
bt(Pid)    -- 显示一个进程的栈回溯
c(File)    -- 编译及重新加载模块
cd(Dir)    -- 改变工作目录
flush()    -- 刷新信箱(以便shell接收信息)
help()     -- 帮助信息
i()        -- 显示系统信息
ni()       -- 和 i() 一样显示系统信息,还包括网络节点的系统信息
i(X,Y,Z)   -- 通过 pid <X,Y,Z> 获取某个进程的信息
l(Module)  -- 加载或重新加载模块
lc([File]) -- 编译一个列表的 Erlang 模块
ls()       -- 显示当前工作目录下的文件列表
ls(Dir)    -- 显示某个目录下的文件列表
m()        -- 显示已加载进系统的模块
m(Mod)     -- 显示某个模块信息
memory()   -- 显示内存分配信息
memory(T)  -- 显示某项内存分配信息 <T>
nc(File)   -- 在所有节点编译及加载模块
nl(Module) -- 在所有节点重新加载模块
pid(X,Y,Z) -- 通过 pid <X,Y,Z> 获取某个进程 pid
pwd()      -- 显示当前工作目录
q()        -- 关闭 erlang shell
regs()     -- 显示注册过的进程信息
nregs()    -- 和 regs() 一样显示注册过的进程信息,还包括网络节点的进程信息
xm(M)      -- 查找某个模块未定义的函数,未使用的函数,已弃用的函数
y(File)    -- 编译 Yecc 文件(.yrl)
** i 模块命令  **
ih()       -- 显示 i 模块的帮助信息
true

继续阅读erlang shell 命令中文说明