渐进式解析 memcached 源码 - 初始化以及参数解析

2018-04-10 阅读量

千里之行，始于足下

作为模块化比较明显的开源软件，根据初始化过程可以很清晰的区别其结构。

模块初始化概况

memcached-init

详细参数探究

下面我们就默认配置以及传参配置两个方面进行总结：

默认配置

static void settings_init(void) {
    //开启CAS业务，如果开启了那么在item里面就会多一个用于CAS的字段。可以在启动memcached的时候通过-C选项禁用
    settings.use_cas = true;
    //unix socket的权限位信息
    settings.access = 0700;
    //memcached监听的tcp端口
    settings.port = 11211;
    //memcached监听的udp端口
    settings.udpport = 0;
    /* By default this string should be NULL for getaddrinfo() */
    //memcached绑定的ip地址。如果该值为NULL，那么就是INADDR_ANY。否则该值指向一个ip字符串
    settings.inter = NULL;
    /* default is 64MB */
    //memcached能够使用的最大内存
    settings.maxbytes = 64 * 1024 * 1024; 
    /* to limit connections-related memory to about 5MB */
    //最多允许多少个客户端同时在线。不同于settings.backlog
    settings.maxconns = 1024;    
    //运行信息的输出级别.该值越大输出的信息就越详细     
    settings.verbose = 0;
    //flush_all命令的时间界限。插入时间小于这个时间的item删除
    settings.oldest_live = 0;
    /* supplements accuracy of oldest_live */
    settings.oldest_cas = 0;         
    /* push old items out of cache when memory runs out */ 
    //标记memcached是否允许LRU淘汰机制。默认是可以的。可以通过-M选项禁止
    settings.evict_to_free = 1;   
    /* by default, not using a unix socket */    
    //unix socket监听的socket路径.默认不使用unix socket
    settings.socketpath = NULL;      
    //item的扩容因子   
    settings.factor = 1.25;
    /* space for a modest key and value */
    //最小的一个item能存储多少字节的数据(set、add命令中的数据)
    settings.chunk_size = 48;    
    /* N workers */     
    //worker线程的个数 
    settings.num_threads = 4;    
    //多少个worker线程为一个udp socket服务 number of worker threads serving each udp socket     
    settings.num_threads_per_udp = 0;
    //分隔符
    settings.prefix_delimiter = ':';
    //是否自动收集状态信息
    settings.detail_enabled = 0;
    //worker线程连续为某个客户端执行命令的最大命令数。这主要是为了防止一个客户端霸占整个worker线程，而该worker线程的其他客户端的命令无法得到处理 
    settings.reqs_per_event = 20;
    //listen函数的第二个参数，不同于settings.maxconns
    settings.backlog = 1024;
    //用户命令的协议，有文件和二进制两种。negotiating_prot是协商，自动根据命令内容判断
    settings.binding_protocol = negotiating_prot;
    /* The famous 1MB upper limit. */
    //slab内存页的大小。单位是字节
    settings.item_size_max = 1024 * 1024; 
    /* chunks are split from 1MB pages. */
    settings.slab_page_size = 1024 * 1024; 
    settings.slab_chunk_size_max = settings.slab_page_size / 2;
    settings.sasl = false;
    //如果连接数超过了最大同时在线数(由-c选项指定)，是否立即关闭新连接上的客户端
    settings.maxconns_fast = true;
    //用于指明memcached是否启动了LRU爬虫线程。默认值为true，启动LRU爬虫线程
    settings.lru_crawler = true;
    //LRU爬虫线程工作时的休眠间隔。单位为微秒
    settings.lru_crawler_sleep = 100;
    //LRU爬虫检查每条LRU队列中的多少个item,如果想让LRU爬虫工作必须修改这个值
    settings.lru_crawler_tocrawl = 0;
    settings.lru_maintainer_thread = false;
    settings.lru_segmented = true;
    settings.hot_lru_pct = 20;
    settings.warm_lru_pct = 40;
    settings.hot_max_factor = 0.2;
    settings.warm_max_factor = 2.0;
    settings.inline_ascii_response = false;
    settings.temp_lru = false;
    settings.temporary_ttl = 61;
    /* disabled */
    //memcached对于连接上来的客户端，都会尽量保持，不会主动断开，但有些程序员写的程序都会开启新的连接，却不会关闭老的连接。导致无用的空闲连接仍然占用资源。因此，从1.4.27版本起memcached新增了idle_timeout参数，可以设置idle时间，默认为0，不会主动断开
    settings.idle_timeout = 0; 
    //哈希表的长度是2^n。这个值就是n的初始值。可以在启动memcached的时候通过-o hashpower_init设置。设置的值要在[12, 64]之间。如果不设置，该值为0。哈希表的幂将取默认值16
    settings.hashpower_init = 0;
    //是否开启调节不同类型item所占的内存数。可以通过 -o slab_reassign选项禁用
    settings.slab_reassign = true;
    //自动检测是否需要进行不同类型item的内存调整，依赖于settings.slab_reassign的开启
    settings.slab_automove = 1;
    settings.slab_automove_ratio = 0.8;
    settings.slab_automove_window = 30;
    //是否支持客户端的关闭命令，该命令会关闭memcached进程
    settings.shutdown_command = false;
    //用于修复item的引用数。如果一个worker线程引用了某个item，还没来得及解除引用这个线程就挂了，那么这个item就永远被这个已死的线程所引用而不能释放。memcached用这个值来检测是否出现这种  情况。因为这种情况很少发生，所以该变量的默认值为0(即不进行检测)。在启动memcached时，通过-o tail_repair_time xxx设置。设置的值要大于10(单位为秒)，TAIL_REPAIR_TIME_DEFAULT 等于 0。 
    settings.tail_repair_time = TAIL_REPAIR_TIME_DEFAULT;
    //是否运行客户端使用flush_all命令
    settings.flush_enabled = true;
    settings.dump_enabled = true;
    settings.crawls_persleep = 1000;
    settings.logger_watcher_buf_size = LOGGER_WATCHER_BUF_SIZE;
    settings.logger_buf_size = LOGGER_BUF_SIZE;
    settings.drop_privileges = true;
#ifdef MEMCACHED_DEBUG
    settings.relaxed_privileges = false;
#endif
}

传入参数含义

A 是否运行客户端使用 shutdown 命令，默认是不允许的，该选项将允许客户端的 shutdown 命令将 memcached 进程杀死。该选项会将 settings.shutdown_command 赋值为false
a: unix socket 的权限位信息（访问掩码）。该选项的参数赋值给 settings.access
U: 大写U，memcached 监听的 UDP 端口值，默认端口为 0。该选项的参数赋值给 settings.udpport
p: 小写p，memcached 监听的 TCP 端口，默认端口为 11211。该选项的参数赋值给 settings.port
s: 小写S，unix socket 监听的 socket 路径。该选项的参数赋值给 settings.socketpath
m: 小写m，memcached 能够使用的最大内存值，默认是 64MB，参数单位为MB。该参数赋值给 settings.maxbytes
M 大写M，默认情况下，当 memcached 的内存使用完后，将进行 LRU机制淘汰 item 以腾出空间，如果使用本选项那么将关闭 LRU 功能，当然关闭 LRU 不代表不能存储新数据，如果 memcached 里面存有过期失效的 item，那么就可以存储新数据，否则将无法存储。该选项将 settings.evict_to_free 赋值为0。
c: 小写c，最多允许多少个客户端同时在线（这个值不等价于 listen 函数的第二个参数），该选项和后面的 b选项有所不同，默认值为 1024 个。该选项参数赋值给 settings.maxconns
h 显示帮助信息
i 显示 memcached 和 libevent 的版权信息
k 小写k，将 memcached 使用到的内存锁定在内存中，不准 OS 把 memcached 的内存移动到虚拟内存，因为当 OS 把memcached 的内存移动到虚拟内存可能会导致页错误，降低 memcached 的响应时间
v 小写v，输出 memcached 运行时的一些信息。-v -vv -vvv 输出的信息依次增加。该选项会增加 settings.verbose 的值
l: 小写L，memcached 绑定的 ip 地址，如果不设置这个选项，那么memcached将使用 INADDR_ANY，如果想指定多个IP地址，那么该选项的参数可以由多个ip组成，ip之间用逗号分隔，也可以多次使用这个选项，此时端口应该尾随ip而不是单独用 -p选项指定。例如 -l 127.0.0.1:8888,192.168.1.112:9999 或者 -l 127.0.0.1:8888 -l 192.168.1.112:9999 该选项参数将赋值给 settings.inter
d 以守护进程的形式运行 memcached
r 将 core 文件大小设置为不受限制
R: worker 线程连续为某个客户端执行命令的最大命令数。该选项的参数赋值给 settings.reqs_per_event
u: 小写u，当以root用户启动 memcached 的时候需要指定memcached的所属用户，其他用户启动 memcached 不需要此选项
P: 大写p，该选项的参数指明 memcached 的pid保存文件。要和 -d选项配合使用，注意运行的用户是否有权限写对应的文件
f: item的 扩容因子，默认值为 1.25。该选项的参数值可以是小数但必须大于 1.0。该选项参数将赋值给 settings.factor
n: 设置最小的 item 能存储多少字节的数据。该选项参数赋值给 settings.chunk_size
t: 该选项的参数用于指定 worker 线程的个数，不建议超过 64个，如果不设置该选项默认有4个线程。该参数会赋值给settings.num_threads
D: 参数字符作为前缀和 ID 的分隔符，使用了该选项才会自动收集状态信息，也可以在启动memcached后，客户端使用stats detail on 命令开启，此时默认的分隔符为冒号 ":"。该选项参数会赋值为 settings.prefix_delimiter，并将 settings.detail_enabled 赋值为 1
L 如果OS允许的话，那么向OS申请更大的内存页，OS的默认内存页为 4KB，大的内存页可以有效降低页表的大小，提高效率，此选项会使得 memcached 预先先 OS 全部所需的申请内存，当然这些内存尽量是用大内存页分配的
C: 大写C，memcached 默认是使用 CAS 的，本选项是禁用 CAS。本选项会将 settings.use_cas 赋值为false
b: listen 函数的第二个参数，该选项的参数赋值给 settings.backlog。如果不设置该选项，那么默认为 1024。该选项和前面的 c选项有所不同
B: memcached 支持 文本协议 和 二进制协议。该选项的参数用于指定使用的协议，默认情况下是根据客户端的命令而自动判断（也叫协商），参数只能取 auto、binary、ascii 这三个字符串值。将参数将赋值给 settings.binding_protocol
I: 大写i，slab 分配器中每一个页的大小，这个选项的参数是一个数值表示页的大小，默认单位是 B 也可以在数值后面带 K或者 M（大小写都行），表示 KB 和 MB，页的大小小于 1KB 或者大于 128MB 都是不允许的。不推荐使用该选项，本选项参数会赋值给 settings.item_size_max
S 大写S，打开 sasl 安全协议。会将 settings.sasl 赋值为 true
F 禁止客户端的 flush_all 命令。默认是允许客户端的 flush_all 命令的。该选项将 settings.flush_enabled 赋值为 false
o: 小写o，有下面几个子选项可以设置，这个选项是用来优化的
- maxconns_fast 如果连接数超过了最大同时在线数(=（由 -c选项指定），立即关闭新连接上的客户端。该选项将settings.maxconns_fast 赋值为true
- hashpower 哈希表的长度是 2^n 。可以通过选项 hashpower 设置指数 n 的初始值。如果不设置将取默认值 16。该选项必须有参数，参数取值范围只能为 [12, 64]。本选项参数值赋值给 settings.hashpower_init
- slab_reassign 该选项没有参数，用于调节不同类型的 item 所占的内存，不同类型是指大小不同，某一类 item 已经很少使用了，但仍占用着内存。可以通过开启 slab_reassign 调度内存，减少这一类 item 的内存。如果使用了本选项，settings.slab_reassign 赋值为 true
- slab_automove 依赖于 slab_reassign，用于主动检测是否需要进行内存调度。该选项的参数是可选的，参数的取值范围只能为 0、1、2，参数 2 是不建议的。本选项参数赋值给 settings.slab_automove。如果本选项没有参数，那么settings.slab_automove 赋值为 1
- hash_algorithm 用于指定哈希算法，该选项必须带有参数。并且参数只能是字符串 jenkins 或者 murmur3
- tail_repair_time 用于检测是否有item被已死线程所引用，一般不会出现这种情况，所以默认不开启这种检测。如果需要开启这种检测，那么需要使用本选项，本选项需要一个参数，参数值必须不小于10。该参数赋值给 settings.tail_repair_time
- lru_crawler 本选项用于启动 LRU 爬虫线程。该选项不需要参数，会导致 settings.lru_crawler 赋值为 true
- lru_crawler_sleep LRU爬虫线程工作时的休眠间隔，本选项需要一个参数作为休眠时间，单位为微秒，取值范围是 [0, 1000000]。该参数赋值给 settings.lru_crawler_sleep
- lru_crawler_tocrawl LRU爬虫检查每条LRU队列中的多少个 item。该选项带有一个参数，参数会赋值给 settings.lru_crawler_tocrawl

本文作者： wettper
本文链接： http://www.web-lovers.com/memcached-source-params-init.html
版权声明： 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处！