如履薄冰：Redis懒惰删除的巨大牺牲

各人都知道 Redis 是单线程的，可是 Redis 4.0 增进了懒惰删除成果，懒惰删除必要行使异步线程对已删除的节点举办内存接纳，，这意味着 Redis 底层着实并不是单线程，它内部尚有几个特另外鲜为人知的帮助线程。

这几个帮助线程在 Redis 内部有一个出格的名称，就是“BIO”，全称是 Background IO，意思是在背后冷静干活的 IO 线程。

不外内存接纳自己并不是什么 IO 操纵，只是 CPU 的计较耗损也许会较量大罢了。

01.懒惰删除的最初实现不是异步线程

Redis 大佬 Antirez 实现懒惰删除时，它并不是一开始就想到了异步线程。它最初的实行是在主线程里，行使相同于字典渐进式迁居的方法来实现渐进式删除接纳。

好比对付一个很是大的字典来说，懒惰删除是回收相同于 scan 操纵的要领，通过遍历第一维数组来慢慢删除接纳第二维链表的内容，比及全部链表都接纳完了，再一次性接纳第一维数组。这样也可以到达删除大工具时不阻塞主线程的结果。

可是提及来轻易做起来却很难。渐进式接纳必要细心节制接纳频率，它不能接纳得太猛，这会导致 CPU 资源占用过多，也不能接纳得像蜗牛那么慢，由于内存接纳不实时也许导致内存耗损一连增添。

Antirez 必要回收吻合的自顺应算法来节制接纳频率。他起首想到的是通过检测内存增添的趋势是增添“+1”照旧降落“-1”，来渐进式调解接纳频率系数，这样的自顺应算法实现也很简朴。

可是测试后发此刻处事忙碌的时辰，QPS 会降落到正常环境下 65% 的程度，这点很是致命。

以是 Antirez 才行使了现在的方案——异步线程。异步线程这套方案就简朴多了，开释内存不消为每种数据布局适配一套渐进式开释计策，也不消搞个自顺应算法来细心节制接纳频率，只是将工具从全局字典中摘掉，然后往行列里一扔，主线程就干此外去了。异步线程从行列里取出工具来，直接走正常的同步开释逻辑就可以了。

不外行使异步线程也是有价钱的，主线程和异步线程之间在内存接纳器（jemalloc）的行使上存在竞争。

这点竞争耗损是可以忽略不计的，由于 Redis 的主线程在内存的分派与接纳上花的时刻相对整体运算时刻而言是少少的。

02.异步线程方案着实也相等伟大

上文笔者刚说异步线程方案很简朴，为什么在这里又说它很伟大呢？由于有一点，笔者之前没有提到，这点很是可骇，严峻阻碍了异步线程方案的改革，那就是 Redis 的内部工具有共享机制。

好比荟萃的并集操纵 sunionstore 用来将多个荟萃归并成一个新荟萃。

> sadd src1 value1 value2 value3  
(integer) 3  
> sadd src2 value3 value4 value5  
(integer) 3  
> sunionstore dest src1 src2  
(integer) 5  
> smembers dest  
1) "value2"  
2) "value3"  
3) "value1"  
4) "value4"  
5) "value5" 

我们看到新的荟萃包括了旧荟萃的全部元素。可是这里有一个我们没看到的 trick，那就是底层的字符串工具被共享了，如下图所示。

为什么工具共享是懒惰删除的庞大障碍呢？由于懒惰删除相等于彻底砍掉某个树枝，将它扔到异步删除行列里去。

留意这里必需是彻底删除，不能难舍难分。假如底层工具是共享的，那就做不到彻底删除。如图 2 所示的删除就不是彻底删除。

以是 Antirez 为了支持懒惰删除，将工具共享机制彻底丢弃，它将这种工具布局称为“share-nothing”，也就是无共享计划。

可是抛弃工具共享谈何轻易！这种工具共享机制散落在源代码的各个角落，牵一发而动满身，改起来如同在充满地雷的阶梯上警惕翼翼地行走。

不外 Antirez 照旧刻意改了，它将这种窜改描写为“绝望而猖獗”，可见窜改之大、之深、之险，前后花了好几周时刻才改完。

不外这次修改的结果也是很明明的，工具的删除操纵再也不会导致主线程卡顿了。

03.异步删除的实现

主线程必要将删除使命转达给异步线程，它是通过一个平凡的双向链表来转达的。由于链表必要支持多线程并发操纵，以是它必要有锁来掩护。

执行懒惰删除时，Redis 将删除操纵的相干参数封装成一个 bio_job 布局，然后追加到链表尾部。异步线程通过遍历链表摘取 job 元向来挨个执行异步使命。

struct bio_job {  
    time_t time;  // 时刻字段暂且没有行使，应该是预留的  
    void *arg1, *arg2, *arg3;  
}; 

我们留意到这个 job 布局有三个参数。为什么删除工具必要三个参数呢？我们看如下代码。 

/* What we free changes depending on what arguments are set:  
     * arg1 -> free the object at pointer.  
     * arg2 & arg3 -> free two dictionaries (a Redis DB).  
     * only arg3 -> free the skiplist. */  
    if (job->arg1)  
        // 开释一个平凡工具，string/set/zset/hash 等，用于平凡工具的异步删除  
        lazyfreeFreeObjectFromBioThread(job->arg1);  
    else if (job->arg2 && job->arg3)  
        // 开释全局 redisDb 工具的 dict 字典和 expires 字典，用于 flushdb  
        lazyfreeFreeDatabaseFromBioThread(job->arg2,job->arg3);  
    else if (job->arg3)  
        // 开释 Cluster 的 slots_to_keys 工具，请拜见第 5.7 节  
        lazyfreeFreeSlotsMapFromBioThread(job->arg3); 

可以看到，通过组合这三个参数可以实现差异布局的开释逻辑。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!