皮皮网

1.Redis 码分实现分布式锁 +Redisson 源码解析
2.Redis 实际应用中的异常场景及其根因分析和解决方案
3.Redis 源码剖析 3 -- redisCommand
4.读懂Redis：从源码分析其跳表实现
5.Redis Client-side Caching实现剖析与源码解读
6.Redis 源码分析字典（dict）

Redis 实现分布式锁 +Redisson 源码解析

       在一些场景中，多个进程需要以互斥的析发现节方式独占共享资源，这时分布式锁成为了一个非常有用的码分工具。

       随着互联网技术的析发现节快速发展，数据规模在不断扩大，码分分布式系统变得越来越普遍。析发现节ulti源码一个应用往往会部署在多台机器上（多节点），码分在某些情况下，析发现节为了保证数据不重复，码分同一任务在同一时刻只能在一个节点上运行，析发现节即确保某一方法在同一时刻只能被一个线程执行。码分在单机环境中，析发现节应用是码分在同一进程下的，仅需通过Java提供的析发现节 volatile、ReentrantLock、码分synchronized 及 concurrent 并发包下的线程安全类等来保证线程安全性。而在多机部署环境中，不同机器不同进程，需要在多进程下保证线程的安全性，因此分布式锁应运而生。

       实现分布式锁的三种主要方式包括：zookeeper、Redis和Redisson。这三种方式都可以实现分布式锁，但基于Redis实现的性能通常会更好，具体选择取决于业务需求。

       本文主要探讨基于Redis实现分布式锁的方案，以及分析对比Redisson的RedissonLock、RedissonRedLock源码。

       为了确保分布式锁的可用性，实现至少需要满足以下四个条件：互斥性、过期自动解锁、请求标识和正确解锁。实现方式通过Redis的set命令加上nx、px参数实现加锁，以及使用Lua脚本进行解锁。实现代码包括加锁和解锁流程，核心实现命令和Lua脚本。这种实现方式的主要优点是能够确保互斥性和自动解锁，但存在单点风险，即如果Redis存储锁对应key的节点挂掉，可能会导致锁丢失，导致多个客户端持有锁的情况。

       Redisson提供了一种更高级的实现方式，实现了分布式可重入锁，手拿图psd源码包括RedLock算法。Redisson不仅支持单点模式、主从模式、哨兵模式和集群模式，还提供了一系列分布式的Java常用对象和锁实现，如可重入锁、公平锁、联锁、读写锁等。Redisson的使用方法简单，旨在分离对Redis的关注，让开发者更专注于业务逻辑。

       通过Redisson实现分布式锁，相比于纯Redis实现，有更完善的特性，如可重入锁、失败重试、最大等待时间设置等。同时，RedissonLock同样面临节点挂掉时可能丢失锁的风险。为了解决这个问题，Redisson提供了实现了RedLock算法的RedissonRedLock，能够真正解决单点故障的问题，但需要额外为RedissonRedLock搭建Redis环境。

       如果业务场景可以容忍这种小概率的错误，推荐使用RedissonLock。如果无法容忍，推荐使用RedissonRedLock。此外，RedLock算法假设存在N个独立的Redis master节点，并确保在N个实例上获取和释放锁，以提高分布式系统中的可靠性。

       在实现分布式锁时，还需要注意到实现RedLock算法所需的Redission节点的搭建，这些节点既可以是单机模式、主从模式、哨兵模式或集群模式，以确保在任一节点挂掉时仍能保持分布式锁的可用性。

       在使用Redisson实现分布式锁时，通过RedissonMultiLock尝试获取和释放锁的核心代码，为实现RedLock算法提供了支持。

Redis 实际应用中的异常场景及其根因分析和解决方案

       上文较为详尽地阐述了基于 Redis 的分布式缓存实现方案，解答了“如何运用”的周日k线源码问题。然而，在实际应用中，各类异常状况层出不穷，作为开发者，不仅需掌握 Redis 的使用，还应具备定位与解决应用中异常问题的能力。本文将聚焦于 Redis 实际应用中常见的异常场景，包括 Redis 进程无法启动、故障倒换失败、Slot 分配错误等，并深入分析其根本原因与解决策略。

       首先，探讨 Redis 进程无法启动的异常情况。假设在一个项目中，Redis 集群作为分布式缓存，其部署环境为 Suse Linux。在迭代验证过程中，项目组发现集群部署偶发失败，部分节点的 redis-server 进程未能正常启动。手动启动 redis-server 时，出现“找不到 GLIBC_2. 版本库”的错误。通过检查系统 GLIBC 版本，发现安装环境仅支持 GLIBC_2.，低于 redis-server 需要的 2. 版本。此问题的根源在于高版本编译与低版本安装之间存在不兼容性。解决方案需统一编译环境和安装环境，或在 Redis 源代码中显式指定 memcpy 函数的 GLIBC 版本。

       其次，解析 OpenSSL 版本不兼容导致的 Redis 进程启动失败。在引入证书机制后，安装环境（CentOS 6.2）的 OpenSSL 版本低于编译环境，两者不兼容，引发 redis-server 启动失败。通过查询 OpenSSL 版本，定位到编译环境与安装环境的版本差异是问题的根源。解决方案是将 OpenSSL 的依赖打入 redis-server，使其与操作系统解耦。

       进一步分析 Redis 进程拉起失败的场景。集群模式下，宕机节点修复后，redis-server 进程无法启动。问题根因在于宕机节点上的 Redis 集群配置文件（nodes-xxx.conf）存在错误，导致加载配置文件时出现异常。美女源码无后台修改源码，增加校验机制，可防止此类错误发生，确保宕机节点的自愈能力。

       讨论 Slot 指派报错的解决方案。当 Slot 指派出现错误时，通常由清理信息不彻底导致。解决方法包括清理残留信息或修改源码逻辑，确保 Slot 指派的准确性和稳定性。

       最后，面对防火墙、IP 限制导致的 Redis 节点间通信异常，引起单通问题。此类问题源于节点间通信被阻断，影响混合路由查询的正常进行。解决方案需优化网络配置或采用其他通信策略，确保集群中节点间的稳定通信。

       总结而言，面对 Redis 实际应用中的异常场景，开发者需深入理解其根本原因，并采取相应的解决策略。通过不断优化部署环境、更新依赖库、强化配置管理以及改进网络配置，可以有效提升 Redis 集群的稳定性和可靠性，确保分布式缓存系统的高效运行。

Redis 源码剖析 3 -- redisCommand

       Redis 使用 redisCommand 结构体处理命令请求，其内包含一个指向对应处理函数的 proc 指针。redisCommandTable 是一个存储所有 Redis 命令的数组，位于 server.c 文件中。此数组通过 populateCommandTable() 函数填充，该函数将 redisCommandTable 的内容添加到 server.commands 字典，将 Redis 支持的所有命令及其实现整合。

       populateCommandTable() 函数中包含 populateCommandTableParseFlags() 子函数，用于将 sflags 字符串转换为对应的 flags 值。lookupCommand*() 函数族负责从 server.commands 中查找相应的命令。

读懂Redis：从源码分析其跳表实现

       要深入理解Redis中跳表的奥秘，首先，我们从理想化的跳表概念开始。跳表作为一种多层级有序链表，旨在提供高效的有序集合操作，如zrange和zrevrange。它的020商城网站源码设计旨在通过空间换时间，以O(log_2 n)的时间复杂度进行查找，但删除和增加操作可能导致结构变动，这在理想情况下需要复杂的重构。

       Redis在实践中对跳表进行了优化，以牺牲一定程度的复杂性来节省内存。它限制了跳表的最高层级为，并根据节点数量和字符串长度选择是否使用跳表。Redis的跳表设计重点在于第一个层级的元素，这使得范围查询极其高效，而这是其他数据结构难以比拟的特性。

       当添加新元素到zset对象时，会根据特定条件（zset_max_ziplist_entries和zset_max_ziplist_value）决定是否转换为跳表。通过配置Redis的配置文件，用户可以调整这些参数以适应不同的需求。

       总的来说，Redis的跳表实现是内存与性能之间的一种平衡，它在有序集合操作中发挥着关键作用，同时为高效查询提供了基础。对于希望系统学习C/C++、Linux系统和深入理解高性能存储的读者，可以关注我们的公众号《Lion 莱恩呀》获取更多技术内容，包括白金学习卡，覆盖基础架构、golang云原生等领域。

Redis Client-side Caching实现剖析与源码解读

       Redis的Client-side Caching是一种通过在客户端存储本地缓存来减轻服务器负载和网络负担的策略。当数据访问频繁且以读取为主时，这种策略能提升性能，减少Redis服务的压力和响应延迟。

       在Redis 6.0之前，客户端缓存的一个挑战在于数据更新时如何同步。例如，当user:的username从Alice变更为Bob时，需要确保客户端缓存的更新同步。为解决这个问题，Redis 6引入了key失效主动通知，简化了客户端缓存的实现，并提高其可靠性。

       Redis客户端缓存支持两种模式：默认模式和广播模式。默认模式下，服务器会记录每个客户端关注的键，当键被修改时发送失效通知，但会消耗服务器内存；而广播模式则不占用内存，客户端订阅特定前缀以接收通知。

       使用OPTIN选项，客户端可以选择性地缓存特定键，减少服务器内存负担和无效消息量。相反，OPTOUT选项将默认缓存键，但允许指定不缓存的键。客户端需要明确指定缓存行为，这可能增加网络交互但减少服务器负载。

       在处理连接失效问题时，客户端需确保及时处理失效消息，以避免数据缓存错误。同时，合理配置Redis的内存限制，以防止内存溢出。

       最后，源码层面，Redis通过开启或关闭tracking功能来实现Client-side Caching，包括记录读取的键、在命令处理后发送invalidate消息以及根据模式向客户端发送消息。理解这些细节有助于深入理解和优化Redis的缓存策略。

Redis 源码分析字典（dict）

       字典，作为数据结构类型在高级语言中实现广泛，Redis 使用C语言自建字典实现。

       字典内部结构由dict.h/dict表示，包含size、rehashidex、sizemark等关键属性，size每次分配不超过2^s，rehashidex标记是否进行重哈希，sizemark用于计算当前key所在dictEntry位置。

       哈希算法默认采用siphash，计算键值哈希值后，通过哈希表的sizemake属性得到索引值。

       哈希冲突采用链地址法，头插式解决，根据负载因子判断是否进行哈希表扩容，执行函数_dictExpandIfNeeded。

       负载因子过高时，需要扩容以优化查询效率，而持久化下，尽量减少扩容以避免阻塞服务器。

       在服务器定时任务中，进行rehash优化，ht_table[0]中存在空节点，每访问 * N个空字节后，直接返回。rehash过程分为渐进式hash和定时执行rehash，以避免服务器长时间阻塞。

       rehash过程中，仅在ht_table[1]插入元素，确保ht_table[0]元素减少不增加，涉及0和1两个表的dictFind和dictDelete操作。

       字典默认使用siphash作为哈希算法，持久化时服务器在rehash操作所需负载因子通常为5秒。

       迭代器分为安全迭代器和非安全迭代器，安全模式支持边遍历边修改，但不支持rehash操作；非安全模式仅支持读取操作。

       迭代器选择需考虑遍历过程中元素处理需求，安全模式避免重复遍历，非安全模式允许出现个别元素重复。

       以上内容转自某博客，欲了解更多Linux服务器开发、架构师面试题、学习资料、教学视频和学习路线图，可自行添加学习交流群获取。

redis源码学习-quicklist篇

       Redis源码中的quicklist是ziplist优化版的双端链表，旨在提高内存效率和操作效率。ziplist虽然内存使用率高，但查找和增删操作的最坏时间复杂度可能达到O(n^2)，这与Redis高效数据处理的要求不符。quicklist通过每个节点独立的ziplist结构，降低了更新复杂度，同时保持了内存使用率。

       quicklist的基本结构包括：头节点（head）、尾节点（tail）、entry总数（count）、节点总数（len）、容量指示（fill）、压缩深度（compress）、以及用于内存管理的bookmarks。节点结构包括双向链表的prev和next，ziplist的引用zl，ziplist的字节数sz、item数count、以及ziplist类型（raw或lzf压缩）和尝试压缩标志（attempted_compress）。

       核心操作函数如create用于初始化节点，insert则根据需求执行头插法或尾插法。delete则简单地从链表中移除节点，释放相关内存。quicklist的优化重点在于ziplist，理解了ziplist的工作原理，quicklist的数据结构理解就相对容易了。

Redis源码解析：一条Redis命令是如何执行的？

       作者：robinhzhang

       Redis，一个开源内存数据库，凭借其高效能和广泛应用，如缓存、消息队列和会话存储，本文将带你探索其命令执行的底层流程。本文将以源码解析的形式，逐层深入Redis的核心结构和命令执行过程，旨在帮助开发者理解实现细节，提升编程技术和设计意识。

       源码结构概览

       在学习Redis源代码之前，首先要了解其主要的组成部分：redisServer、redisClient、redisDb、redisObject以及aeEventLoop。这些结构体和事件模型构成了Redis的核心架构。

       redisServer：服务端运行的核心结构，包括监听socket、数据存储的redisDb列表和客户端连接信息。

       redisClient：客户端连接状态的存储，包括命令处理缓冲区、回复数据列表和数据库句柄。

       redisDb：键值对的数据存储，采用两个哈希表实现渐进式rehash。

       redisObject：存储对象的通用表示，包含引用计数和LRU时间，用于内存管理。

       aeEventLoop：事件循环，管理文件和时间事件的处理。

       核心流程详解

       Redis的执行流程从main函数开始，首先初始化配置和服务器组件，进入主循环处理事件。命令执行流程涉及redis启动、客户端连接、接收命令和返回结果四个步骤：

       启动阶段：创建socket服务器，注册可读事件，进入主循环。

       连接阶段：客户端连接后，接收并处理命令，创建客户端实例。

       命令阶段：客户端发送命令，服务端解析并调用对应的命令处理函数。

       结果阶段：处理命令后，根据协议格式构建回复并写回客户端。

       渐进式rehash与内存管理

       Redis的内存管理采用引用计数法，通过对象的refcount字段控制内存分配和释放。rehash操作在Redis 2.x版本引入，通过逐步迁移键值对，降低对单线程性能的影响。当负载达到阈值，会进行扩容，这涉及新表的创建和键值对的迁移。

       总结

       本文通过Redis源码分析，揭示了其命令执行的细节，包括启动流程、客户端连接、命令处理和结果返回，以及内存管理策略。这将有助于开发者深入理解Redis的工作原理，提升编程效率和设计决策能力。

Redis 主从复制 - 源码梳理

       本文主要剖析Redis主从复制机制中的核心组件之一——复制积压缓冲区（Replication Buffer），旨在为读者提供一个对Redis复制流程和缓冲区机制深入理解的平台，以下内容仅基于Redis版本7.0.，若读者在使用过程中发现偏差，欢迎指正。

       复制积压缓冲区在逻辑上可理解为一个容量最大的位整数，其初始值为1，由offset、master_repl_offset和repl_backlog-histlen三个变量共同决定缓冲区的有效范围。offset表示缓冲区内命令起始位置，master_repl_offset代表结束位置，二者之间的长度由repl_backlog-histlen表示。

       每当主节点执行写命令，新生成的积压缓冲区大小增加，同时增加master_repl_offset和repl_backlog-histlen的值，直至达到预设的最大容量（默认为1MB）。一旦所有从节点接收到命令并确认同步无误，缓冲区内过期的命令将被移除，并调整offset和histlen以维持积压区容量的稳定性。

       为实现动态分配，复制积压缓冲区被分解成多个block，以链表形式组织。每个block采用引用计数管理策略，初始值为0，每当增加或删除从节点对block的引用时，计数值相应增减。新生成block时，将master_repl_offset+1设置为block的repl_offset值，并将写入命令拷贝至缓冲区内，与此同时，master_repl_offset和repl_backlog-histlen增加。

       通过循环遍历所有从节点，为每个从节点设置ref_repl_buf_node指向当前block或最后一个block，确保主从复制能够准确传递命令。当主节点接收到从节点的连接请求时，将开始填充积压缓冲区。在全量复制阶段，从slave-replstate为WAIT_BGSAVE_START至ONLINE，表示redis从后台进程开始执行到完成RDB文件传输和加载，命令传播至此阶段正式开始。

       针对每个从节点，主节点从slave-ref_block_pos开始发送积压缓冲区内的命令，每发送成功，slave-ref_block_pos相应更新。当积压缓冲区超过预设阈值，即复制积压缓冲区中的有效长度超过repl-backlog-size（默认1MB）时，主节点将清除已发送的缓冲区，释放内存。如果主节点写入命令频繁或从节点断线重连时间长，则需合理调整缓冲区大小（推荐值为2 * second * write_size_per_second）以保持增量复制的稳定运行。

       当最后一个从节点与主节点的连接断开超过repl-backlog-ttl（默认为秒）时，主节点将释放repl_backlog和复制积压缓冲区以确保资源的有效使用。不过需要注意的是，从节点的释放操作依赖于节点是否可能成为新的主节点，因此在最后处理逻辑上需保持谨慎。