皮皮网

1.Python 爬虫进阶篇——diskcahce缓存(二)
2.Lock的await/singal 和 Object的wait/notify 的区别
3.ReentrantLock 源码解析 | 京东云技术团队
4.33张图解析ReentrantReadWriteLock源码
5.9.读写锁ReentrantReadWriteLock 的源码实现原理
6.万字长文带你解读Redisson分布式锁的源码

Python 爬虫进阶篇——diskcahce缓存(二)

       上一篇文章为大家介绍了diskcache的基础用法，本文将继续深入探讨diskcache的源码更多高级功能。

       关于diskcache，源码它是源码一种基于SQLite数据库的缓存对象管理方式。SQLite是源码一个轻量级的基于磁盘的数据库，它不需要单独的源码h5棋牌游戏源码服务器进程，并支持SQL查询。源码在上篇文章的源码源码截图上，你可以看到一些SQL语句的源码使用。

       diskcache支持使用diskcache.FanoutCache自动分片基础数据库。源码分片是源码对数据进行水平分区，可以减少写入时的源码阻塞。尽管读和写不会互相阻碍，源码但写入会阻碍其他写入。源码分片的源码默认值为8。

       以下是一个示例代码：

       # 示例代码

       在示例中，我们在diskcache_2文件夹中创建了一个具有四个分片和一秒超时的缓存。如果操作耗时超过一秒，它们将尝试中止操作。

       那么每一个分片的大小是多少呢？分片的大小都是平均分配的，占总空间的四分之一。diskcache的默认大小为1GB。

       diskcache提供了一个collections.deque兼容的双端队列diskcache.Deque。双端队列是堆栈和队列的一般化，可以在前后都可以进行快速访问和编辑，且可持久化，操作比较便捷。

       以下是一个示例代码：

       # 示例代码

       运行结果如下：

       Popleft 获取队列最前面的一个元素，pop获取末尾的一个元素；

       Appendleft 在队列最开始添加一个元素，append 在末尾添加一个元素；

       Extendleft 在队列最开始添加一个数组，extend在末尾添加一个数组；

       那么deque的存储位置在哪里？可以使用以下命令查看队列的存储位置：

       包括cache也是一个可以使用directory属性查看默认存储的位置；

       那么如何指定directory呢？Deque的第二个参数指定存储位置，第一个参数为队列的初始值。或者可以直接指定参数名称，微擎租赁源码如下：

       Index 类似于dict(字典)，可持久化，使用也比较便捷。以下是一个示例：

       # 示例代码

       popitem表示获取最后一个键对值，并且删除，结果如下：

       peekitem() 可传递last 参数是否获取最后一个，不会删除原始值；

       setdefault(key,default) 可以给指定的key值设置默认值，在查找时可以预先设置一个默认值，防止key值不存在而抛出异常。

       keys()与values()可以查找所有Index中的key值与value值，然而没有提供判断key值是否存在的方法，但是可以使用setdefault的方法自行封装。

       Lock还记得上篇文章中提到的Lock锁吗？先看一下源码：

       可以看到这里的锁用的就是cache的add方法的特性，源码中也给出了使用的方式：

       从源码上看有一个while 死循环，直到add成功时才会被释放，这里处理的方式不是很好，可能会造成死锁，所以一般情况下，都会添加一个过期的时间，如下：

       RLock还有一种RLock锁，与Lock锁的区别是RLock允许在同一线程中被多次acquire。而Lock却不允许这种情况。以下是一个示例：

       结果是执行成功。

       看一下源码：

       从源码中可以看出，判断锁的条件是os.getpid()（进程pid）与threading.get_ident()（线程标识符），如果每次acquire时的pid与ident都相同的时，即可成功。那么就可以在相同的进程中无限次数的acquire,但是多少次acquire就得多少次的release,防止死锁。

       那么是使用Lock还是RLock呢？这个要具体的看实际情况，并不是谁就一定好。

       总结本次推文中介绍了diskcache中FanoutCache缓存分片、双端队列deque、分发免签源码Index、Lock以及RLock。

       大家可以在实际中灵活运用，diskcache缓存的优势还是很大的，无需安装其他的模块，并且在文件管理器中能直接查看，还可以利用缓存的一些特性使用多线程的去实现业务等。

       但是也是有缺点的，即受制于本地文件系统的限制。每个磁盘每个目录下的文件数量是有限制的，所以需要结合实际情况使用。

Lock的await/singal 和 Object的wait/notify 的区别

       Lock的await/singal 和 Object的wait/notify 的区别

       åœ¨ä½¿ç”¨Lock之前，我们都使用Object 的wait和notify实现同步的。举例来说，一个producer和consumer，consumer发现没有东西了，等待，produer生成东西了，唤醒。

       çº¿ç¨‹consumer 线程producer

        synchronize(obj){

        obj.wait();//没东西了，等待

       } synchronize(obj){

        obj.notify();//有东西了，唤醒

       }

       æœ‰äº†lock后，世道变了，现在是：

       lock.lock();

       condition.await();

       lock.unlock(); lock.lock();

       condition.signal();

       lock.unlock();

       ä¸ºäº†çªå‡ºåŒºåˆ«ï¼Œçœç•¥äº†è‹¥å¹²ç»†èŠ‚。区别有三点：

       1. lock不再用synchronize把同步代码包装起来；

       2. 阻塞需要另外一个对象condition；

       3. 同步和唤醒的对象是condition而不是lock，对应的方法是await和signal，而不是wait和notify。

       ä¸º

       ä»€ä¹ˆéœ€è¦ä½¿ç”¨condition呢？简单一句话，lock更灵活。以前的方式只能有一个等待队列，在实际应用时可能需要多个，比如读和写。为了这个灵活

       æ€§ï¼Œlock将同步互斥控制和等待队列分离开来，互斥保证在某个时刻只有一个线程访问临界区（lock自己完成），等待队列负责保存被阻塞的线程

       ï¼ˆcondition完成）。

       é€šè¿‡æŸ¥çœ‹ReentrantLock的源代码发现，condition其实是等待队列的一个管理者，condition确保阻塞的对象按顺序被唤醒。

       åœ¨Lock的实现中，LockSupport被用来实现线程状态的改变，后续将更进一步研究LockSupport的实现机制。

ReentrantLock 源码解析 | 京东云技术团队

       并发指同一时间内进行了多个线程。并发问题是多个线程对同一资源进行操作时产生的问题。通过加锁可以解决并发问题，ReentrantLock 是锁的一种。

       1 ReentrantLock

       1.1 定义

       ReentrantLock 是 Lock 接口的实现类，可以手动的对某一段进行加锁。ReentrantLock 可重入锁，具有可重入性，并且支持可中断锁。其内部对锁的控制有两种实现，一种为公平锁，另一种为非公平锁.

       1.2 实现原理

       ReentrantLock 的实现原理为 volatile+CAS。想要说明 volatile 和 CAS 首先要说明 JMM。

       1.2.1 JMM

       JMM (java 内存模型 Java Memory Model 简称 JMM) 本身是一个抽象的概念，并不在内存中真实存在的，它描述的是一组规范或者规则，通过这组规范定义了程序中各个变量的访问方式.

       由于 JMM 运行的程序的实体是线程。而每个线程创建时 JMM 都会为其创建一个自己的工作内存 (栈空间), 工作内存是每个线程的私有数据区域。而 java 内存模型中规定所有的变量都存储在主内存中，主内存是共享内存区域，所有线程都可以访问，趣购购物源码但线程的变量的操作 (读取赋值等) 必须在自己的工作内存中去进行，首先要将变量从主存拷贝到自己的工作内存中，然后对变量进行操作，操作完成后再将变量操作完后的新值写回主内存，不能直接操作主内存的变量，各个线程的工作内存中存储着主内存的变量拷贝的副本，因不同的线程间无法访问对方的工作内存，线程间的通信必须在主内存来完成。

       如图所示：线程 A 对变量 A 的操作，只能是从主内存中拷贝到线程中，再写回到主内存中。

       1.2.2 volatile

       volatile 是 JAVA 的关键字用于修饰变量，是 java 虚拟机的轻量同步机制，volatile 不能保证原子性。 作用：

       作用：CAS 会使用现代处理器上提供的高效机器级别原子指令，这些原子指令以原子方式对内存执行读 - 改 - 写操作。

       1.2.4 AQSAQS 的全称是 AbstractQueuedSynchronizer（抽象的队列式的同步器），AQS 定义了一套多线程访问共享资源的同步器框架。

       AQS 主要包含两部分内容：共享资源和等待队列。AQS 底层已经对这两部分内容提供了很多方法。

       2 源码解析

       ReentrantLock 在包 java.util.concurrent.locks 下，实现 Lock 接口。

       2.1 lock 方法

       lock 分为公平锁和非公平锁。

       公平锁：

       非公平锁：上来先尝试将 state 从 0 修改为 1，如果成功，代表获取锁资源。如果没有成功，调用 acquire。state 是 AQS 中的一个由 volatile 修饰的 int 类型变量，多个线程会通过 CAS 的方式修改 state，在并发情况下，只会有一个线程成功的常见博客源码修改 state。

       2.2 acquire 方法

       acquire 是一个业务方法，里面并没有实际的业务处理，都是在调用其他方法。

       2.3 tryAcquire 方法

       tryAcquire 分为公平和非公平两种。

       公平：

       非公平：

       2.4 addWaiter 方法

       在获取锁资源失败后，需要将当前线程封装为 Node 对象，并且插入到 AQS 队列的末尾。

       2.5 acquireQueued 方法

       2.6 unlock 方法

       释放锁资源，将 state 减 1, 如果 state 减为 0 了，唤醒在队列中排队的 Node。

       3 使用实例

       3.1 公平锁

       1. 代码：

       2. 执行结果：

       3. 小结：

       公平锁可以保证每个线程获取锁的机会是相等的。

       3.2 非公平锁

       1. 代码：

       2. 执行结果：

       3. 小结：

       非公平锁每个线程获取锁的机会是随机的。

       3.3 忽略重复操作

       1. 代码：

       2. 执行结果：

       3. 小结：

       当线程持有锁时，不会重复执行，可以用来防止定时任务重复执行或者页面事件多次触发时不会重复触发。

       3.4 超时不执行

       1. 代码：

       2. 执行结果：

       3. 小结：

       超时不执行可以防止由于资源处理不当长时间占用资源产生的死锁问题。

       4 总结

       并发是现在软件系统不可避免的问题，ReentrantLock 是可重入的独占锁，比起 synchronized 功能更加丰富，支持公平锁实现，支持中断响应以及限时等待等，是处理并发问题很好的解决方案。

张图解析ReentrantReadWriteLock源码

       今天，我们深入探讨ReentrantReadWriteLock源码，解析其内部结构与工作原理。文章分为多个部分，逐一剖析读写锁的创建、获取与释放过程。

       读写锁规范与实现

       ReentrantReadWriteLock（简称RRW）作为读写锁，其核心功能在于控制并发访问的读与写操作。为了规范读写锁的使用，RRW首先声明了ReadWriteLock接口，并通过ReadLock与WriteLock实现接口，确保读锁与写锁的正确操作。

       为了实现锁的基本功能，WriteLock与ReadLock都继承了Lock接口。这些类内部依赖于AQS（AbstractQueuedSynchronizer）抽象类，AQS为加锁和解锁过程提供了统一的模板函数，简化了锁实现的复杂性。

       核心组件与流程

       AQS提供了一套多线程访问共享资源的同步模板，包括tryAcquire、release等核心抽象函数。WriteLock与ReadLock通过继承Sync类，实现了AQS中的tryAcquire、release（写锁）和tryAcquireShared、tryReleaseShared（读锁）函数。

       Sync类在ReentrantReadWriteLock中扮演关键角色，它不仅实现了AQS的抽象函数，还通过位运算优化了读写锁状态的存储，减少了资源消耗。此外，Sync类还定义了HoldCounter与ThreadLocalHoldCounter，进一步管理锁的状态与操作。

       公平与非公平策略

       为了适应不同场景的需求，ReentrantReadWriteLock支持公平与非公平策略。通过Sync类的FairSync与NonfairSync子类，实现了读锁与写锁的阻塞控制。公平策略确保了线程按顺序获取锁，而非公平策略允许各线程独立竞争。

       全局图与细节解析

       文章最后，构建了一张全局图，清晰展示了ReentrantReadWriteLock的各个组件及其相互关系。通过深入细节，分别解释了读写锁的创建、获取与释放过程。以Lock接口的lock与unlock方法为主线，追踪了从Sync类出发的实现路径，包括tryAcquire、tryRelease等核心函数，以及它们在流程图中的表现。

       总结，ReentrantReadWriteLock通过继承AQS并扩展公平与非公平策略，实现了高效、灵活的读写锁功能。通过精心设计的Sync类及其相关组件，确保了多线程环境下的并发控制与资源访问优化。深入理解其内部实现，有助于在实际项目中更好地应用读写锁，提升并发性能与系统稳定性。

9.读写锁ReentrantReadWriteLock 的实现原理

       了解读写锁之前，想象一下这样的场景：在多个线程中，频繁地进行读取和少量写入操作。如果使用传统的互斥锁，当多个线程同时读取时，虽然没有竞争，但锁仍然会被占用，造成资源浪费。这就是为什么引入读写锁的原因。

       ReentrantReadWriteLock 提供了readLock()和writeLock()方法，分别用于获取读锁和写锁，但这些方法获取的并不是实际的锁资源，而是锁对象。另外，getReadLockCount()和getWriteHoldCount()分别统计当前读锁和写锁的持有次数，isWriteLocked()用于判断写锁是否被占用。

       通过一个简单的代码演示，我们可以观察到三种可能的结果，这展示了读写锁在实际操作中的灵活性。回到实现原理，ReentrantReadWriteLock基于AQS框架，通过一个state变量管理读写状态。为了解决多种状态表示的问题，它将state变量拆分为多个位，每个位对应一种状态，如读锁和写锁。

       具体来说，写锁的获取和释放是这样的：

       获取写锁的源码：在满足条件后，写锁会被获取，并更新状态。

       释放写锁的源码：确保写锁被正确释放，不会导致死锁。

       读锁的获取和释放过程类似，但更为复杂，因为它允许线程在持有写锁后获取读锁，然后在读写操作完成后释放锁。这种机制被称为锁降级，以提高并发性能。

万字长文带你解读Redisson分布式锁的源码

       通过深入解读 Redisson 分布式锁的源码，我们了解到其核心功能在于实现加锁、解锁以及设置锁超时这三个基本操作。而分布式锁的实现，离不开对 Redis 发布订阅（pub/sub）机制的利用。订阅者（sub）通过订阅特定频道（channel）来接收发布者（pub）发送的消息，实现不同客户端间的通信。在使用 Redisson 加锁前，需获取 RLock 实例对象，进而调用 lock 或 tryLock 方法来完成加锁过程。

       Redisson 中的 RLock 实例初始化时，会配置异步执行器、唯一 ID、等待获取锁的时间等参数。加锁逻辑主要涉及尝试获取锁（tryLock）和直接获取锁（lock）两种方式。tryLock 方法中，通过尝试获取锁并监听锁是否被释放来实现锁的获取和等待逻辑。这通过调用底层命令（整合成 Lua 脚本）与 Redis 进行交互来实现。Redis 的 Hash 结构被用于存储锁的持有情况，hincrby 命令用于在持有锁的线程释放锁时调整计数，确保锁的可重入性。

       解锁逻辑相对简单，通过调用 unlock 方法，Redisson 使用特定的 Lua 脚本命令来判断锁是否存在，是否为当前线程持有，并相应地执行删除或调整锁过期时间的操作。

       此外，Redisson 支持 RedLock 算法来提供一种更鲁棒的锁实现，通过多个无关联的 Redis 实例（Node）组成的分布式锁来防止单点故障。尽管 RedLock 算法能一定程度上提高系统可靠性，但并不保证强一致性。因此，在业务场景对锁的安全性有较高要求时，可采取业务层幂等处理作为补充。

       Redisson 的设计遵循了简化实现与高效性能的原则，通过 Lua 脚本与 Redis 的直接交互来实现分布式锁的原子操作。在源码中，通过巧妙利用并发工具和网络通信机制，实现了分布式锁的高效执行。尽管 Redisson 在注释方面可能稍显不足，但其源码中蕴含的并发与网络通信的最佳实践仍然值得深入学习与研究。

android wake_lock 锁源码分析

       在Android系统中，WakeLock锁被广泛用于保持设备唤醒，避免进入休眠状态，以满足应用程序持续运行的需求。本文从源码角度对WakeLock的基本流程原理进行深入分析。

       WakeLock主要存在三种表现形式：

       1. PowerManager.WakeLock：此接口由PMS提供给应用层和其它组件，用于申请WakeLock。

       2. PowerManagerService.WakeLock：它是PowerManager.WakeLock在PMS内部的具体实现。

       3. SuspendBlocker：在向底层节点操作时，PowerManagerService.WakeLock会转变为这种形式。

       接下来，我们通过一个实例演示如何申请WakeLock锁。

       在PowerManagerService中，会根据特定条件禁用部分WakeLock。这通常发生在：

       1. 强制进入suspend状态。

       2. 当WakeLock所属进程不处于active状态且进程adj大于PROCESS_STATE_RECEIVER。

       3. 设备Idle处于IDLE状态，且所属进程不在doze白名单中。

       当禁用条件满足时，mWakeLockSuspendBlocker会调用JNI方法nativeAcquireSuspendBlocker。

       在power.c文件中，acquire_wake_lock的实现会将一个字符串数据写入指定的路径文件节点，新版本路径为“/sys/power/wake_lock”，旧版本为“/sys/android_power/acquire_partial_wake_lock”。至此，WakeLock锁的获取过程基本完成。释放过程与获取类似。

       文章结束，感谢您的阅读。