1.一文读懂ThreadLocal的码详原理及使用场景
2.Vert.x 源码解析(4.x)——Local EvnentBus入门使用和源码解析
3.InheritableThreadLocal源码剖析
4.Netty源码解析 -- FastThreadLocal与HashedWheelTimer
5.通过transmittable-thread-local源码理解线程池线程本地变量传递的原理
一文读懂ThreadLocal的原理及使用场景
ThreadLocal 类是用来提供线程内部的局部变量,即线程本地变量。这种变量在多线程环境下访问(通过get和set方法访问)时能够保证各个线程的码详变量相对独立于其他线程内的变量,不同线程之间不会相互干扰,码详这种变量在线程的码详生命周期内起作用,减少同一个线程内多个函数或组件之间一些公共变量传递的码详复杂度。
ThreadLocal 表示线程的码详充电宝挂机源码“本地变量”,即每个线程都拥有该变量副本,码详达到人手一份的码详效果,各用各的码详,这样就可以避免共享资源的码详竞争。
在高并发中会存在多个线程同时修改一个共享变量的码详场景,这就可能会出现线性安全问题。码详为了解决线性安全问题,码详可以通过加锁来实现,码详例如使用synchronized 或者Lock。码详但是加锁的方式可能会导致系统变慢。另外一种方式,可以使用ThreadLocal类访问共享变量,这样会在每个线程的本地,都保存一份共享变量的拷贝副本。这是一种“空间换时间”的方案,虽然会让内存占用大很多,但是由于不需要同步也就减少了线程可能存在的阻塞等待,从而提高时间效率。
接下来就让我们学习 ThreadLocal 的几个核心方法,来了解ThreadLocal 的实现原理。
set() 方法设置当前线程中 ThreadLocal 变量的值,该方法的源码为:通过源码我们知道 value 是存放在 ThreadLocalMap 里的,数据 value 是存放在 ThreadLocalMap 这个容器中的,并且是以当前 ThreadLocal 实例为 key 的。
ThreadLocalMap 是怎样来的?源码很清楚,是通过getMap(t)进行获取:该方法直接返回当前线程对象 t 的一个成员变量 ThreadLocals:也就是说ThreadLocalMap 的引用是作为 Thread 的一个成员变量的,被 Thread 进行维护的。
总结一下 set 方法:通过当前线程对象 thread 获取该 thread 所维护的 ThreadLocalMap,如果 ThreadLocalMap 不为 null,则以 ThreadLocal 实例为 key,值为 value 的键值对存入 ThreadLocalMap,若 ThreadLocalMap 为 null 的话,就新建 ThreadLocalMap,然后再以 ThreadLocal 为键,飘雪html源码值为 value 的键值对存入即可。
get() 方法是获取当前线程中 ThreadLocal 变量的值,代码逻辑请看注释,另外,看下 setInitialValue 主要做了些什么事情?这段方法的逻辑和 set 方法几乎一致,关注的是 initialValue 方法:这个方法是 protected 修饰的,也就是说继承 ThreadLocal 的子类可重写该方法,实现赋值为其他的初始值。
总结一下 get 方法:通过当前线程 thread 实例获取到它所维护的 ThreadLocalMap,然后以当前 ThreadLocal 实例为 key 获取该 map 中的键值对(Entry),如果 Entry 不为 null 则返回 Entry 的 value。如果获取 ThreadLocalMap 为 null 或者 Entry 为 null 的话,就以当前 ThreadLocal 为 Key,value 为 null 存入 map 后,并返回 null。
remove() 方法实现了如何删数据的操作。删除数据当然是从 map 中删除数据,先获取与当前线程相关联的 ThreadLocalMap,然后从 map 中删除该 ThreadLocal 实例为 key 的键值对即可。
从上面的分析我们已经知道,数据其实都放在了 ThreadLocalMap 中,ThreadLocal 的 get、set 和 remove 方法实际上都是通过 ThreadLocalMap 的 getEntry、set 和 remove 方法实现的。ThreadLocalMap 是 ThreadLocal 一个静态内部类,内部维护了一个数组(Entry 类型的 table 数组),Entry 是一个以 ThreadLocal 为 key,Object 为 value 的键值对,这里的ThreadLocal 是弱引用。每个线程实例中都可以通过 ThreadLocals 获取到 ThreadLocalMap,而 ThreadLocalMap 实际上就是一个以 ThreadLocal 实例为 key,任意对象为 value 的 Entry 数组。当我们为 ThreadLocal 变量赋值时,实际上就是以当前 ThreadLocal 实例为 key,值为 value 的 Entry 往这个 ThreadLocalMap 中存放。需要注意的是,Entry 中的 key 是弱引用,当 ThreadLocal 外部强引用被置为 null(ThreadLocalInstance=null)时,系统 GC 的jdk 源码导入时候,根据可达性分析,这个 ThreadLocal 实例就没有任何一条链路能够引用到它,此时 ThreadLocal 势必会被回收,这样一来,ThreadLocalMap 中就会出现 key 为 null 的 Entry,如果没有办法访问这些 key 为 null 的 Entry 的 value,如果当前线程再迟迟不结束的话,这些 key 为 null 的 Entry 的 value 就会一直存在一条强引用链:Thread Ref -> Thread -> ThreaLocalMap -> Entry -> value 永远无法回收,造成内存泄漏。
当然,如果当前 thread 运行结束,ThreadLocal、ThreadLocalMap、Entry 没有引用链可达,在垃圾回收的时候都会被系统回收。在实际开发中,会使用线程池去维护线程的创建和复用,比如固定大小的线程池,线程为了复用是不会主动结束的。
本文主要讲解了ThreadLocal的作用及基本用法,以及ThreadLocal的实现原理和基础方法。线上环境中,ThreadLocal还有可能引起内存泄漏,这方面内容我们后续接着讲。
本文由 mdnice 多平台发布
Vert.x 源码解析(4.x)——Local EvnentBus入门使用和源码解析
Vert.x 源码解析(4.x)——Local EvnentBus入门使用和源码解析 本文将介绍使用和解析Vert.x的本地事件总线(Local EvnentBus)的基本概念、入门使用方法以及源码解析。1. 简介
Vert.x EventBus是一个用于异步通信的分布式事件总线,支持在同个Vert.x应用程序内部或跨多个Vert.x应用程序之间的消息交互,实现组件、模块或服务之间的松耦合与高度可扩展性。2. 基本概念
EventBus分为Local模式和Clustered模式,Local模式适用于项目内部通信,而Clustered模式用于集群间传输。3. 入门使用
3.1 获取EventBus
每个Vertx实例仅有一个EventBus实例,可使用注册处理器、调用consumer()方法获取MessageConsumer对象。 在集群模式下注册处理器时,注册信息传播至集群中所有节点可能需要时间。3.2 注销处理器
通过unregister方法注销处理器,多接口源码在集群模式下,此动作传播至节点可能需要额外时间,可使用回调完成通知。3.3 发布消息
使用publish方法指定地址发布消息,消息将传递给所有在该地址注册的处理器。3.4 发送消息
使用send方法发送消息至指定地址的单个处理器。3.5 设置消息头
在发送或publish消息时可提供DeliveryOptions来设置头信息。3.6 消息顺序
消息按发送顺序传递给处理器。3.7 消息对象
消息处理器接收到的对象类型为Message,包含消息体和头信息。3.8 应答消息/发送回复
通过reply方法在处理器接收到消息后发送回复至消息来源,确认处理。3.9 带超时的发送
使用DeliveryOptions指定超时时间,若超时未收到回复,则调用应答处理器。3. 发送失败
消息发送失败时,应答处理器将接收到异常失败结果。3. 消息编解码器
注册消息编解码器支持发送任何对象,通过DeliveryOptions指定对象类型。3. 集群模式的Event Bus
将多个Vert.x实例组合为集群,实现分布式Event Bus。4. 关键类简介
4.1 主要类的作用
EventBus、EventBusInternal、EventBusImpl: EventBus接口定义方法,EventBusImpl实现管理消息、监听器注册、消息派发等功能,异步操作。 HandlerRegistration、MessageConsumerImpl: 消费者实现类,管理订阅关系与消息派发。 DeliveryContextBase、InboundDeliveryContext、OutboundDeliveryContext: 消息传递管理类,处理发送和接收过程。4.2 EventBus系列
EventBus、EventBusInternal: EventBus接口,EventBusImpl实现。4.3 MessageConsumer系列
MessageConsumerImpl实现消息消费与订阅管理。怎样运行源码4.4 DeliveryContext系列
DeliveryContextBase管理消息传递过程,InboundDeliveryContext处理接收消息,OutboundDeliveryContext处理发送消息。4.5 Message系列
Message实现消息对象,MessageImpl具体实现。4.5.3 MessageCodec系列
CodecManager获取解码器,lookupCodec方法实现消息解码。5. Local模式EventBus源码解析
5.1 consumer方法分析
绑定时调用consumer方法,创建MessageConsumerImpl实例。5.2 handler
注册处理器,涉及HandlerRegistration、EventBusImpl等类。5.3 send
发送消息,EventBusImpl类实现,包括创建消息、发送上下文等。5.4 reply
回复消息,与send方法类似。5.5 总结
本地事件总线操作简单,消息发布与发送遵循明确的步骤。回复消息与发送类似,关键在于消息处理与应答机制。InheritableThreadLocal源码剖析
InheritableThreadLocal是Java中用于在多线程环境共享数据的工具,它允许子线程继承父线程的值,从而避免了线程间数据同步的复杂性。与ThreadLocal不同,InheritableThreadLocal实现了数据的继承机制,确保了数据在父线程到子线程间的顺利传递。这使得在使用线程池或其他线程管理技术时,应用程序能够保持数据的一致性和完整性。
InheritableThreadLocal提供了一种从父线程到子线程的数据传递方式,它通过在Thread类中引入了inheritableThreadLocals字段来实现这一功能。这一字段是一个ThreadLocalMap类型的对象,专门用于存储InheritableThreadLocal实例。这意味着当创建子线程时,它会自动接收并继承父线程的值。
实现这一特性,InheritableThreadLocal主要通过三个关键方法:set、get、remove。它们与ThreadLocal的同名方法相似,但操作的内部数据结构有所不同。InheritableThreadLocal的set、get、remove方法会通过获取inheritableThreadLocals字段中的ThreadLocalMap对象来进行操作,而ThreadLocal则通过操作threadLocals字段。
为了验证InheritableThreadLocal的继承机制,可以通过在父线程中设置InheritableThreadLocal的值,然后在子线程中尝试获取该值来观察结果。实验证明,子线程能够成功获取到父线程设置的值,证明了InheritableThreadLocal的继承功能。
在使用InheritableThreadLocal时,需要注意的是它的内存管理。一旦线程创建了InheritableThreadLocal实例,它会一直保留在所有后代线程中,直到显式调用remove方法或线程结束。因此,在资源管理和内存控制上,开发者需要特别注意,以防止潜在的内存泄漏问题。
总之,InheritableThreadLocal通过在Thread类中引入专门的数据结构和方法来实现其独特的继承机制,简化了多线程编程中数据共享和管理的复杂性。然而,其使用需要谨慎,以避免不必要的内存占用和潜在的内存泄漏风险。
Netty源码解析 -- FastThreadLocal与HashedWheelTimer
Netty源码分析系列文章接近尾声,本文深入解析FastThreadLocal与HashedWheelTimer。基于Netty 4.1.版本。 FastThreadLocal简介: FastThreadLocal与FastThreadLocalThread协同工作。FastThreadLocalThread继承自Thread类,内部封装一个InternalThreadLocalMap,该map只能用于当前线程,存放了所有FastThreadLocal对应的值。每个FastThreadLocal拥有一个index,用于定位InternalThreadLocalMap中的值。获取值时,首先检查当前线程是否为FastThreadLocalThread,如果不是,则从UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取InternalThreadLocalMap,这实际上回退到使用ThreadLocal。 FastThreadLocal获取值步骤: #1 获取当前线程的InternalThreadLocalMap,如果是FastThreadLocalThread则直接获取,否则通过UnpaddedInternalThreadLocalMap.slowThreadLocalMap获取。#2 通过每个FastThreadLocal的index,获取InternalThreadLocalMap中的值。
#3 若找不到值,则调用initialize方法构建新对象。
FastThreadLocal特点: FastThreadLocal无需使用hash算法,通过下标直接获取值,复杂度为log(1),性能非常高效。 HashedWheelTimer介绍: HashedWheelTimer是Netty提供的时间轮调度器,用于高效管理各种延时任务。时间轮是一种批量化任务调度模型,能够充分利用线程资源。简单说,就是将任务按照时间间隔存放在环形队列中,执行线程定时执行队列中的任务。 例如,环形队列有个格子,执行线程每秒移动一个格子,则每轮可存放1分钟内的任务。任务执行逻辑如下:给定两个任务task1(秒后执行)、task2(2分秒后执行),当前执行线程位于第6格子。那么,task1将放到+6=格,轮数为0;task2放到+6=格,轮数为2。执行线程将执行当前格子轮数为0的任务,并将其他任务轮数减1。 HashedWheelTimer的缺点: 时间轮调度器的时间精度受限于执行线程的移动速度。例如,每秒移动一个格子,则调度精度小于一秒的任务无法准时调用。 HashedWheelTimer关键字段: 添加延迟任务时,使用HashedWheelTimer#newTimeout方法,如果HashedWheelTimer未启动,则启动HashedWheelTimer。启动后,构建HashedWheelTimeout并添加到timeouts集合。 HashedWheelTimer运行流程: 启动后阻塞HashedWheelTimer线程,直到Worker线程启动完成。计算下一格子开始执行的时间,然后睡眠到下次格子开始执行时间。获取tick对应的格子索引,处理已到期任务,移动到下一个格子。当HashedWheelTimer停止时,取消任务并停止时间轮。 HashedWheelTimer性能比较: HashedWheelTimer新增任务复杂度为O(1),优于使用堆维护任务的ScheduledExecutorService,适合处理大量任务。然而,当任务较少或无任务时,HashedWheelTimer的执行线程需要不断移动,造成性能消耗。另外,使用同一个线程调用和执行任务,某些任务执行时间过久会影响后续任务执行。为避免这种情况,可在任务中使用额外线程执行逻辑。如果任务过多,可能导致任务长期滞留在timeouts中而不能及时执行。 本文深入剖析FastThreadLocal与HashedWheelTimer的实现细节,旨在提供全面的技术洞察与实战经验。希望对您理解Netty源码与时间轮调度器有帮助。关注微信公众号,获取更多Netty源码解析与技术分享。通过transmittable-thread-local源码理解线程池线程本地变量传递的原理
最近几周,我投入了大量的时间和精力,完成了UCloud服务和中间件迁移至阿里云的工作,因此没有空闲时间撰写文章。不过,回忆起很早之前对ThreadLocal源码的分析,其中提到了ThreadLocal存在向预先创建的线程中传递变量的局限性。恰好,我的一位前同事,HSBC的技术大牛,提到了团队引入了transmittable-thread-local(TTL)来解决此问题。借此机会,我深入分析了TTL源码,本文将全面分析ThreadLocal和InheritableThreadLocal的局限性,并深入探讨TTL整套框架的实现。如有对线程池和ThreadLocal不熟悉的读者,建议先阅读相关前置文章,本篇文章行文较为干硬,字数接近5万字,希望读者耐心阅读。
在Java中,没有直接的API允许子线程获取父线程的实例。获取父线程实例通常需要通过静态本地方法Thread#currentThread()。同样,为了在子线程中传递共享变量,也常采用类似的方法。然而,这种方式会导致硬编码问题,限制了方法的复用性和灵活性。为了解决这一问题,线程本地变量Thread Local应运而生,其基本原理是通过线程实例访问ThreadLocal.ThreadLocalMap来实现变量的存储与传递。
ThreadLocal与InheritableThreadLocal之间的区别主要在于控制ThreadLocal.ThreadLocalMap的创建时机和线程实例中对应的属性获取方式。通过分析源码,可以清楚地看到它们之间的联系与区别。对于不熟悉概念的读者,可以尝试通过自定义实现来理解其中的原理与关系。
ThreadLocal和InheritableThreadLocal的最大局限性在于无法为预先创建的线程实例传递变量。泛线程池Executor体系、TimerTask和ForkJoinPool等通常会预先创建线程,因此无法在这些场景中使用ThreadLocal和InheritableThreadLocal来传递变量。
TTL提供了更灵活的解决方案,它通过委托机制(代理模式)实现了变量的传递。委托可以基于Micrometer统计任务执行时间并上报至Prometheus,然后通过Grafana进行监控展示。此外,TTL通过字节码增强技术(使用ASM或Javassist等工具)实现了类加载时期替换Runnable、Callable等接口的实现,从而实现了无感知的增强功能。TTL还使用了模板方法模式来实现核心逻辑。
TTL框架的核心类TransmittableThreadLocal继承自InheritableThreadLocal,通过全局静态变量holder来管理所有TransmittableThreadLocal实例。holder实际上是一个InheritableThreadLocal,用于存储所有线程本地变量的映射,实现变量的全局共享。disableIgnoreNullValueSemantics属性的设置可以影响NULL值的处理方式,影响TTL实例的行为。
发射器Transmitter是TransmittableThreadLocal的一个公有静态类,提供传输TransmittableThreadLocal实例和注册当前线程变量至其他线程的功能。通过Transmitter的静态方法,可以实现捕获、重放和复原线程本地变量的功能。
TTL通过TtlRunnable类实现了任务的封装,确保在执行任务时能够捕获和传递线程本地变量。在任务执行前后,通过capture和restore方法捕获和重放变量,实现异步执行时上下文的传递。
启用TTL的Agent模块需要通过Java启动参数添加javaagent来激活字节码增强功能。TTL通过Instrumentation回调激发ClassFileTransformer,实现目标类的字节码增强,从而在执行任务时自动完成上下文的捕捉和传递。
TTL框架提供了一种高效、灵活的方式来解决线程池中线程复用时上下文传递的问题。通过委托机制和字节码增强技术,TTL实现了无入侵地提供线程本地变量传递功能。如果您在业务代码中遇到异步执行时上下文传递的问题,TTL库是一个值得考虑的解决方案。