1.SpringBatch中ListItemReader问题分析与总结
2.SSH框架总结(框架分析+环境搭建+实例源码下载)
3.注解@Autowired和@Resource的源码区别总结
4.Spring Boot引起的“堆外内存泄漏”排查及经验总结
5.Tomcat 的工作原理万字总结,这回终于搞懂了!总结
SpringBatch中ListItemReader问题分析与总结
在项目中使用SpringBatch作为批处理框架时,源码遇到ListItemReader问题,总结本文分析、源码总结并分享问题解决方法,总结weka源码以提升独立思考和解决问题能力。源码
ListItemReader源码展示了其线程安全设计,总结但在使用@StepScope的源码Bean时遇到并发问题。Spring在创建时使用synchronized确保线程安全,总结导致创建过程阻塞,源码影响后续job执行。总结解决方案之一是源码使用其他Tasklet,如TaskletStep,总结这将导致程序失去基于ChunkOrientedTasklet的源码优点。
另一个问题是线程安全问题,ListItemReader在多线程环境下可能出现线程安全问题,但其本身是线程安全且无状态的。解决策略包括评估业务需求是否确实需要多线程处理,使用同步关键字进行处理,或更换为线程安全的容器,如CopyOnWriteArrayList。
性能问题主要源于ListItemReader在处理大量数据时效率低下。在评估业务场景和资源情况后,应谨慎选择是否使用多线程处理。
总结,针对ListItemReader问题,通过选择合适的Tasklet实现方式、解决线程安全问题以及优化性能,可以有效提升批处理任务的执行效率和稳定性。
SSH框架总结(框架分析+环境搭建+实例源码下载)
SSH框架是外汇交易平台源码一个集成的Web应用程序框架,由Struts、Spring和Hibernate三个核心框架组成,用于构建灵活、易于扩展的多层Web应用程序。SSH框架将Web应用程序的职责划分为表示层、业务逻辑层、数据持久层和域模块层,实现MVC分离,提高系统的可复用性和开发效率。具体而言,Struts作为整体基础架构,负责MVC分离和业务跳转;Spring作为轻量级IoC容器,提供对象管理、事务处理和性能提升;Hibernate则通过对象化映射和数据库交互,实现数据持久层的支持。通过SSH框架,开发者可以编写更干净、可管理且易于测试的代码,实现视图、控制器与模型的彻底分离,以及业务逻辑层与持久层的分离,提高团队协作效率。
在SSH框架中,Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架,提供对象管理、依赖注入等功能,使得开发人员能够编写更易于测试和管理的代码。Struts作为MVC设计模式的实现,通过Servlet和JSP技术,提供控制器、商标注册网站源码视图和模型的分离,简化了Web应用的开发过程。Hibernate作为对象关系映射(ORM)框架,简化了数据持久层的编程工作,使得开发人员能够以对象的方式操作数据库。这三个框架相互配合,提供了从表示层到持久层的完整解决方案,降低了各层之间的耦合度,便于维护和扩展。
Spring、Struts和Hibernate的集成不仅实现了Web应用的MVC分离,还提高了系统的可复用性和可维护性。Spring的IoC和AOP特性使得开发人员能够更专注于业务逻辑的实现,而无需过多关注对象创建、依赖管理和事务处理等底层细节。Struts通过提供强大的视图导航和配置能力,使得系统结构更加清晰,易于理解和维护。Hibernate的ORM功能简化了数据库操作,使得开发人员能够以更高效的方式处理数据持久化问题。整体而言,SSH框架提供了高效、灵活的Web应用开发平台,适用于构建复杂的企业级Web应用。
深入理解SSH框架的组成部分,包括Spring、Struts和Hibernate的特性和用法,将有助于开发者更好地利用这一体系结构,提高开发效率和代码质量。同时,动态域名解析源码通过学习SSH框架的实例代码和最佳实践,开发者可以进一步掌握如何在实际项目中应用这些技术,构建功能丰富、性能优秀的Web应用程序。
注解@Autowired和@Resource的区别总结
@Autowired和@Resource是Spring框架中常见的依赖注入注解,但它们的注入机制和处理略有不同。接下来,我们将从源码角度深入剖析它们的注入过程。
@Autowired总结:
- 注入流程涉及AutowiredAnnotationBeanPostProcessor,首先检查属性或方法上的@Autowired,构建AutowiredFieldElement或AutowiredMethodElement。
- 如果未启用懒加载,AutowiredFieldElement会通过DefaultListableBeanFactory的resolveDependency方法寻找并注入bean,包括候选bean的查找和确定。
@Resource总结:
- CommonAnnotationBeanPostProcessor的buildResourceMetadata方法是切入点,只对非静态、非忽略类型的字段创建ResourceElement对象。
- ResourceElement对象的getResourceToInject方法负责获取bean,通过autowireResource方法调用。
源码分析:
1. @Autowired的注入过程涉及AutowiredAnnotationBeanPostProcessor的多个内部方法,如doResolveDependency和findAutowireCandidates,处理了候选bean的选择和懒加载机制。
2. @Resource的流程在CommonAnnotationBeanPostProcessor中更为直接,主要通过ResourceElement类的getResourceToInject方法获取bean。
学习更多关于Java和Spring的深入知识,如MyBatis、ZooKeeper等,持续关注博主的更新。
Spring Boot引起的“堆外内存泄漏”排查及经验总结
为了更好地实现对项目的管理,我们将组内一个项目迁移到MDP框架(基于Spring Boot),java md5加密源码随后我们就发现系统会频繁报出Swap区域使用量过高的异常。笔者被叫去帮忙查看原因,发现配置了4G堆内内存,但是实际使用的物理内存竟然高达7G,确实不正常。JVM参数配置是“-XX:MetaspaceSize=M -XX:MaxMetaspaceSize=M -XX:+AlwaysPreTouch -XX:ReservedCodeCacheSize=m -XX:InitialCodeCacheSize=m, -Xssk -Xmx4g -Xms4g,-XX:+UseG1GC -XX:G1HeapRegionSize=4M”,实际使用的物理内存如下图所示:
使用Java层面的工具定位内存区域(堆内内存、Code区域或者使用unsafe.allocateMemory和DirectByteBuffer申请的堆外内存)。
笔者在项目中添加-XX:NativeMemoryTracking=detailJVM参数重启项目,使用命令jcmd pid VM.native_memory detail查看到的内存分布如下:
发现命令显示的committed的内存小于物理内存,因为jcmd命令显示的内存包含堆内内存、Code区域、通过unsafe.allocateMemory和DirectByteBuffer申请的内存,但是不包含其他Native Code(C代码)申请的堆外内存。所以猜测是使用Native Code申请内存所导致的问题。
为了防止误判,笔者使用了pmap查看内存分布,发现大量的M的地址;而这些地址空间不在jcmd命令所给出的地址空间里面,基本上就断定就是这些M的内存所导致。
使用系统层面的工具定位堆外内存。
因为已经基本上确定是Native Code所引起,而Java层面的工具不便于排查此类问题,只能使用系统层面的工具去定位问题。
首先,使用了gperftools去定位问题。
从上图可以看出:使用malloc申请的的内存最高到3G之后就释放了,之后始终维持在M-M。笔者第一反应是:难道Native Code中没有使用malloc申请,直接使用mmap/brk申请的?(gperftools原理就使用动态链接的方式替换了操作系统默认的内存分配器(glibc)。)
然后,使用strace去追踪系统调用。
因为使用gperftools没有追踪到这些内存,于是直接使用命令“strace -f -e"brk,mmap,munmap" -p pid”追踪向OS申请内存请求,但是并没有发现有可疑内存申请。
接着,使用GDB去dump可疑内存。
因为使用strace没有追踪到可疑内存申请;于是想着看看内存中的情况。就是直接使用命令gdp -pid pid进入GDB之后,然后使用命令dump memory mem.bin startAddress endAddressdump内存,其中startAddress和endAddress可以从/proc/pid/smaps中查找。然后使用strings mem.bin查看dump的内容,如下:
从内容上来看,像是解压后的JAR包信息。读取JAR包信息应该是在项目启动的时候,那么在项目启动之后使用strace作用就不是很大了。所以应该在项目启动的时候使用strace,而不是启动完成之后。
再次,项目启动时使用strace去追踪系统调用。
项目启动使用strace追踪系统调用,发现确实申请了很多M的内存空间,截图如下:
使用该mmap申请的地址空间在pmap对应如下:
最后,使用jstack去查看对应的线程。
因为strace命令中已经显示申请内存的线程ID。直接使用命令jstack pid去查看线程栈,找到对应的线程栈(注意进制和进制转换)如下:
这里基本上就可以看出问题来了:MCC(美团统一配置中心)使用了Reflections进行扫包,底层使用了Spring Boot去加载JAR。因为解压JAR使用Inflater类,需要用到堆外内存,然后使用Btrace去追踪这个类,栈如下:
然后查看使用MCC的地方,发现没有配置扫包路径,默认是扫描所有的包。于是修改代码,配置扫包路径,发布上线后内存问题解决。
为什么堆外内存没有释放掉呢?
虽然问题已经解决了,但是有几个疑问。带着疑问,直接看了一下 Spring Boot Loader那一块的源码。发现Spring Boot对Java JDK的InflaterInputStream进行了包装并且使用了Inflater,而Inflater本身用于解压JAR包的需要用到堆外内存。而包装之后的类ZipInflaterInputStream没有释放Inflater持有的堆外内存。于是以为找到了原因,立马向Spring Boot社区反馈了这个bug。但是反馈之后,就发现Inflater这个对象本身实现了finalize方法,在这个方法中有调用释放堆外内存的逻辑。也就是说Spring Boot依赖于GC释放堆外内存。
使用jmap查看堆内对象时,发现已经基本上没有Inflater这个对象了。于是就怀疑GC的时候,没有调用finalize。带着这样的怀疑,把Inflater进行包装在Spring Boot Loader里面替换成自己包装的Inflater,在finalize进行打点监控,结果finalize方法确实被调用了。于是又去看了Inflater对应的C代码,发现初始化的使用了malloc申请内存,end的时候也调用了free去释放内存。
此时,怀疑free的时候没有真正释放内存,便把Spring Boot包装的InflaterInputStream替换成Java JDK自带的,发现替换之后,内存问题也得以解决了。
再次看gperftools的内存分布情况,发现使用Spring Boot时,内存使用一直在增加,突然某个点内存使用下降了好多(使用量直接由3G降为M左右)。这个点应该就是GC引起的,内存应该释放了,但是在操作系统层面并没有看到内存变化,那是不是没有释放到操作系统,被内存分配器持有了呢?
继续探究,发现系统默认的内存分配器(glibc 2.版本)和使用gperftools内存地址分布差别很明显,2.5G地址使用smaps发现它是属于Native Stack。内存地址分布如下:
到此,基本上可以确定是内存分配器在捣鬼;搜索了一下glibc M,发现glibc从2.开始对每个线程引入内存池(位机器大小就是M内存),原文如下:
按照文中所说去修改MALLOC_ARENA_MAX环境变量,发现没什么效果。查看tcmalloc(gperftools使用的内存分配器)也使用了内存池方式。
为了验证是内存池搞的鬼,就简单写个不带内存池的内存分配器。使用命令gcc zjbmalloc.c -fPIC -shared -o zjbmalloc.so生成动态库,然后使用export LD_PRELOAD=zjbmalloc.so替换掉glibc的内存分配器。其中代码Demo如下:
通过在自定义分配器当中埋点可以发现实际申请的堆外内存始终在M-M之间,gperftools监控显示内存使用量也是在M-M左右。但是从操作系统角度来看进程占用的内存差别很大(这里只是监控堆外内存)。
使用不同分配器进行不同程度的扫包,占用的内存如下:
为什么自定义的malloc申请M,最终占用的物理内存在1.7G呢?因为自定义内存分配器采用的是mmap分配内存,mmap分配内存按需向上取整到整数个页,所以存在着巨大的空间浪费。通过监控发现最终申请的页面数目在k个左右,那实际上向系统申请的内存等于k * 4k(pagesize) = 2G。
为什么这个数据大于1.7G呢?因为操作系统采取的是延迟分配的方式,通过mmap向系统申请内存的时候,系统仅仅返回内存地址并没有分配真实的物理内存。只有在真正使用的时候,系统产生一个缺页中断,然后再分配实际的物理Page。
整个内存分配的流程如上图所示。MCC扫包的默认配置是扫描所有的JAR包。在扫描包的时候,Spring Boot不会主动去释放堆外内存,导致在扫描阶段,堆外内存占用量一直持续飙升。当发生GC的时候,Spring Boot依赖于finalize机制去释放了堆外内存;但是glibc为了性能考虑,并没有真正把内存归返到操作系统,而是留下来放入内存池了,导致应用层以为发生了“内存泄漏”。所以修改MCC的配置路径为特定的JAR包,问题解决。在发表这篇文章时,发现Spring Boot的最新版本(2.0.5.RELEASE)已经做了修改,在ZipInflaterInputStream主动释放了堆外内存不再依赖GC;所以Spring Boot升级到最新版本,这个问题也可以得到解决。
Tomcat 的工作原理万字总结,这回终于搞懂了!
Tomcat 工作原理详解
理解Tomcat的工作原理对于深入掌握Web应用开发至关重要。当我们同时启动多个Tomcat实例,如何确定请求的处理者?以下是Tomcat处理HTTP请求的流程简要概括:用户发起请求到本地端口,Coyote连接器负责监听并接收请求。
连接器将请求传递给对应的Service Engine,Engine开始处理。
Engine根据请求路径(如localhost/test/index.jsp)匹配Host,这里是默认的localhost Host。
Host进一步查找与请求路径匹配的Context,比如/test。
Context根据URL模式找到对应的Servlet,如JspServlet处理.jsp文件。
构造请求和响应对象,调用Servlet的doGet或doPost方法执行业务逻辑。
响应对象逐级返回给Engine、Host、然后是Connector,最后送达浏览器。
尽管SpringBoot简化了许多部署工作,但理解Tomcat底层原理仍然是面试中不可忽视的部分。继续深入学习,不仅可以提升技术栈,也能在需要时进行性能调优和问题排查。 想了解更多关于Tomcat的配置和启动细节,可以查阅SpringBoot内嵌Tomcat的源码流程,以及在实际应用中的具体配置步骤。