1.ThreadLocal面试题自己整理
2.详解java Thread中的底层l底join方法
3.老生常谈线程基础的几个问题
4.java线程池(一):java线程池基本使用及Executors
5.面试说两天给结果给我,那都没有机会为什么不说今天给结果给我?
6.UE4源码剖析——异步与并行 中篇 之 Thread
ThreadLocal面试题自己整理
ThreadLocal是源码Java提供的一种线程内部局部变量,能保证各个线程变量相对独立于其他线程中的底层l底变量。在多线程环境下访问时,源码ThreadLocal实例通常为private static类型,底层l底关联线程和线程上下文,源码会销程序源码有助于在不同线程间实现隔离。底层l底 其典型应用场景包括: Spring框架利用ThreadLocal保证单个线程中的源码数据库操作使用同一连接,避免了频繁创建连接的底层l底开销。同时,源码通过传播级别巧妙管理事务切换,底层l底优化了事务处理流程。源码 在需要传递上下文(如用户身份、底层l底任务信息等)的源码场景中,ThreadLocal提供了一种简便且高效的底层l底方式,避免了参数传递的复杂性。 ThreadLocal的源码分析包括: set方法:用于设置线程局部变量的值。 get方法:用于获取线程局部变量的值。 ThreadLocalMap的底层结构是数组,而非通常的哈希表实现。每个ThreadLocal对象都有一个threadLocalHashCode,用于定位到数组中的特定位置进行存储。采用开放地址法解决哈希冲突,而非链表。 如果想在父子进程间共享ThreadLocal中的值,可通过使用InheritableThreadLocal。在主线程中创建InheritableThreadLocal实例,并在子线程中获取该实例的值。 ThreadLocal不会导致内存泄漏,因为ThreadLocalMap中的Entry设计为弱引用。弱引用允许垃圾回收器在必要时回收引用的对象,从而避免因持有引用导致的内存泄漏问题。详解java Thread中的join方法
在Java编程中,Thread类的join()方法发挥着关键作用。当需要控制线程执行顺序时,它能让调用线程暂停,直至被调用的线程完成。在主线程(如main())中,join()尤其有用,它会阻止主线程直到目标线程结束,例如:
当调用t1.join()时,main()线程会被暂停,直到t1线程完全执行完毕,然后main()线程才会继续执行。
join()方法的工作原理主要依赖于Java内存模型中的同步机制。通过查看Thread类的源码,我们发现join()实际上调用了wait()方法,使调用线程进入等待状态,直到目标线程结束。由于wait()方法前有synchronized修饰,这意味着主线程(t1线程的持有者)会在一个锁定的上下文中等待,如下所示:
代码等效于:synchronized(this) { wait(); },使得主线程进入等待队列,直到t1线程结束。
然而,wait()方法本身并不会唤醒主线程,唤醒过程隐藏在Java虚拟机(JVM)的底层。当t1线程执行完毕,JVM会自动调用lock.notify_all()方法,将主线程从等待队列中唤醒。
总结起来,join()方法的使用需要注意以下两点:
1. 它让调用线程暂停,直到目标线程结束。
2. 唤醒机制由JVM内部的notify_all()方法控制,确保线程按照预期顺序执行。
理解这些原理,能帮助你更有效地管理和控制Java线程。
老生常谈线程基础的几个问题
实现线程只有一种方式
我们知道启动线程至少可以通过以下四种方式:
实现Runnable接口
继承Thread类
线程池创建线程
带返回值的Callable创建线程
但是看它们的底层就一种方式,就是通过newThread()实现,其他的只不过在它的上面做了层封装。
实现Runnable接口要比继承Thread类的更好:
结构上分工更明确,线程本身属性和任务逻辑解耦。
某些情况下性能更好,直接把任务交给线程池执行,无需再次newThread()。
可拓展性更好:实现接口可以多个,而继承只能单继承。
有的时候可能会问到启动线程为什么是start()方法,而不是run()方法,这个问题很简单,执行run()方法其实就是在执行一个类的普通方法,并没有启动一个线程,而start()方法点进去看是一个native方法。
当我们在执行java中的start()方法的时候,它的底层会调JVM由c++编写的代码Thread::start,然后c++代码再调操作系统的create_thread创建线程,创建完线程以后并不会马上运行,要等待CPU的调度。CPU的调度算法有很多,比如先来先服务调度算法(FIFO),最短优先(就是对短作业的优先调度)、时间片轮转调度等。如下图所示:
线程的状态在Java中线程的生命周期中一共有6种状态。
NEW:初始状态,线程被构建,但是还没有调用start方法
RUNNABLE:运行状态,JAVA线程把操作系统中的就绪和运行两种状态统一称为运行中
BLOCKED:阻塞状态,表示线程进入等待状态,也就是线程因为某种原因放弃了CPU使用权
WAITING:等待状态
TIMED_WAITING:超时等待状态,超时以后自动返回
TERMINATED:终止状态,表示当前线程执行完毕
当然这也不是我说的,源码中就是这么定义的:
publicenumState{ /***Threadstateforathreadwhichhasnotyetstarted.*/NEW,/***Threadstateforarunnablethread.Athreadintherunnable*stateisexecutingintheJavavirtualmachinebutitmay*bewaitingforotherresourcesfromtheoperatingsystem*suchasprocessor.*/RUNNABLE,/***Threadstateforathreadblockedwaitingforamonitorlock.*Athreadintheblockedstateiswaitingforamonitorlock*toenterasynchronizedblock/methodor*reenterasynchronizedblock/methodaftercalling*{ @linkObject#wait()Object.wait}.*/BLOCKED,/***Threadstateforawaitingthread.*Athreadisinthewaitingstateduetocallingoneofthe*followingmethods:*<ul>*<li>{ @linkObject#wait()Object.wait}withnotimeout</li>*<li>{ @link#join()Thread.join}withnotimeout</li>*<li>{ @linkLockSupport#park()LockSupport.park}</li>*</ul>**<p>Athreadinthewaitingstateiswaitingforanotherthreadto*performaparticularaction.**Forexample,athreadthathascalled<tt>Object.wait()</tt>*onanobjectiswaitingforanotherthreadtocall*<tt>Object.notify()</tt>or<tt>Object.notifyAll()</tt>on*thatobject.Athreadthathascalled<tt>Thread.join()</tt>*iswaitingforaspecifiedthreadtoterminate.*/WAITING,/***Threadstateforawaitingthreadwithaspecifiedwaitingtime.*Athreadisinthetimedwaitingstateduetocallingoneof*thefollowingmethodswithaspecifiedpositivewaitingtime:*<ul>*<li>{ @link#sleepThread.sleep}</li>*<li>{ @linkObject#wait(long)Object.wait}withtimeout</li>*<li>{ @link#join(long)Thread.join}withtimeout</li>*<li>{ @linkLockSupport#parkNanosLockSupport.parkNanos}</li>*<li>{ @linkLockSupport#parkUntilLockSupport.parkUntil}</li>*</ul>*/TIMED_WAITING,/***Threadstateforaterminatedthread.*Thethreadhascompletedexecution.*/TERMINATED;}下面是这六种状态的转换:
New新创建New表示线程被创建但尚未启动的状态:当我们用newThread()新建一个线程时,如果线程没有开始调用start()方法,那么此时它的状态就是New。而一旦线程调用了start(),它的状态就会从New变成Runnable。
Runnable运行状态Java中的Runable状态对应操作系统线程状态中的两种状态,分别是Running和Ready,也就是biginteger源码 c说,Java中处于Runnable状态的线程有可能正在执行,也有可能没有正在执行,正在等待被分配CPU资源。
如果一个正在运行的线程是Runnable状态,当它运行到任务的一半时,执行该线程的CPU被调度去做其他事情,导致该线程暂时不运行,它的状态依然不变,还是Runnable,因为它有可能随时被调度回来继续执行任务。
在Java中Blocked、Waiting、TimedWaiting,这三种状态统称为阻塞状态,下面分别来看下。
Blocked从上图可以看出,从Runnable状态进入Blocked状态只有一种可能,就是进入synchronized保护的代码时没有抢到monitor锁,jvm会把当前的线程放入到锁池中。当处于Blocked的线程抢到monitor锁,就会从Blocked状态回到Runnable状态。
Waiting状态我们看上图,线程进入Waiting状态有三种可能。
没有设置Timeout参数的Object.wait()方法,jvm会把当前线程放入到等待队列。
没有设置Timeout参数的Thread.join()方法。
LockSupport.park()方法。
Blocked与Waiting的区别是Blocked在等待其他线程释放monitor锁,而Waiting则是在等待某个条件,比如join的线程执行完毕,或者是notify()/notifyAll()。
当执行了LockSupport.unpark(),或者join的线程运行结束,或者被中断时可以进入Runnable状态。当调用notify()或notifyAll()来唤醒它,它会直接进入Blocked状态,因为唤醒Waiting状态的线程能够调用notify()或notifyAll(),肯定是已经持有了monitor锁,这时候处于Waiting状态的线程没有拿到monitor锁,就会进入Blocked状态,直到执行了notify()/notifyAll()唤醒它的线程执行完毕并释放monitor锁,才可能轮到它去抢夺这把锁,如果它能抢到,就会从Blocked状态回到Runnable状态。
TimedWaiting状态在Waiting上面是TimedWaiting状态,这两个状态是非常相似的,区别仅在于有没有时间限制,TimedWaiting会等待超时,由系统自动唤醒,或者在超时前被唤醒信号唤醒。
以下情况会让线程进入TimedWaiting状态。
设置了时间参数的Thread.sleep(longmillis)方法。
设置了时间参数的Object.wait(longtimeout)方法。
设置了时间参数的Thread.join(longmillis)方法。
设置了时间参数的LockSupport.parkNanos(longnanos)。
LockSupport.parkUntil(longdeadline)方法。
在TimedWaiting中执行notify()和notifyAll()也是一样的道理,它们会先进入Blocked状态,然后抢夺锁成功后,再回到Runnable状态。当然,如果它的超时时间到了且能直接获取到锁/join的线程运行结束/被中断/调用了LockSupport.unpark(),会直接恢复到Runnable状态,而无需经历Blocked状态。
Terminated终止Terminated终止状态,要想进入这个状态有两种可能。
run()方法执行完毕,线程正常退出。
出现一个没有捕获的异常,终止了run()方法,最终导致意外终止。
线程的停止interrupt我们知道Thread提供了线程的一些操作方法,比如stop(),suspend()和resume(),这些方法已经被Java直接标记为@Deprecated,这就说明这些方法是不建议大家使用的。
因为stop()会直接把线程停止,这样就没有给线程足够的时间来处理想要在停止前保存数据的逻辑,任务戛然而止,会导致出现数据完整性等问题。这种行为类似于在linux系统中执行kill-9类似,它是一种不安全的操作。
而对于suspend()和resume()而言,它们的问题在于如果线程调用suspend(),它并不会释放锁,就开始进入休眠,但此时有可能仍持有锁,这样就容易导致死锁问题,因为这把锁在线程被resume()之前,是不会被释放的。
interrupt最正确的停止线程的方式是使用interrupt,但interrupt仅仅起到通知被停止线程的作用。而对于被停止的线程而言,它拥有完全的自主权,它既可以选择立即停止,也可以选择一段时间后停止,也可以选择压根不停止。
下面我们来看下例子:
publicclassInterruptExampleimplementsRunnable{ //interrupt相当于定义一个volatile的变量//volatilebooleanflag=false;publicstaticvoidmain(String[]args)throwsInterruptedException{ Threadt1=newThread(newInterruptExample());t1.start();Thread.sleep(5);//Main线程来决定t1线程的停止,发送一个中断信号,中断标记变为truet1.interrupt();}@Overridepublicvoidrun(){ while(!Thread.currentThread().isInterrupted()){ System.out.println(Thread.currentThread().getName()+"--");}}}执行一下,运行了一会就停止了
主线程在调用t1的interrupt()之后,这个线程的中断标记位就会被设置成true。每个线程都有这样的标记位,当线程执行时,会定期检查这个标记位,如果标记位被设置成true,就说明有程序想终止该线程。在while循环体判断语句中,金橙子源码通过Thread.currentThread().isInterrupt()判断线程是否被中断,如果被置为true了,则跳出循环,线程就结束了,这个就是interrupt的简单用法。
阻塞状态下的线程中断下面来看第二个例子,在循环中加了Thread.sleep秒。
publicclassInterruptSleepExampleimplementsRunnable{ //interrupt相当于定义一个volatile的变量//volatilebooleanflag=false;publicstaticvoidmain(String[]args)throwsInterruptedException{ Threadt1=newThread(newInterruptSleepExample());t1.start();Thread.sleep(5);//Main线程来决定t1线程的停止,发送一个中断信号,中断标记变为truet1.interrupt();}@Overridepublicvoidrun(){ while(!Thread.currentThread().isInterrupted()){ try{ Thread.sleep();}catch(InterruptedExceptione){ //中断标记变为falsee.printStackTrace();}System.out.println(Thread.currentThread().getName()+"--");}}}再来看下运行结果,卡主了,并没有停止。这是因为main线程调用了t1.interrupt(),此时t1正在sleep中,这时候是接收不到中断信号的,要sleep结束以后才能收到。这样的中断太不及时了,我让你中断了,你缺还在傻傻的sleep中。
Java开发的设计者已经考虑到了这一点,sleep、wait等方法可以让线程进入阻塞的方法使线程休眠了,而处于休眠中的线程被中断,那么线程是可以感受到中断信号的,并且会抛出一个InterruptedException异常,同时清除中断信号,将中断标记位设置成false。
这时候有几种做法:
直接捕获异常,不做处理,e.printStackTrace();打印下信息
将异常往外抛出,即在方法上throwsInterruptedException
再次中断,代码如下,加上Thread.currentThread().interrupt();
@Overridepublicvoidrun(){ while(!Thread.currentThread().isInterrupted()){ try{ Thread.sleep();}catch(InterruptedExceptione){ //中断标记变为falsee.printStackTrace();//把中断标记修改为trueThread.currentThread().interrupt();}System.out.println(Thread.currentThread().getName()+"--");}}这时候线程感受到了,我们人为的再把中断标记修改为true,线程就能停止了。一般情况下我们操作线程很少会用到interrupt,因为大多数情况下我们用的是线程池,线程池已经帮我封装好了,但是这方面的知识还是需要掌握的。感谢收看,多多点赞~
作者:小杰博士
java线程池(一):java线程池基本使用及Executors
@[toc] 在前面学习线程组的时候就提到过线程池。实际上线程组在我们的日常工作中已经不太会用到,但是线程池恰恰相反,是我们日常工作中必不可少的工具之一。现在开始对线程池的使用,以及底层ThreadPoolExecutor的源码进行分析。1.为什么需要线程池我们在前面对线程基础以及线程的生命周期有过详细介绍。一个基本的常识就是,线程是一个特殊的对象,其底层是依赖于JVM的native方法,在jvm虚拟机内部实现的。线程与普通对象不一样的地方在于,除了需要在堆上分配对象之外,还需要给每个线程分配一个线程栈、以及本地方法栈、程序计数器等线程的私有空间。线程的初始化工作相对于线程执行的大多数任务而言,都是一个耗时比较长的工作。这与数据库使用一样。有时候我们连接数据库,仅仅只是为了执行一条很小的sql语句。但是在我们日常的开发工作中,我们的绝大部分工作内容,都会分解为一个个短小的执行任务来执行。这样才能更加合理的复用资源。这种思想就与我们之前提到的协程一样。任务要尽可能的小。但是在java中,任务不可能像协程那样拆分得那么细。那么试想,如果说,有一个已经初始化好的很多线程,在随时待命,那么当我们有任务提交的时候,这些线程就可以立即工作,无缝接管我们的任务请求。那么效率就会大大增加。这些个线程可以处理任何任务。这样一来我们就把实际的任务与线程本身进行了解耦。从而将这些线程实现了复用。 这种复用的一次创建,可以重复使用的池化的线程对象就被成为线程池。 在线程池中,我们的线程是可以复用的,不用每次都创建一个新的线程。减少了创建和销毁线程的时间开销。 同时,线程池还具有队列缓冲策略,拒绝机制和动态线程管理。可以实现线程环境的隔离。当一个线程有问题的时候,也不会对其他的线程造成影响。 以上就是我们使用线程池的原因。一句话来概括就是资源复用,降低开销。
2.java中线程池的实现在java中,线程池的主要接口是Executor和ExecutorService在这两个接口中分别对线程池的行为进行了约束,最主要的是在ExecutorService。之后,线程池的实际实现类是AbstractExecutorService类。这个类有三个主要的实现类,ThreadpoolExecutorService、ForkJoinPool以及DelegatedExecutorService。
后面我们将对这三种最主要的实现类的源码以及实现机制进行分析。
3.创建线程的工厂方法Executors在java中, 已经给我们提供了创建线程池的工厂方法类Executors。通过这个类以静态方法的模式可以为我们创建大多数线程池。Executors提供了5种创建线程池的tornado 项目源码方式,我们先来看看这个类提供的工厂方法。
3.1 newFixedThreadPool/** * Creates a thread pool that reuses a fixed number of threads * operating off a shared unbounded queue.At any point, at most * { @code nThreads} threads will be active processing tasks. * If additional tasks are submitted when all threads are active, * they will wait in the queue until a thread is available. * If any thread terminates due to a failure during execution * prior to shutdown, a new one will take its place if needed to * execute subsequent tasks.The threads in the pool will exist * until it is explicitly { @link ExecutorService#shutdown shutdown}. * * @param nThreads the number of threads in the pool * @return the newly created thread pool * @throws IllegalArgumentException if { @code nThreads <= 0} */public static ExecutorService newFixedThreadPool(int nThreads) { return new ThreadPoolExecutor(nThreads, nThreads,0L, TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>());}这个方法能够创建一个固定线程数量的无界队列的线程池。参数nthreads是最多可同时处理的活动的线程数。如果在所有线程都在处理任务的情况下,提交了其他的任务,那么这些任务将处于等待队列中。直到有一个线程可用为止。如果任何线程在关闭之前的执行过程中,由于失败而终止,则需要在执行后续任务的时候,创建一个新的线程来替换。线程池中的所有线程都将一直存在,直到显示的调用了shutdown方法。 上述方法能创建一个固定线程数量的线程池。内部默认的是使用LinkedBlockingQueue。但是需要注意的是,这个LinkedBlockingQueue底层是链表结构,其允许的最大队列长度为Integer.MAX_VALUE。
public LinkedBlockingQueue() { this(Integer.MAX_VALUE);}这样在使用的过程中如果我们没有很好的控制,那么就可能导致内存溢出,出现OOM异常。因此这种方式实际上已经不被提倡。我们在使用的过程中应该谨慎使用。 newFixedThreadPool(int nThreads, ThreadFactory threadFactory)方法:
/** * Creates a thread pool that reuses a fixed number of threads * operating off a shared unbounded queue, using the provided * ThreadFactory to create new threads when needed.At any point, * at most { @code nThreads} threads will be active processing * tasks.If additional tasks are submitted when all threads are * active, they will wait in the queue until a thread is * available.If any thread terminates due to a failure during * execution prior to shutdown, a new one will take its place if * needed to execute subsequent tasks.The threads in the pool will * exist until it is explicitly { @link ExecutorService#shutdown * shutdown}. * * @param nThreads the number of threads in the pool * @param threadFactory the factory to use when creating new threads * @return the newly created thread pool * @throws NullPointerException if threadFactory is null * @throws IllegalArgumentException if { @code nThreads <= 0} */public static ExecutorService newFixedThreadPool(int nThreads, ThreadFactory threadFactory) { return new ThreadPoolExecutor(nThreads, nThreads,0L, TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>(),threadFactory);}这个方法与3.1中newFixedThreadPool(int nThreads)的方法的唯一区别就是,增加了threadFactory参数。在前面方法中,对于线程的创建是采用的默认实现Executors.defaultThreadFactory()。而在此方法中,可以根据需要自行定制。
3.2 newSingleThreadExecutor/** * Creates an Executor that uses a single worker thread operating * off an unbounded queue. (Note however that if this single * thread terminates due to a failure during execution prior to * shutdown, a new one will take its place if needed to execute * subsequent tasks.)Tasks are guaranteed to execute * sequentially, and no more than one task will be active at any * given time. Unlike the otherwise equivalent * { @code newFixedThreadPool(1)} the returned executor is * guaranteed not to be reconfigurable to use additional threads. * * @return the newly created single-threaded Executor */public static ExecutorService newSingleThreadExecutor() { return new FinalizableDelegatedExecutorService(new ThreadPoolExecutor(1, 1,0L, TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>()));}此方法将会创建指有一个线程和一个无届队列的线程池。需要注意的是,如果这个执行线程在执行过程中由于失败而终止,那么需要在执行后续任务的时候,用一个新的线程来替换。 那么这样一来,上述线程池就能确保任务的顺序性,并且在任何时间都不会有多个线程处于活动状态。与newFixedThreadPool(1)不同的是,使用newSingleThreadExecutor返回的ExecutorService不能被重新分配线程数量。而使用newFixExecutor(1)返回的ExecutorService,其活动的线程的数量可以重新分配。后面专门对这个问题进行详细分析。 newSingleThreadExecutor(ThreadFactory threadFactory) 方法:
/** * Creates an Executor that uses a single worker thread operating * off an unbounded queue, and uses the provided ThreadFactory to * create a new thread when needed. Unlike the otherwise * equivalent { @code newFixedThreadPool(1, threadFactory)} the * returned executor is guaranteed not to be reconfigurable to use * additional threads. * * @param threadFactory the factory to use when creating new * threads * * @return the newly created single-threaded Executor * @throws NullPointerException if threadFactory is null */public static ExecutorService newSingleThreadExecutor(ThreadFactory threadFactory) { return new FinalizableDelegatedExecutorService(new ThreadPoolExecutor(1, 1,0L, TimeUnit.MILLISECONDS,new LinkedBlockingQueue<Runnable>(),threadFactory));}这个方法与3.3中newSingleThreadExecutor的区别就在于增加了一个threadFactory。可以自定义创建线程的方法。
3.3 newCachedThreadPool/** * Creates a thread pool that creates new threads as needed, but * will reuse previously constructed threads when they are * available.These pools will typically improve the performance * of programs that execute many short-lived asynchronous tasks. * Calls to { @code execute} will reuse previously constructed * threads if available. If no existing thread is available, a new * thread will be created and added to the pool. Threads that have * not been used for sixty seconds are terminated and removed from * the cache. Thus, a pool that remains idle for long enough will * not consume any resources. Note that pools with similar * properties but different details (for example, timeout parameters) * may be created using { @link ThreadPoolExecutor} constructors. * * @return the newly created thread pool */public static ExecutorService newCachedThreadPool() { return new ThreadPoolExecutor(0, Integer.MAX_VALUE,L, TimeUnit.SECONDS,new SynchronousQueue<Runnable>());}这个方法用来创建一个线程池,该线程池可以根据需要自动增加线程。以前的线程也可以复用。这个线程池通常可以提高很多执行周期短的异步任务的性能。对于execute将重用以前的构造线程。如果没有可用的线程,就创建一个 新的线程添加到pool中。秒内,如果该线程没有被使用,则该线程将会终止,并从缓存中删除。因此,在足够长的时间内,这个线程池不会消耗任何资源。可以使用ThreadPoolExecutor构造函数创建具有类似属性但是详细信息不同的线程池。 ?需要注意的是,这个方法创建的线程池,虽然队列的长度可控,但是线程的数量的范围是Integer.MAX_VALUE。这样的话,如果使用不当,同样存在OOM的风险。比如说,我们使用的每个任务的耗时比较长,任务的请求又非常快,那么这样势必会造成在单位时间内创建了大量的线程。从而造成内存溢出。 newCachedThreadPool(ThreadFactory threadFactory)方法:
/** * Creates a thread pool that creates new threads as needed, but * will reuse previously constructed threads when they are * available, and uses the provided * ThreadFactory to create new threads when needed. * @param threadFactory the factory to use when creating new threads * @return the newly created thread pool * @throws NullPointerException if threadFactory is null */public static ExecutorService newCachedThreadPool(ThreadFactory threadFactory) { return new ThreadPoolExecutor(0, Integer.MAX_VALUE,L, TimeUnit.SECONDS,new SynchronousQueue<Runnable>(),threadFactory);}这个方法区别同样也是在于,增加了threadFactory可以自行指定线程的创建方式。
2.4 newScheduledThreadPool/** * Creates a thread pool that can schedule commands to run after a * given delay, or to execute periodically. * @param corePoolSize the number of threads to keep in the pool, * even if they are idle * @return a newly created scheduled thread pool * @throws IllegalArgumentException if { @code corePoolSize < 0} */public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize) { return new ScheduledThreadPoolExecutor(corePoolSize);}创建一个线程池,该线程池可以将任务在指定的延迟时间之后运行。或者定期运行。这个方法返回的是ScheduledThreadPoolExecutor。这个类是ThreadPoolExecutor的子类。在原有线程池的的基础之上,增加了延迟和定时功能。我们在后面分析了ThreadPoolExecutor源码之后,再来分析这个类的源码。 与之类似的方法:
/** * Creates a thread pool that can schedule commands to run after a * given delay, or to execute periodically. * @param corePoolSize the number of threads to keep in the pool, * even if they are idle * @param threadFactory the factory to use when the executor * creates a new thread * @return a newly created scheduled thread pool * @throws IllegalArgumentException if { @code corePoolSize < 0} * @throws NullPointerException if threadFactory is null */public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize, ThreadFactory threadFactory) { return new ScheduledThreadPoolExecutor(corePoolSize, threadFactory);}通过这个方法,我们可以指定threadFactory。自定义线程创建的方式。 同样,我们还可以只指定一个线程:
public static ScheduledExecutorService newSingleThreadScheduledExecutor() { return new DelegatedScheduledExecutorService(new ScheduledThreadPoolExecutor(1));}public static ScheduledExecutorService newSingleThreadScheduledExecutor(ThreadFactory threadFactory) { return new DelegatedScheduledExecutorService(new ScheduledThreadPoolExecutor(1, threadFactory));}上述两个方法都可以实现这个功能,但是需要注意的是,这两个方法的返回在外层包裹了一个包装类。
3.5 newWorkStealingPool这种方式是在jdk1.8之后新增的。我们先来看看其源码:
public LinkedBlockingQueue() { this(Integer.MAX_VALUE);}0这个方法实际上返回的是ForkJoinPool。该方法创建了一
面试说两天给结果给我,那都没有机会为什么不说今天给结果给我?
今天给大家分享一个关于一次奇葩面试:喊价K,HR却给了K的经历,网友评论说:面试造飞机,工作拧螺丝?自报家门
先做个自我介绍,楼主坐标帝都,5 年经验,跳槽之前在一家传统小公司,年薪 万。
这次面试前前后后大概两个月的时间,面试了大概 6 家公司,命中 4 家,最终去了一家估值 亿美金的生鲜电商独角兽,年薪 万,刚好翻倍。
面试过程
话不多说,lazyoa手机源码直接进入面试现场!
好未来
开始面试第一天上午投递好未来,下午 3 点面试,一共面试了 3 轮,问的问题比较多。
第一轮
面试官看了我的简历,首先让我画出 Eureka 的执行流程,这块在之前的准备过程中有深入看过,因此比较流畅的画出来并配合解释说明。
之后问到项目中使用分布式锁解决缓存重建并发的问题,并要求画出实际的执行流程,数据库也问的比较多,像事务的隔离级别,MySQL 实现可重复读的原理,索引等。
面试官给出了一个场景,在数据库主从同步的情况下,如果从库同步主库的数据延迟比较高,怎么才能在写到主库后立刻能够读取到数据。
我解释了主从同步的原理,并以此说明主库到从库的复制一定是有延迟的,因此要保证当写到主库的时候立刻能读到数据。
要么就直接配置那个接口读数据的话直接走主库,因为这种写完主库立刻要读取数据的场景比较少,可以做些特殊配置。
另一种方案就是在往主库写数据的时候,可以直接往内存缓存中写一份,设置一个较短的过期时间,后面可以直接从缓存中读到数据。我说完之后,面试官也没给出评价,就这么过去了。
此外,还问到一些基础性的问题,比较印象深刻的是:在加锁的时候,用什么锁对象是内存占用最小的,我说是 Object 对象,面试官说不对,我一时没想出来,面试结束后和朋友探讨,觉得应该是长度为 0 的 byte 数组。
其他还问到了 Collections.sort() 使用的排序算法,AQS,线程池,ThreadLocal 等等问题,主要都是一些考察基本功的问题,一轮面试就这么过去了!
第二轮
面试官更关注对一些技术的理解,问到了 ElasticSearch 的一些基础以及它和 MySQL 的区别在哪里;Eureka 和 Zookeeper 做服务发现的区别在哪里。
还问了分布式限流有哪些方案,以及用线程池进行限流的缺陷是什么,项目中系统日志的处理;还有 JVM 模型,JMM 模型,垃圾回收机制,垃圾收集器等问题。
之后聊了一些设计模式的使用,在项目中使用了哪些设计模式,对设计模式的几个原则的理解。
第二轮结束后,由于第三轮的面试官在开会,所以等了一段时间,等面试官来了之后,只聊了很短时间,面试官就说还有别的事,今天先到这里了。
主要问到了上家公司的加班情况,对加班的认识,职业规划,也问了几个技术问题,像 Tomcat 的优化这块,自我感觉答的不是很好。
整个面试从 3 点到 7 点,有点虎头蛇尾的感觉,结束后也没有消息了。
到家
面试一共三轮,上午 点过去,两轮技术面,下午两点过去,等了一会,然后跟 HR 聊了有半个多小时,HR 说明在一周之内会有结果。
第一轮
第一轮面试官的问题主要集中在基础上,我大概罗列了问到的一些问题,不同的简历不同人肯定问的也不太一样,有兴趣的同学可以参考看看。
主要是 JVM 模型,锁的原理,Synchronized 和 ReentrantLock的区别,偏向锁/轻量级锁/重量级锁的原理,能否从偏向锁直接升级成重量级锁。
Java 并发包里有哪些类,如何使用,线程池原理和参数配置,JVM 调优,堆大小的设置,多线程的线程数的设置,Volatile 原理,ThreadLocal 原理和使用。
Redis 和 Zookeeper 如何实现分布式锁,Redis 的数据类型,一些具体命令,比如要获取一个有序列表的前 个元素应该用什么命令。
数据库索引的使用,聚簇索引和非聚簇索引,没有主键的话,数据如何组织。
B+ 树的原理,InnoDB 引擎和 MyISAM 引擎的区别和使用场景,数据库隔离级别和原理,MySQL 的分库分表,MQ 的可靠性和顺序性,ES 插入数据的原理等。
第二轮
第二轮是部门 Leader 来面试,这轮面试主要集中在框架源码上,我画出了源码的执行流程,之后面试官在一些点深问,因为这块我看的比较全面,问的问题基本都答出来了。
然后这里面试官还问了在源码中我有学到什么东西,我讲了使用配置类代替 Properties 文件,Volatile 在单例模式中的使用,内存的多级缓存机制,线程池的各种不同应用场景,MeasureRate 统计一分钟内心跳次数,批处理机制等。
这里我的回答主要集中在代码编写层面,也可以从架构层面说下学到了哪些,我觉得后者更有高度。
最后我向面试官咨询了这个岗位具体做的事情,部门是基础服务部,面试官画图给我说明了部门内部一些项目划分,技术栈的使用,后续的规划等内容,并约我下午继续跟 HR 聊。
HR 面
下午跟 HR 的面试,HR 顺着简历上的公司一个个聊,问了离职原因,公司情况,如何向上司提出离职的,团队规模,是否带团队。
还问了上午面试的岗位知不知道具体要做什么,之后 HR 说了下公司的一些情况,上班时间,福利,加班情况,问了我现在的薪资情况,期望薪资,我问了下出结果的时间,HR 说一周之内。
第二周的周五下午六七点的时候,这家公司 HR 给我打电话,告诉我面试通过了,之后提到了给我的薪资,算下来竟然只给了我一个 5% 的涨幅。
HR 给出的解释是,因为我前家公司上一年只发了 薪,而他们有 薪和两个多月的绩效,用 个月的薪水除以 ,算下来平均到每个月也能达到我期望薪资的水平。
这个计算方法实在是膈应人,虽然 HR 后来表示可以跟 CEO 申请提高每月的 Base(大概提高到 % 的水平吧),不过当时我已经有较为满意的 Offer 了,还是决定不去这家了。
某生鲜电商独角兽
由于前面说了薪资,就不说具体公司名字了。这家公司我面试了两天,一共三面,第一天笔试加初面,然后第二天有两轮复试。
第一轮
一面主要还是基础,集中在 IO/并发/缓存/Redis/Zookeeper/分布式/JVM/数据库等。
其中问到 Redis 的单线程模型的时候,我这块了解的不是很清楚,只是知道使用 NIO 的方式,然后以自己的理解去说了,面试官表示这可能是我看过别的框架的模式,跟 Redis 搞混了,不过也算是答上来一些了。
之后聊了一些项目的情况,比如每日的访问量有多少,QPS 多少,订单量多少等数据,据此得出数据库的访问压力如何。
另外也深入问了使用分布式事务的一些问题,还有分布式事务在时间上的性能。
所以这里给各位兄弟强调一下,对自己的项目一定要非常熟悉,各个点都要考虑到。
一面跟面试官聊的还挺好,面试官也表示我的基础还不错,问我是不是平时都有学习,之后就是约二面了。
由于当时已经下午 1 点了,后面的面试官也在中午休息,而我下午也还有别的面试,因此 HR 跟我约第二天来复试。
第二轮
二面的面试官也聊了基础和一些设计上的问题,比如同时访问三个有相同功能的 API,要求将执行最快的结果返回,有哪些方式,这块主要还是考察对并发编程,并发控制的理解和掌握,有一些并发控制的类能够做到。
其他的还问到了,要开发一个新的 API,需要考虑哪些方面,把所有要考虑的地方都说出来,大家可以说下边界处理,高可用,并发问题,可扩展性,幂等性,重试机制等等,可以说的非常多。
总体问了有 6 块内容吧,面试官一边问也一边在记录,一些基础的问题这里就不再多说了。
第三轮
三面的面试官问的要更底层一些,Java 线程与内核线程的关系,与进程的关系;关于并发我所了解的方方面面。
对于这个,我从为什么有并发,并发问题产生的根源,解决并发问题的一些理论,Java 中解决并发问题的方式,不同方式的适用场景和对比等方面进行了回答。
另外还问到 Redis 的几种数据类型,以及每种数据类型的底层实现,跳表这种数据结构如何插入数据, Hash 如何扩容。
这块我跟面试官说具体扩容规则不太了解,然后向面试官说了我了解的 Java 中的 HashMap 的扩容规则和具体实现。
Tips:面试时如果遇到自己不太熟悉的部分,可以稍作变通,把自己熟悉的内容和面试官的问题结合起来。
之后又问了一些小的知识点,有的也没答好,像 CopyOnWrite 就不知道用来做什么,然后就是一些为什么离职之类的问题,对未来职业发展的考虑等。
之后面试官问我有什么想了解的,也问了我的期望薪资,我说了具体的数,也表示没想要太多,更看重平台的发展,最后面试官说明天 HR 会打电话给我。
HR 面
最后就是跟 HR 的沟通了,第二天 HR 打来电话告知面试通过,然后问了我期望薪资,沟通入职时间,之后加微信,按照 HR 的要求提供了一些材料,第二天就收到 Offer 了。
PS:最终楼主选择了这家公司,除了很有竞争力的薪资之外,我还很看重这家公司的发展平台,因为他们有非常大的用户量,会遇到各种技术挑战,是很好的提升锻炼的机会。
然后这里有一个开篇提到的小插曲:当时 HR 电话问我期望薪资的时候,我说 K。
结果后续加微信聊天时,HR 告诉我技术面试的反馈很好,决定给我 K,一个月还有 的补助,算下来一个月有 K,发 个月。这种 HR 主动加薪的事情我还是第一次见,意外之喜,哈哈!
玩吧
这家公司的职位是去做 App 后台的,用户量也不错,面试一共两轮技术面,最后是 HR 面。
第一轮
一面的时候,网络这块问的比较多,三次握手,四次挥手什么的,还有整个网络请求的执行流程,数据包的大小,对长连接的理解等。
然后数据库这块也问了一些,提供了一个场景,假如要实现一个最简单的朋友圈,用户可以看到朋友的朋友圈动态,朋友也可以看到用户发的动态,然后问表的设计。
我说了自己的实现,像用户表,好友表。面试官问有没有更好的方式,我没答上来,面试官表示这个轻易可能想不到,就问别的问题了,别的也没什么特殊的问题,都是一些基础的东西,大概聊了一个小时吧,就到了第二面了。
第二轮
二面是技术总监面的,整体没怎么聊技术,就是一些个人素质上的考察。比如:
为什么会选择做开发,没做别的用三个短语来描述自己的优点说说自己的缺点现在公司有系统稳定运行着,如果你发现了有新的技术能够改善现有系统,你会不会引进,会考虑哪些方面日常学习的方式,看过哪些书有没有带团队,描述下团队成员的优缺点,有没有改善有没有面试过别人,会从哪些方面考察职业规划是怎样的,想做技术管理还是技术专家对 Shell 熟不熟悉,写个 Word-Count 用到哪些命令最后还聊了下公司的氛围,项目的情况等。然后也没啥特殊的,就过了。
HR 面
最后跟 HR 聊,主要还是说了下公司的福利待遇,公司的氛围,也问了我现在有没有 Offer,对他们的感觉怎么样。
然后问了之前公司的薪资和现在的期望薪资,最后加了微信,告诉我两天内给结果。最后也是成功通过了面试并拿到了 Offer。
友信金服-人人贷
这家公司面试有三轮,大同小异,这里简短的说一下。
第一轮
一面仍然是基础的考察,像 CAS 的理解,和它存在的问题,ConcurrentHashMap 的锁机制,ElasticSearch 倒排索引,Eureka 的底层源码,还有服务访问的重试机制等等。
第二轮
二面上来问了垃圾回收的问题,类似下面的代码:
问 a 和 b 能否被垃圾回收?这里主要考察 JVM 如何判断一个对象是否可以被回收,是通过引用计数还是可达性分析,引用计数的方式会产生像上面代码一样的循环引用的问题,所以 JVM 没有采用这种方式。
第二个问题是,如果有个跟 Java 中原生的 String 一模一样的类,包括包名,类名都是一样的,方法也是一样的,唯独比原生的 String 的方法多个打印输出语句。
然后把它放进项目的依赖中,在写程序的时候,导入 String 类,问到底执行的是 Java 原生的 String 的方法还是自己写的 String 方法。
对于这个问题,可以考虑下 Java 中类加载的双亲委派模型。
然后就聊了项目的一些架构,问的比较细,要求我对每块都详细画图解释。
最后就是让画一个 Spring Cloud 技术栈所有框架的整体执行流程图,并对 Hystrix 的限流熔断机制做了解释说明,别的好像也没什么了。
这之后二面算是结束了,面试官和我说了下自己团队的情况,人员情况,要做的项目的情况等。
第三轮
最后一面是业务总监面的,面试官让我说了下自己在公司做了哪些事情,我挑其中一个项目做了仔细说明,然后说了下职业规划,对行业的看法等等。
最后 HR 和我加了微信,同样说是两天内给结果,不过第二天他们就给出通过的结果了,然后发了 Offer。
某实时数据分析服务公司
这是一家做体育赛事的实时数据分析展示的公司,公司不大,去年拿了 A 轮融资,看网上整体评价还不错,就去试了试。
面试总共有技术两轮,HR 一轮。去的时候首先是写笔试题。做完之后进入面试。
第一轮面试官没有聊太久,问的问题也比较偏基础,就是一些面试常问的问题,然后说了 Eureka 的执行原理,说完之后,面试官就去叫技术总监了。
第二轮面试是技术总监面的,技术点没问太多,主要集中在之前的笔试题上,笔试题包括 SQL 的考察,还有几道算法题:找出有序数组中指定元素出现的次数;二叉查找树从小到大排序。因为时间的问题,我主要写了实现思路。
还有一题是,有 瓶水,其中一瓶有毒,小白鼠喝一滴有毒的水一小时后会死,要在一小时找出来哪瓶水有毒最少需要几只小白鼠。
在 SQL 的考察这块,面试官看完我的答案后,又改了其中的需求,要求给出 SQL 的实现,另外也问到了 SQL 的执行效率。
这里给大家强调一下,我面的基本上每家公司面试都会问到数据库,所以这块还是挺重要的,需要重点去看。
然后关于找出有序数组中指定元素出现次数的问题,原来要求的时间复杂度是 O(lgn),后来面试官说不要求任何时间空间复杂度,如何简单的实现,我给出的方案是用 HashMap,相同的 Key 每出现一次,Value 加 1。
然后是小白鼠问题,说了解题思路,主要就是用位的思想,对 瓶水编码,实际只需要 4 个位就可以。
之后面试官还现场出了别的算法题,我基本都给出了结果,总体而言面试还比较顺畅,之后聊了下职业规划,技术发展,学习新技术的方法,面试官也聊了之后他们准备做的事情,并给我现场演示了他们的项目。
最后到了 HR 面,主要聊了下上家公司离职的原因,公司福利,上下班时间,我的期望薪水,还问到之前有没有带团队的经历等。
最终他们在第二周的周四才给出面试通过的结果并表示正在走 Offer 流程,由于 CEO 不在,在薪资上还没最终确定,我因为有了更满意的 Offer,因此婉拒了。
总结
总结一下,这两个月的面试,我觉得最重要的就是基础和项目这两块,基础一定要扎实,否则第一轮面试可能都过不了。
JVM,并发是非常高频被问到的地方,在开始面试之前一定要好好准备,另外也需要有自己非常熟悉的领域。
在这个领域里,面试官的一切问题你都可以 Hold 住,我觉得,对于这种基础好,而且有自己长处的面试者,面试官没有理由不喜欢。
还有项目这块,对项目的细节一定要清楚,各种方案的设计思路,实现细节等等都要了如指掌,这样在面试官对各种细节的追问下不至于手忙脚乱。
UE4源码剖析——异步与并行 中篇 之 Thread
我们知道UE中的异步框架分为TaskGraph与Thread两种,上篇教程我们学习了TaskGraph,它擅长处理有依赖关系的短任务;本篇教程我们将学习Thread,它与TaskGraph相反,它更擅长于处理长任务。而下一篇文章,我们则会承接Thread,去学习一下引擎中一些重要的线程。
Thread擅长处理长任务,从长任务生命周期这个层面来看,我们可以先把长任务分为两类:常驻型长任务与非常驻型长任务。
常驻型长任务侧重于并行,通常用于监听式服务,例如网络传输,使用单独的线程对网络进行监听,每当有网络数据包到达时,线程接收并处理后,不会立即结束,而是重置部分状态,继续监听,等待下一轮数据包。
非常驻型长任务侧重于异步,通常用于数据处理,例如主线程为了提高性能,避免卡顿,会将一些重负载的运算任务分发给分线程处理,可能分批给多条分线程,主线程继续运行其他逻辑。任务处理完成后,将结果返回给主线程,分线程可销毁。
接下来,我们通过两个例子学习Thread的使用。
计算由N到M(N和M为大数字)所有数字的和。使用Thread异步调用,将计算操作交由分线程执行,计算完成后再通知主线程结果,代码实现如下:
逻辑分为两部分:启动分线程计算数字和,使用Async函数,参数为EAsyncExecution::Thread,创建新线程执行。学习Async函数用法,该函数返回TFuture对象,代表未来状态,当前无法获取结果,但在未来某个时刻状态变为Ready,此时可通过TFuture获取结果。
主线程注册回调,等待分线程计算完成,使用TFuture的Then函数,完成时触发注册的回调,也可使用Wait系列函数等待计算完成。
接下来学习常驻型任务使用。
定义玩家血量上限点,当前点,当血量未满时,每0.2秒恢复1点血量。代码实现分为创建生命治疗仪FRunnable对象、重写Run函数、创建FRunnableThread线程、测试恢复功能和释放线程资源。
生命治疗仪创建与测试完整代码如下,可验证生命恢复功能和暂停与恢复。
UE4中的FRunnable与FRunnableThread提供创建常驻型任务所需接口。无论是常驻型还是非常驻型,底层实现相同,都是使用FRunnableThread线程。
FRunnableThread线程结构包含标识符、逻辑功能、效率与性能、辅助调试字段。线程创建与生命周期分为创建FRunnable类对象、创建FRunnableThread对象两步,通过FRunnable的生命周期管理实现线程运行与停止。
UE4线程管理流程包括继承并创建FRunnable类对象、创建FRunnableThread对象,生命治疗仪线程创建代码。
UE4中的几种异步方式底层使用线程实现,学习了线程类型、创建、生命周期、销毁方法,为下篇学习引擎特殊线程打下基础。
ffmpeg源码笔记-查找编解码器(一)
在ffmpeg-4.3.4版本中,处理编解码器的关键结构体AVCodec封装了底层编码器实现。查找编码器的方法有以下两种:
首先,通过name字段,可以查看文件开头的extern结构体,如extern AVCodec ff_libx_encoder,其对应的名字为libx。为了支持x编码,需要在编译时启用相关选项,如--enable-x。
另一种方法是通过enum AVCodecID id,这个在codec_id.h中定义。编码器查找通常在libavcodec/allcodecs.c中,如avcodec_find_encoder_by_name函数,它调用了find_codec_by_name,进而调用av_codec_iterate,最终可能涉及ff_thread_once函数。
函数avcodec_find_encoder的调用流程不同,它寻找的是所有注册的编码器,而不是指定名称。调用avcodec_register后,会初始化一些全局变量,如av_codec_next_init。
总结来说,avcodec_find_encoder_by_name提供了更强的控制性,但可能影响兼容性,如果FFmpeg不支持特定编码器,程序会失败;而avcodec_find_encoder则依赖系统选择,兼容性较好,开发者可以根据实际需求来选择使用。
值得注意的是,源码中的codec_list数组虽然在源码中未直接定义,但会在编译时自动生成,包含系统支持的编码器列表。这部分信息可以在编译后的代码中找到,具体列表可在#include "libavcodec/codec_list.c"中查看,但实际源码中并未包含该文件。
ThreadX系列 | 最新v6.1.6版本在MDK中的移植方法
本文分享了在MDK中移植ThreadX系列最新v6.1.6版本的方法,特别强调了更新过程及与之前的移植体验的比较。移植的开发板为小熊派IoT开发板,主控为STMLRCT6。首先,用户需要准备一份包含「正常使用printf串口输出的裸机工程」,推荐使用cubemx生成。
接着,从GitHub开源仓库获取ThreadX源码,将源码添加到MDK工程中。具体步骤包括创建threadX/common分组,将threadX/common/src下的所有c文件添加到此分组,以及新建threadX/ports分组,根据编译环境(例如使用AC5编译器)添加相应的.s文件。设置编译器为AC5,并添加头文件路径,以确保移植过程的顺利进行。
在移植过程中,用户可能会遇到ThreadX官方提供的底层适配文件tx_initialize_low_level.s,该文件中的函数用于处理器的底层初始化。然而,ThreadX在v6版本及其后续版本中对这个文件进行了修改,试图接管处理器的底层初始化,包括设置堆栈环境、重新定义向量表以及接管复位程序,这引起了一些争议。尽管ThreadX的意图可能是为了提供更全面的系统支持,但这种做法在某些方面可能并不合适,因为它直接接管了系统中断,而中断管理通常是操作系统的责任。尽管如此,移植工作仍需继续,用户可以通过创建自定义的适配文件来解决与原始文件的不兼容问题。
具体步骤包括复制tx_initialize_low_level.s文件,并创建自定义适配文件tx_initialize_low_level_bearpi.S,其中包含了对原有代码的修改以适应特定的移植需求。例如,修改与STM启动文件相关的代码,如设置时钟频率、初始化Systick定时器、处理堆栈环境等。在适配文件中,用户需要注释掉ThreadX定义的中断向量表和复位处理程序,并根据实际需求调整底层初始化函数。
此外,为了兼容现有代码,用户需要注释掉HAL库提供的中断服务函数,如PendSV和Systick中断服务函数。完成这些步骤后,用户可以编写应用代码,包括创建任务和启动内核。在main.c中包含ThreadX头文件,并在main函数中初始化内核,以完成整个移植过程。通过编译和下载,用户可以在串口终端观察到系统运行结果。
本文分享的移植过程提供了对最新ThreadX版本在特定环境中的应用指南,以及在遇到官方修改时的调整策略。虽然在某些方面存在争议,但通过适当的适配和调整,用户仍能成功地将ThreadX移植至其目标开发板,实现稳定且高效的操作系统功能。