1.简单概括Linux内核源码高速缓存原理(例解析)
2.面试说两天给结果给我,内核内核那都没有机会为什么不说今天给结果给我?
3.请问什么是源码内核头文件(kernelheaders)、工具链(toolchai
4.认识Semantic-kernel
简单概括Linux内核源码高速缓存原理(例解析)
高速缓存(cache)概念和原理涉及在处理器附近增加一个小容量快速存储器(cache),代码基于SRAM,内核内核由硬件自动管理。源码其基本思想为将频繁访问的代码作品导航源码数据块存储在cache中,CPU首先在cache中查找想访问的内核内核数据,而不是源码直接访问主存,以期数据存放在cache中。代码
Cache的内核内核基本概念包括块(block),CPU从内存中读取数据到Cache的源码时候是以块(CPU Line)为单位进行的,这一块块的代码数据被称为CPU Line,是内核内核CPU从内存读取数据到Cache的单位。
在访问某个不在cache中的源码block b时,从内存中取出block b并将block b放置在cache中。代码放置策略决定block b将被放置在哪里,而替换策略则决定哪个block将被替换。
Cache层次结构中,Intel Core i7提供一个例子。cache包含dCache(数据缓存)和iCache(指令缓存),解决关键问题包括判断数据在cache中的位置,数据查找(Data Identification),地址映射(Address Mapping),替换策略(Placement Policy),以及保证cache与memory一致性的问题,即写入策略(Write Policy)。
主存与Cache的地址映射通过某种方法或规则将主存块定位到cache。映射方法包括直接(mapped)、全相联(fully-associated)、一对多映射等。直接映射优点是地址变换速度快,一对一映射,替换算法简单,但缺点是容易冲突,cache利用率低,命中率低。全相联映射的优点是提高命中率,缺点是硬件开销增加,相应替换算法复杂。组相联映射是一种特例,优点是提高cache利用率,缺点是替换算法复杂。
cache的容量决定了映射方式的选取。小容量cache采用组相联或全相联映射,大容量cache采用直接映射方式,查找速度快,但命中率相对较低。cache的访问速度取决于映射方式,要求高的场合采用直接映射,要求低的场合采用组相联或全相联映射。
Cache伪共享问题发生在多核心CPU中,两个不同线程同时访问和修改同一cache line中的不同变量时,会导致cache失效。解决伪共享的方法是避免数据正好位于同一cache line,或者使用特定宏定义如__cacheline_aligned_in_smp。Java并发框架Disruptor通过字节填充+继承的方式,避免伪共享,RingBuffer类中的RingBufferPad类和RingBufferFields类设计确保了cache line的连续性和稳定性,从而避免了伪共享问题。
面试说两天给结果给我,那都没有机会为什么不说今天给结果给我?
今天给大家分享一个关于一次奇葩面试:喊价K,HR却给了K的经历,网友评论说:面试造飞机,工作拧螺丝?自报家门
先做个自我介绍,楼主坐标帝都,小型网店源码5 年经验,跳槽之前在一家传统小公司,年薪 万。
这次面试前前后后大概两个月的时间,面试了大概 6 家公司,命中 4 家,最终去了一家估值 亿美金的生鲜电商独角兽,年薪 万,刚好翻倍。
面试过程
话不多说,直接进入面试现场!
好未来
开始面试第一天上午投递好未来,下午 3 点面试,一共面试了 3 轮,问的问题比较多。
第一轮
面试官看了我的简历,首先让我画出 Eureka 的执行流程,这块在之前的准备过程中有深入看过,因此比较流畅的画出来并配合解释说明。
之后问到项目中使用分布式锁解决缓存重建并发的问题,并要求画出实际的执行流程,数据库也问的比较多,像事务的隔离级别,MySQL 实现可重复读的原理,索引等。
面试官给出了一个场景,在数据库主从同步的情况下,如果从库同步主库的数据延迟比较高,怎么才能在写到主库后立刻能够读取到数据。
我解释了主从同步的原理,并以此说明主库到从库的复制一定是有延迟的,因此要保证当写到主库的时候立刻能读到数据。
要么就直接配置那个接口读数据的话直接走主库,因为这种写完主库立刻要读取数据的场景比较少,可以做些特殊配置。
另一种方案就是在往主库写数据的时候,可以直接往内存缓存中写一份,设置一个较短的过期时间,后面可以直接从缓存中读到数据。我说完之后,面试官也没给出评价,就这么过去了。
此外,还问到一些基础性的问题,比较印象深刻的是:在加锁的时候,用什么锁对象是内存占用最小的,我说是 Object 对象,面试官说不对,我一时没想出来,面试结束后和朋友探讨,觉得应该是长度为 0 的 byte 数组。
其他还问到了 Collections.sort() 使用的排序算法,AQS,线程池,ThreadLocal 等等问题,主要都是一些考察基本功的问题,一轮面试就这么过去了!
第二轮
面试官更关注对一些技术的理解,问到了 ElasticSearch 的一些基础以及它和 MySQL 的区别在哪里;Eureka 和 Zookeeper 做服务发现的区别在哪里。
还问了分布式限流有哪些方案,以及用线程池进行限流的缺陷是什么,项目中系统日志的处理;还有 JVM 模型,JMM 模型,垃圾回收机制,垃圾收集器等问题。
之后聊了一些设计模式的经线公式源码使用,在项目中使用了哪些设计模式,对设计模式的几个原则的理解。
第二轮结束后,由于第三轮的面试官在开会,所以等了一段时间,等面试官来了之后,只聊了很短时间,面试官就说还有别的事,今天先到这里了。
主要问到了上家公司的加班情况,对加班的认识,职业规划,也问了几个技术问题,像 Tomcat 的优化这块,自我感觉答的不是很好。
整个面试从 3 点到 7 点,有点虎头蛇尾的感觉,结束后也没有消息了。
到家
面试一共三轮,上午 点过去,两轮技术面,下午两点过去,等了一会,然后跟 HR 聊了有半个多小时,HR 说明在一周之内会有结果。
第一轮
第一轮面试官的问题主要集中在基础上,我大概罗列了问到的一些问题,不同的简历不同人肯定问的也不太一样,有兴趣的同学可以参考看看。
主要是 JVM 模型,锁的原理,Synchronized 和 ReentrantLock的区别,偏向锁/轻量级锁/重量级锁的原理,能否从偏向锁直接升级成重量级锁。
Java 并发包里有哪些类,如何使用,线程池原理和参数配置,JVM 调优,堆大小的设置,多线程的线程数的设置,Volatile 原理,ThreadLocal 原理和使用。
Redis 和 Zookeeper 如何实现分布式锁,Redis 的数据类型,一些具体命令,比如要获取一个有序列表的前 个元素应该用什么命令。
数据库索引的使用,聚簇索引和非聚簇索引,没有主键的话,数据如何组织。
B+ 树的原理,InnoDB 引擎和 MyISAM 引擎的区别和使用场景,数据库隔离级别和原理,MySQL 的分库分表,MQ 的可靠性和顺序性,ES 插入数据的原理等。
第二轮
第二轮是部门 Leader 来面试,这轮面试主要集中在框架源码上,我画出了源码的执行流程,之后面试官在一些点深问,因为这块我看的比较全面,问的问题基本都答出来了。
然后这里面试官还问了在源码中我有学到什么东西,我讲了使用配置类代替 Properties 文件,代源码卡蜜儿Volatile 在单例模式中的使用,内存的多级缓存机制,线程池的各种不同应用场景,MeasureRate 统计一分钟内心跳次数,批处理机制等。
这里我的回答主要集中在代码编写层面,也可以从架构层面说下学到了哪些,我觉得后者更有高度。
最后我向面试官咨询了这个岗位具体做的事情,部门是基础服务部,面试官画图给我说明了部门内部一些项目划分,技术栈的使用,后续的规划等内容,并约我下午继续跟 HR 聊。
HR 面
下午跟 HR 的面试,HR 顺着简历上的公司一个个聊,问了离职原因,公司情况,如何向上司提出离职的,团队规模,是否带团队。
还问了上午面试的岗位知不知道具体要做什么,之后 HR 说了下公司的一些情况,上班时间,福利,加班情况,问了我现在的薪资情况,期望薪资,我问了下出结果的时间,HR 说一周之内。
第二周的周五下午六七点的时候,这家公司 HR 给我打电话,告诉我面试通过了,之后提到了给我的薪资,算下来竟然只给了我一个 5% 的涨幅。
HR 给出的解释是,因为我前家公司上一年只发了 薪,而他们有 薪和两个多月的绩效,用 个月的薪水除以 ,算下来平均到每个月也能达到我期望薪资的水平。
这个计算方法实在是膈应人,虽然 HR 后来表示可以跟 CEO 申请提高每月的 Base(大概提高到 % 的水平吧),不过当时我已经有较为满意的 Offer 了,还是决定不去这家了。
某生鲜电商独角兽
由于前面说了薪资,就不说具体公司名字了。这家公司我面试了两天,一共三面,第一天笔试加初面,然后第二天有两轮复试。
第一轮
一面主要还是基础,集中在 IO/并发/缓存/Redis/Zookeeper/分布式/JVM/数据库等。
其中问到 Redis 的单线程模型的时候,我这块了解的不是很清楚,只是知道使用 NIO 的方式,然后以自己的理解去说了,面试官表示这可能是我看过别的框架的模式,跟 Redis 搞混了,不过也算是答上来一些了。
之后聊了一些项目的情况,比如每日的访问量有多少,QPS 多少,订单量多少等数据,据此得出数据库的雪花绘制源码访问压力如何。
另外也深入问了使用分布式事务的一些问题,还有分布式事务在时间上的性能。
所以这里给各位兄弟强调一下,对自己的项目一定要非常熟悉,各个点都要考虑到。
一面跟面试官聊的还挺好,面试官也表示我的基础还不错,问我是不是平时都有学习,之后就是约二面了。
由于当时已经下午 1 点了,后面的面试官也在中午休息,而我下午也还有别的面试,因此 HR 跟我约第二天来复试。
第二轮
二面的面试官也聊了基础和一些设计上的问题,比如同时访问三个有相同功能的 API,要求将执行最快的结果返回,有哪些方式,这块主要还是考察对并发编程,并发控制的理解和掌握,有一些并发控制的类能够做到。
其他的还问到了,要开发一个新的 API,需要考虑哪些方面,把所有要考虑的地方都说出来,大家可以说下边界处理,高可用,并发问题,可扩展性,幂等性,重试机制等等,可以说的非常多。
总体问了有 6 块内容吧,面试官一边问也一边在记录,一些基础的问题这里就不再多说了。
第三轮
三面的面试官问的要更底层一些,Java 线程与内核线程的关系,与进程的关系;关于并发我所了解的方方面面。
对于这个,我从为什么有并发,并发问题产生的根源,解决并发问题的一些理论,Java 中解决并发问题的方式,不同方式的适用场景和对比等方面进行了回答。
另外还问到 Redis 的几种数据类型,以及每种数据类型的底层实现,跳表这种数据结构如何插入数据, Hash 如何扩容。
这块我跟面试官说具体扩容规则不太了解,然后向面试官说了我了解的 Java 中的 HashMap 的扩容规则和具体实现。
Tips:面试时如果遇到自己不太熟悉的部分,可以稍作变通,把自己熟悉的内容和面试官的问题结合起来。
之后又问了一些小的知识点,有的也没答好,像 CopyOnWrite 就不知道用来做什么,然后就是一些为什么离职之类的问题,对未来职业发展的考虑等。
之后面试官问我有什么想了解的,也问了我的期望薪资,我说了具体的数,也表示没想要太多,更看重平台的发展,最后面试官说明天 HR 会打电话给我。
HR 面
最后就是跟 HR 的沟通了,第二天 HR 打来电话告知面试通过,然后问了我期望薪资,沟通入职时间,之后加微信,按照 HR 的要求提供了一些材料,第二天就收到 Offer 了。
PS:最终楼主选择了这家公司,除了很有竞争力的薪资之外,我还很看重这家公司的发展平台,因为他们有非常大的用户量,会遇到各种技术挑战,是很好的提升锻炼的机会。
然后这里有一个开篇提到的小插曲:当时 HR 电话问我期望薪资的时候,我说 K。
结果后续加微信聊天时,HR 告诉我技术面试的反馈很好,决定给我 K,一个月还有 的补助,算下来一个月有 K,发 个月。这种 HR 主动加薪的事情我还是第一次见,意外之喜,哈哈!
玩吧
这家公司的职位是去做 App 后台的,用户量也不错,面试一共两轮技术面,最后是 HR 面。
第一轮
一面的时候,网络这块问的比较多,三次握手,四次挥手什么的,还有整个网络请求的执行流程,数据包的大小,对长连接的理解等。
然后数据库这块也问了一些,提供了一个场景,假如要实现一个最简单的朋友圈,用户可以看到朋友的朋友圈动态,朋友也可以看到用户发的动态,然后问表的设计。
我说了自己的实现,像用户表,好友表。面试官问有没有更好的方式,我没答上来,面试官表示这个轻易可能想不到,就问别的问题了,别的也没什么特殊的问题,都是一些基础的东西,大概聊了一个小时吧,就到了第二面了。
第二轮
二面是技术总监面的,整体没怎么聊技术,就是一些个人素质上的考察。比如:
为什么会选择做开发,没做别的用三个短语来描述自己的优点说说自己的缺点现在公司有系统稳定运行着,如果你发现了有新的技术能够改善现有系统,你会不会引进,会考虑哪些方面日常学习的方式,看过哪些书有没有带团队,描述下团队成员的优缺点,有没有改善有没有面试过别人,会从哪些方面考察职业规划是怎样的,想做技术管理还是技术专家对 Shell 熟不熟悉,写个 Word-Count 用到哪些命令最后还聊了下公司的氛围,项目的情况等。然后也没啥特殊的,就过了。
HR 面
最后跟 HR 聊,主要还是说了下公司的福利待遇,公司的氛围,也问了我现在有没有 Offer,对他们的感觉怎么样。
然后问了之前公司的薪资和现在的期望薪资,最后加了微信,告诉我两天内给结果。最后也是成功通过了面试并拿到了 Offer。
友信金服-人人贷
这家公司面试有三轮,大同小异,这里简短的说一下。
第一轮
一面仍然是基础的考察,像 CAS 的理解,和它存在的问题,ConcurrentHashMap 的锁机制,ElasticSearch 倒排索引,Eureka 的底层源码,还有服务访问的重试机制等等。
第二轮
二面上来问了垃圾回收的问题,类似下面的代码:
问 a 和 b 能否被垃圾回收?这里主要考察 JVM 如何判断一个对象是否可以被回收,是通过引用计数还是可达性分析,引用计数的方式会产生像上面代码一样的循环引用的问题,所以 JVM 没有采用这种方式。
第二个问题是,如果有个跟 Java 中原生的 String 一模一样的类,包括包名,类名都是一样的,方法也是一样的,唯独比原生的 String 的方法多个打印输出语句。
然后把它放进项目的依赖中,在写程序的时候,导入 String 类,问到底执行的是 Java 原生的 String 的方法还是自己写的 String 方法。
对于这个问题,可以考虑下 Java 中类加载的双亲委派模型。
然后就聊了项目的一些架构,问的比较细,要求我对每块都详细画图解释。
最后就是让画一个 Spring Cloud 技术栈所有框架的整体执行流程图,并对 Hystrix 的限流熔断机制做了解释说明,别的好像也没什么了。
这之后二面算是结束了,面试官和我说了下自己团队的情况,人员情况,要做的项目的情况等。
第三轮
最后一面是业务总监面的,面试官让我说了下自己在公司做了哪些事情,我挑其中一个项目做了仔细说明,然后说了下职业规划,对行业的看法等等。
最后 HR 和我加了微信,同样说是两天内给结果,不过第二天他们就给出通过的结果了,然后发了 Offer。
某实时数据分析服务公司
这是一家做体育赛事的实时数据分析展示的公司,公司不大,去年拿了 A 轮融资,看网上整体评价还不错,就去试了试。
面试总共有技术两轮,HR 一轮。去的时候首先是写笔试题。做完之后进入面试。
第一轮面试官没有聊太久,问的问题也比较偏基础,就是一些面试常问的问题,然后说了 Eureka 的执行原理,说完之后,面试官就去叫技术总监了。
第二轮面试是技术总监面的,技术点没问太多,主要集中在之前的笔试题上,笔试题包括 SQL 的考察,还有几道算法题:找出有序数组中指定元素出现的次数;二叉查找树从小到大排序。因为时间的问题,我主要写了实现思路。
还有一题是,有 瓶水,其中一瓶有毒,小白鼠喝一滴有毒的水一小时后会死,要在一小时找出来哪瓶水有毒最少需要几只小白鼠。
在 SQL 的考察这块,面试官看完我的答案后,又改了其中的需求,要求给出 SQL 的实现,另外也问到了 SQL 的执行效率。
这里给大家强调一下,我面的基本上每家公司面试都会问到数据库,所以这块还是挺重要的,需要重点去看。
然后关于找出有序数组中指定元素出现次数的问题,原来要求的时间复杂度是 O(lgn),后来面试官说不要求任何时间空间复杂度,如何简单的实现,我给出的方案是用 HashMap,相同的 Key 每出现一次,Value 加 1。
然后是小白鼠问题,说了解题思路,主要就是用位的思想,对 瓶水编码,实际只需要 4 个位就可以。
之后面试官还现场出了别的算法题,我基本都给出了结果,总体而言面试还比较顺畅,之后聊了下职业规划,技术发展,学习新技术的方法,面试官也聊了之后他们准备做的事情,并给我现场演示了他们的项目。
最后到了 HR 面,主要聊了下上家公司离职的原因,公司福利,上下班时间,我的期望薪水,还问到之前有没有带团队的经历等。
最终他们在第二周的周四才给出面试通过的结果并表示正在走 Offer 流程,由于 CEO 不在,在薪资上还没最终确定,我因为有了更满意的 Offer,因此婉拒了。
总结
总结一下,这两个月的面试,我觉得最重要的就是基础和项目这两块,基础一定要扎实,否则第一轮面试可能都过不了。
JVM,并发是非常高频被问到的地方,在开始面试之前一定要好好准备,另外也需要有自己非常熟悉的领域。
在这个领域里,面试官的一切问题你都可以 Hold 住,我觉得,对于这种基础好,而且有自己长处的面试者,面试官没有理由不喜欢。
还有项目这块,对项目的细节一定要清楚,各种方案的设计思路,实现细节等等都要了如指掌,这样在面试官对各种细节的追问下不至于手忙脚乱。
请问什么是内核头文件(kernelheaders)、工具链(toolchai
KernelHeaders - Linux Kernel Newbies
Toolchains - eLinux.org
内核头文件(KernelHeaders)在编程中扮演着极其重要的角色,它们类似于你购买手机充电线时需要查看手机充电口类型,以确保充电线与手机兼容。对于编程者而言,写程序时需调用内核提供的功能或开发内核模块,首要条件是程序与内核的数据结构及函数接口匹配。内核头文件就是一组包含这些匹配条件的“头文件”,为C/C++语言设计。
程序员在编写程序时,可以将常量定义、宏定义、函数接口定义等写入头文件中。之后,通过#include指令将这些头文件包含至程序中,编译器会自动引入对应文件的内容,避免在程序中重复定义相同的元素。
举例而言,若程序需使用操作系统提供的chmod功能(用于修改文件访问权限),直接在程序中调用该函数无法实现。这时,通过网络查找,我们得知该函数原型为:int chmod(const char *path, mode_t mode);
将此原型声明添加到程序中,编译器则能够顺利编译。然而,这种做法被认为是“野路子”操作,因为Linux提供的结构与功能极其丰富,逐一查找并手动输入容易繁琐且易出错。
更进一步,某些函数和数据结构在不同版本的Linux内核中可能存在差异。硬编码此类信息可能在版本升级后导致问题。因此,正确的做法是通过#include指令引入对应的内核头文件,当Linux内核更新时,相应的定义会随之更新。编译器在发现接口不匹配时会报告错误,根据提示进行修改即可。
例如,通过#include指令获取chmod定义后,编程者可以自由使用相关函数。
简而言之,#include与法院判决书中的“根据中华人民共和国刑法第XXX条第X款规定”相似,是明确引用C/C++库接口规格的最权威定义。头文件作为格式规范且可被编译器识别的软件接口规格书,确保了接口访问的正确性,并能在接口更改时第一时间发现,从而避免软件因接口问题引发的错误。
内核头文件是Linux内核的接口规格书,旨在为编程者提供准确、一致的接口定义。
识别与处理头文件的工具是必不可少的,它们让编程者能够轻松操作并确保程序的正确性。除了头文件,程序本身也是机器可识别的,但它们无法直接被执行。现代编程使用高级语言,如C/C++,这些语言设计旨在提高人类可读性和可编写性,而机器识别的是二进制指令。
因此,需要一套工具将程序员编写的高级语言程序转换为可执行的二进制序列。这些工具包括编译器、链接器、调试器以及make工具。编译器将源代码转换为目标文件;链接器整合目标文件与动态/静态链接库,理顺引用关系,生成可执行文件或库文件;调试器跟踪程序执行过程,帮助观察并修改运行中的程序状态;make工具则管理源文件之间的依赖关系,确保正确编译。
不同目的、应用领域和团队偏好决定了这些工具的多样性。例如,C/C++和Java在不同领域应用广泛,而Python在网页开发中更为便捷。团队可能选择cmake、qt以及qmake等工具,以适应不同需求。随着工具的不断演化,它们在编译、链接和管理过程中的功能也日益复杂。
这一整套工具组成了所谓的工具链(Toolchain),它旨在将源码正确转换为可执行程序,支持不同开发环境和编程语言。随着技术的不断进步,工具链也在不断发展,以满足编程者的多样化需求。
认识Semantic-kernel
Semantic Kernel (语义内核) 是一款轻量级的SDK(软件开发工具包),旨在实现人工智能大型语言模型(LLM)与传统编程语言的集成。通过这一工具包,开发者能够将传统编程语言与最新的大型语言模型相结合,以创建更为智能化、强大的应用程序。
Semantic Kernel 提供了多种功能与特性,其目的是搭建桥梁,让开发者轻松地将人工智能的语言理解和生成能力融入应用程序中,以实现更高智能的软件开发。
当前,Semantic Kernel SDK 支持 C#、Python 和 Java 三种语言。为了开始使用,您可以选择您的首选语言,并查阅功能矩阵以了解不同语言之间的功能对等。
获取 API 密钥以从 OpenAI 或 Azure OpenAI 运行 C#、Python 或 Java 控制台应用程序/脚本是快速入门的基础方法。
源代码在 GitHub 上开源,地址为:github.com/microsoft/se...
了解 Semantic Kernel 能够做什么以及如何使用它,您可参考以下链接:
cnblogs.com/shanyou/p/1...
cnblogs.com/sheng-jie/p...
juejin.cn/post/...
blog.cto.com/shanyou/...