皮皮网

1.spark和hadoop的区别
2.yarn源码分析（四）AppMaster启动
3.阿里云 ACK 新升级，源码打造智算时代的源码现代化应用平台

spark和hadoop的区别

spark和hadoop的区别：诞生的先后顺序、计算不同、平台不同。

       è¯žç”Ÿçš„先后顺序，hadoop属于第一代开源大数据处理平台，而spark属于第二代。属于下一代的spark肯定在综合评价上要优于第一代的hadoop。

       è®¡ç®—不同spark和hadoop在分布式计算的底层思路上，其实是极为相似的，即mapreduce分布式运算模型：将运算分成两个阶段，阶段1-map，负责从上游拉取数据后各自运算，然后将运算结果shuffle给下游的reduce，reduce再各自对通过shuffle读取来的数据进行聚合运算spark和hadoop在分布式计算的具体实现上，又有区别；hadoop中的mapreduce运算框架，一个运算job，进行一次map-reduce的过程；而spark的一个job中，可以将多个map-reduce过程级联进行。

       å¹³å°ä¸åŒspark和hadoop区别是，spark是一个运算平台，而hadoop是一个复合平台（包含运算引擎，还包含分布式文件存储系统，还包含分布式运算的资源调度系统），所以，spark跟hadoop来比较的话，主要是比运算这一块大数据技术发展到目前这个阶段，hadoop主要是它的运算部分日渐式微，而spark目前如日中天，相关技术需求量大，offer好拿。

yarn源码分析（四）AppMaster启动

       在容器分配完成之后，启动容器的源码代码主要在ContainerImpl.java中进行。通过状态机转换，源码container从NEW状态向其他状态转移时，源码会调用RequestResourceTransition对象。源码oa公文流转源码RequestResourceTransition负责将所需的源码资源进行本地化，或者避免资源本地化。源码若需本地化，源码还需过渡到LOCALIZING状态。源码为简化理解，源码此处仅关注是源码否进行资源本地化的情况。

       为了将LAUNCH_CONTAINER事件加入事件处理队列，源码调用了sendLaunchEvent方法。源码该事件由ContainersLauncher负责处理。源码ContainersLauncher的handle方法中，使用一个ExecutorService（线程池）容器Launcher。ContainerLaunch实现了Callable接口，其call方法生成并执行launch_container脚本。源码读取器以MapReduce框架为例，该脚本在hadoop.tmp.dir/application name/container name目录下生成，其主要作用是启动MRAppMaster进程，即MapReduce的ApplicationMaster。

阿里云 ACK 新升级，打造智算时代的现代化应用平台

       作者：易立

       在年云栖大会上，阿里云云原生产品线容器服务负责人易立分享了容器服务ACK在亚运会上的应用。他指出，ACK作为云原生技术底座，为亚运一站通、亚运钉等众多核心应用提供了高弹性、高可用、异地多中心的架构支持，确保了赛事系统万无一失。这显示了ACK在企业级应用中的强大能力。

       作为企业级云原生应用操作系统，ACK已广泛应用于自动驾驶、智能科研、股票源码写法金融科技等新兴领域，其覆盖公共云、边缘云、本地数据中心等不同场景，为企业提供统一的容器基础设施。

       在过去的年度里，阿里云容器产品能力受到业界广泛认可，被Gartner评为全球领导者，亚洲唯一。在Forrester的评测中，ACK被认定为公共云开发与基础设施平台的最佳选择。

       面对智算时代的到来，易立介绍了ACK在高效云原生算力、高性能智算应用、智能化运维管理、可信基础设施、分布式云架构五大核心方向的全新升级。

       在高效云原生算力方面，云对接后台源码ACK提供了丰富的弹性算力，包括Intel/Amd/倚天Arm等多种CPU架构和GPU/RDMA等多种异构加速器，以及按量、Spot、节省计划等多种售卖形态，帮助客户最大化利用阿里云的弹性算力。

       ACK集群支持托管节点池和虚拟节点两种数据面形态，通过与弹性计算调度相互感知，更好地调度ECI实例，确保ECS节点池与虚拟节点调度统一和能力一致，无需修改现有K8s应用定义即可最大化使用云资源。

       在大规模微服务架构应用和大规模数据计算任务构建方面，越来越多的客户选择基于ACK集群。同时，ACK单集群最大支撑的节点从提升至，ECI实例从提升至实例，控制面组件会根据数据面规模按需伸缩，保障稳定性。指标上锁源码

       为了支持容器应用向倚天架构平滑切换，ACR提供了多架构镜像构建能力，支持一份源码构建出包含x、Arm架构的应用镜像。同时，ACK集群可以同时包含Arm/x节点池或虚拟节点，让客户K8s应用在不同CPU架构下按需调度，逐步切换。

       为了提供更优性价比，越来越多的ACK客户选择倚天芯片作为新算力选择。倚天架构实例的选择原因包括支持容器应用向倚天架构平滑切换、更高的弹性与更丰富的场景支持。

       ACK节点池即时弹性能力的发布，实现了在阿里云上容器服务每天数百万核的算力资源按需扩缩容，帮助客户优化计算成本。ACK节点池即时弹性Scaler具备特点如下：更简运维，通过ContainerOS与全托管节点池结合，实现节点全生命周期自动运维，包括CVE高危漏洞自动修复、节点故障自愈、OS/节点组件自动升级等。

       在Serverless容器支持方面，基于ECI的ACK Serverless在客户场景中广泛应用于在线应用的弹性伸缩和AI与大数据客户的降本增效。今年ECI弹性容器实例的四个重要发布，包括云原生智算基础设施全面支持灵骏集群，为大规模分布式AI应用提供高性能、高效率的Kubernetes集群，以及AI套件增强，构筑企业专属AI工程化平台。

       ACK集群调度器基于Koordinator项目，实现统一、高效地支持微服务、大数据、AI应用等多样化的工作负载，针对AI、大数据负载进行了优化和扩展。近期与小红书合作，发布Hadoop Yarn任务与Kubernetes负载混部的能力，进一步提升Kubernetes集群资源效率。同时，Koordinator捐赠到CNCF基金会，保持项目长期健康发展。

       智能自治体系的构建，通过ACK AIOps智能产品助手加速K8s问题定位与解决，提供大模型结合专家系统的解决方案，让管理员使用自然语言与系统交互，加速问题定位与解决。此外，ACK FinOps套件全面升级，支持更多场景化的分析与分摊策略，提高集群资源利用率。

       在端到端容器安全方面，ACK与ACR服务提供DevSecOps最佳实践，实现自动化风险识别、阻断与预防能力，帮助企业构建安全可信的软件供应链。集群容器安全概览帮助企业安全管理员更好地感知集群配置、应用镜像、容器运行时的安全风险，实现供应链流程的透明高效。

       服务网格新形态融合Sidecarless与Sidecar模式，成为业界首个发布托管式Istio Ambient Mesh的产品，提供对Sidecarless模式与Sidecar模式的融合支持。在典型客户场景中，采用Sidecarless模型服务网格可以减少资源开销%，简化运维成本%，降低时延%。

       针对企业对数据隐私日益关切，阿里云、达摩院操作系统实验室与Intel和龙蜥社区一起，推出基于可信执行环境（TEE）的机密计算容器（Confidential Containers），结合可信软件供应链、可信数据存储，实现端到端安全可信容器运行环境，帮助企业抵御来自外部应用、云平台，甚至企业内部的安全攻击。

       在跨云协同方面，ACK One Fleet为不同地域的多个K8s集群提供统一的控制平面，实现公共云集群、边缘云集群和本地数据中心集群的统一集群管理、资源调度、应用交付及备份恢复能力。全托管Argo工作流集群具备事件驱动、大规模、免运维、低成本、跨地域等特点，帮助客户在模拟仿真、科学计算等大规模数据计算工作流场景中，实现小时内完成数千例肿瘤基因样本处理，提升速度%，降低成本%。

       综上所述，阿里云容器服务ACK作为智算时代的现代化应用平台，以其强大的能力、广泛的应用场景和全面的解决方案，为企业的智能化、数字化创新提供了坚实的基础，推动企业在智算时代实现高效、安全和可持续发展。