1.了解 Apple 的指标指令 CI 构建服务 Xcode Cloud
2.XR VR AR monado oculus quest pico性能分析工具综述
3.打造企业级pipeline服务的18个疑问
4.GitLab Dogfooding 实践:Web API 模糊测试
5.一篇文章了解CI/CD管道全流程
6.问题发现早,处理代价小|测试左移——静态代码扫描SonarQube
了解 Apple 的源码 CI 构建服务 Xcode Cloud
Xcode Cloud 是 Apple 为开发者提供的持续集成构建服务。以下是指标指令开始将它用于您自己的软件创建的方法。
在?源码WWDC? 上,Apple 为其开发 IDE 推出了名为?指标指令Xcode?Cloud 的新云构建服务。
Xcode Cloud 是源码zxshell 源码托管在 Apple 服务器上
的持续集成
(CI) 构建服务,允许开发团队协作并自动执行软件配置和构建的指标指令构建和软件打包服务。持续集成背后的源码理念是,一个机器人或一组机器人监视源代码存储库中的指标指令代码更改,然后以特定的源码时间间隔检索源代码,自动构建软件组件,指标指令并自动将其分发给利益相关者。源码
使用 CI,指标指令开发人员和公司可以通过允许其他计算机手动管理构建过程来加快构建和分发时间。源码有了 CI,指标指令开发人员不得不花时间进行手动构建的日子已经一去不复返了。
将 CI 视为自动化生成工程师 一个可以为你管理生成和分发各个方面的机器人。
要求要使用 Xcode Cloud,您必须满足以下要求:
注册 Apple Developer Program使用 Xcode .0.1 或更高版本在 Xcode 的设置中添加您的 Apple ID在 App Store Connect 中为您的 App 添加 App 记录将 Xcode Cloud 连接到您的在线源代码管理系统成本Apple 现在为每个 Apple 开发者帐户提供 小时的 Xcode Cloud 免费计算时间。额外的计算小时数为 、 和 个计算小时,范围从每月 . 美元到 . 美元不等。
有关详细信息,请参阅?Xcode Cloud 概述页面。
复杂性请注意,使用 Xcode Cloud 并非易事。苹果试图让Xcode Can更容易上手,但这些努力都失败了。
Xcode Cloud 很复杂,要完全理解如何使用它,您可能需要阅读多达
十
个或更多 Apple 开发者文档的不同部分——而 Apple 的开发者文档已经过于冗长和分散。
你可能会发现自己在 Apple 的 Xcode Cloud 开发人员页面上从一个链接跳到下一个链接,却发现你已经浏览了文档,以至于你忘记了你打算理解的主题。
App Store Connect 是 Apple 的 Web 门户,开发者和团队可在其中管理团队成员、App 设置、详细信息以及开发者之间的协作。对于 App Store Connect 和 Xcode Cloud,您需要拥有 Apple 开发者帐户和 Apple ID 才能登录。
存在帐户问题、团队和权限问题、源代码管理设置和配置以及 App Store Connect 问题。
特别是,如果你在 App Store Connect 的“证书、标识符和描述文件”部分中有一个较旧的 App ID,并且在 Xcode Cloud 发布后没有设置它,你可能会发现 App Store Connect 门户中的 Xcode Cloud 标签页根本无法用于该 App:
旧版 App ID 上的 Xcode Cloud 失败。Apple 目前对此没有任何解释,在这种情况下,您唯一的办法是首先从 App Store 中删除该 App,删除 App ID,然后使用相同的 App Bundle ID 创建一个新 App ID,然后在 App Store Connect 中为该?App?ID 设置 Xcode Cloud。
这是苹果的荒谬和不可原谅的疏忽。
更糟糕的是,如果您必须删除并重新创建 App ID,您还可能丢失该 App 的所有过去指标和分析数据,并且您必须重新输入并重新上传所有 App 细节、屏幕截图和影片到 App Store Connect。
您或您的团队成员还需要熟悉源代码管理,例如 git、GitHub 或其他受支持的源代码管理系统之一。
您至少需要阅读以下大部分文档:
App Store 连接App Store Connect 的证书、标识符和描述文件App Store Connect 的团队和成员管理Xcode 源代码管理Xcode 演唱和功能Xcode 方案和共享关于使用 Xcode Cloud 进行持续集成和交付为您的团队配置 Xcode Cloud使依赖项可用于 Xcode Cloud使用 Xcode Cloud 的要求源代码管理要求配置您的第一个 Xcode Cloud 工作流程此外,Apple 在 Xcode 中更改了 Xcode 的构建系统,因此如果您还不熟悉这些更改,则需要阅读 Xcode?
发行说明中的?
Xcode 构建系统发行说明
页面。
准备好花费数小时甚至
数天
的flash播放网站源码时间查看 Apple 的开发者文档。
项目和工作区要求您必须在项目或工作区中配置一长串内容才能使用 Xcode Cloud。这个列表很大,所以我们不会在这里讨论。
您可以在 Apple Xcode Cloud 要求页面中阅读有关?Xcode?项目和工作区要求的更多信息。
项目满足要求后,必须将 Xcode Cloud 配置为在 GitHub、GitLab、BitBucket 或 BitBucket 服务器上访问项目的源代码管理帐户。Xcode Cloud 需要基于 git、支持网络的 SCM 系统才能工作。
如果您的项目有 SCM(源代码管理)管理员,请让他们配置 Xcode Cloud 和开发团队的帐户,以使用上述 SCM 服务之一在 Xcode Cloud 中访问您的 SCM 帐户。
将 Xcode Cloud 连接到 GitHub。Apple 在为您的团队配置 Xcode Cloud?页面上提供了更多信息。
Apple 还在 Xcode Cloud 要求页面上提供了有关使用生成或修改 Xcode 项目或工作区的第三方工具的警告:
重要提示
:Xcode Cloud 需要始终存在的一致 Xcode 项目或工作区。如果您使用动态生成或编辑项目或工作区的第三方工具,则 Xcode Cloud 的初始配置和后续构建可能会失败。
如果您尚未将 Xcode Cloud 连接到 SCM 系统,当您打开已在 App Store Connect 中设置了 App ID 和捆绑 ID 的 Xcode 项目时,下次打开 Xcode 项目时,您可能会在 Xcode 中看到以下警告:
更深入地了解构建细节查看并理解所有 Xcode Cloud 和 App Store Connect 开发者信息,将 Xcode Cloud 连接到 GitHub 或其他受支持的云 SCM 服务,并将 App ID 配置为使用 Xcode Cloud 后,即可开始在 Xcode 本身中使用它。
作为一项 CI 服务,Xcode Cloud 允许您指定要监控的源代码存储库,包括要使用的分支、配置构建、运行和监控构建,以及检查构建是否存在错误。Xcode Cloud 机器人允许您使用 Apple 的 TestFlight 构建分发应用程序和服务配置何时运行构建、监控构建以及自动何时分发构建。
例如,您可以将 Xcode Cloud 机器人设置为每晚运行构建,以及在特定项目里程碑、发生源代码提交时或仅在存储库中的某些分支发生更改时运行构建。
Xcode Cloud 机器人可以告诉您构建何时以及是否失败、导致失败的原因以及责任人。
Xcode 中的“Xcode 云概览”窗格。设置 Xcode Cloud 机器人后,构建会在您指定的时间自动运行,您不再需要担心构建软件 Xcode Cloud 会为您处理所有构建。
当前版本的 Xcode Cloud 能够在您授权后登录您的 GitHub 存储库,并检索源代码以在 Apple 的 Xcode Cloud 服务器上自动私下构建。所有代码下载和构建都在 Apple 的服务器上进行,因此您不必担心将构建计算机配置为构建服务器。
您还可以通过单击“Xcode 可以构建摘要”选项卡中的“我的”选项卡来查看整个团队或仅为您查看所有构建状态和错误。
使用“我的”选项卡仅查看您的结果。在 Xcode 中使用 Xcode Cloud一旦所有的设置和文档麻烦都解决了,苹果
已经
使Xcode Cloud在Xcode IDE应用程序中相当容易使用。您还可以在面向开发人员的 Apple App Store Connect Web 门户中查看和配置一些 Xcode Cloud 详细信息。
要在?Mac?上的 Xcode IDE 中开始使用 Xcode Cloud,请启动 Xcode,然后从屏幕顶部菜单栏的“产品”菜单中选择“Xcode Cloud-Create Workflow”:
请注意,在 Xcode 项目的 App ID、团队和签名设置以及 SCM 信息连接到 Xcode Cloud 之前,Xcode Cloud 菜单项不会显示在?Xcode?中。
接下来,在项目或工作流窗口左侧的 Xcode 项目编辑器中,选择“本地”选项卡旁边的“云”选项卡。这会将 Xcode 中的视图切换到 Xcode Cloud 视图。
在“云”视图中,您可以看到当前项目的所有生成工作流和任务。您还可以在此视图中查看最近生成的结果。
云视图右侧还有一个“开始构建”按钮,用于立即开始运行构建。App Store Connect 中的spring框架项目源码构建布局视图与网页版面类似。
如果生成因错误而失败,则概述窗格中将显示“重新生成”按钮。
Xcode Cloud 工作流程Xcode Cloud 使用
工作流
来设置构建条件,以便在构建开始时运行。
若要在 Xcode 项目中创建新的 Xcode Cloud 工作流,请在左侧项目窗口导航器中选择“云”选项卡,然后从 Xcode 的菜单栏中选择“Product-Xcode Cloud-Create Workflow”。
这将在 Xcode 中打开 Xcode Cloud 项目载入表:
在这里,您可以授予对 GitHub 上的源代码存储库或其他受支持的基于 Git 的服务之一的访问权限。这假设您的 SCM 系统已在上述 Xcode Cloud 设置步骤中连接。
授予对 GitHub 的访问权限。授予访问权限后,您可以在工作表中为 Xcode Cloud 工作流程设置初始条件。其中包括启动条件、环境、操作和发布操作。
您还可以通过电子邮件或 Slack 设置通知。
在“常规”行下,可以为工作流指定名称和描述,从弹出菜单中选择存储库,然后选择项目或工作区。在下一步中设置初始生成条件之前,您需要设置这些条件。
在“常规”选项卡下设置工作流信息。在“启动条件”下,您可以选择用于构建的 git 分支、何时根据 SCM 更改触发构建,以及是在任何文件更改时还是基于自定义条件启动构建。
设置生成的所有启动条件后,单击“保存”按钮。
设置生成开始条件。您还可以设置在生成期间和之后要执行的环境设置和操作。
配置 Xcode Cloud 工作流程后,Xcode Cloud 将开始根据您设置的条件运行基于云的构建。
监测您可以随时通过点按 Xcode 项目导航器窗口中的“云”标签页,或在 App Store Connect 的“Xcode?云”标签页下查看构建状态。
Xcode 项目导航器中的“云”选项卡提供了所有构建的摘要、每个构建的结果以及每个项目参与者可能发生的任何错误。通过“概述摘要”窗格,可以快速浏览所有生成结果。
陡峭的学习曲线,但非常有用一旦您度过了陡峭的学习曲线,Xcode Cloud 就具有很大的潜力。但是,除非您是一个非常快速的阅读者,否则请准备好至少花几天时间查看文档并使用 Xcode Cloud 和 Xcode 的功能来掌握产品。
为了使 Xcode Cloud 无缝且易于使用,Apple 需要首先修复 App Store Connect 问题,然后在 Apple Store Connect 中简化配置。在升级签名和功能功能的方式中进行一些自动配置会很好。
最重要的是,Apple 减少、缩短、精简和整合了开发者文档,以便更快、更轻松地学习和使用 Xcode 云。
从团队和自动化的角度来看,毫无疑问,Xcode Cloud 是有益的。从构建服务器基础架构和管理中解放出来,对任何开发团队来说都是一个胜利。
即使在最高层,每月的 Xcode Cloud 成本也可能远低于同等的构建和服务器工程师团队。
一旦 Apple 解决了上述问题,Xcode Cloud 将成为任何公司或开发团队的巨大资产。
在以后的文章中,我们将深入探讨如何使用 Xcode 工作流程,以及如何在 Xcode Cloud 中运行测试。下载mask rcnn源码
XR VR AR monado oculus quest pico性能分析工具综述
本文综述XR、VR、AR领域的性能分析方法,重点介绍Monado、Oculus Quest、Pico等工具的性能分析技术。Monado性能分析工具包括Metrics源码库,其指标定义与写入功能通过环境变量`XRT_METRICS_FILE`实现运行。
Metrics源码库位于gitlab.freedesktop.org,提供指标数据读取和可视化功能。使用cmd.py脚本读取指标pb文件,可视化指标信息。
渲染分析工具RenderDoc通常通过hook现现函数捕获帧数据,以识别应用程序帧渲染过程。对于OpenXR应用程序,RenderDoc API允许捕获xrBeginFrame和xrEndFrame之间的应用程序帧,无需修改应用程序代码。
Monado提供了PerCetto和Tracy两种性能追踪后端。PerCetto是Monado性能追踪的基础,通过一个轻量级的C语言封装实现与Perfetto SDK的集成,用于应用特定的追踪。
Tracy工具则针对Linux和Windows系统,支持实时数据流查看,仅能同时跟踪一个应用。而Perfetto则支持Linux和安卓系统,同时执行多个进程和系统级跟踪。
Monado还提供了其他性能分析工具,如Compositor的FPS指标、Frame Times、Readback等功能,帮助优化OXR_DEBUG_GUI工作流程。此外,Monado支持使用Android GPU Inspector进行GPU性能分析。
此外,Oculus提供了OVR Metrics Tool,结合RenderDoc和Logcat VrApi日志,实现Oculus应用程序的性能监控。Snapdragon Profiler和ovrgpuprofiler提供GPU性能数据。OVR Metrics Tool提供报告模式和性能HUD模式,支持高级性能指标显示。
Pico Metrics Tool是Pico设备上的性能监控工具,提供实时监控和指标更新功能。不同版本更新了性能监控和实时分析工具的特性与性能指标。
总结,这些工具通过跟踪、指标、日志分析等手段,为XR、VR、AR应用提供性能优化与分析支持。通过Perfetto、Tracy、RenderDoc等工具,开发者能够深入了解系统性能瓶颈,优化应用表现。Pico Metrics Tool等实时监控工具则帮助用户直观了解设备运行状况,提升用户体验。
打造企业级pipeline服务的个疑问
Jenkins作为企业级的主流持续集成工具,尽管其应用广泛,但仍有约%的团队未能充分利用pipeline的优势。为了更好地理解为何企业级构建需要转向pipeline,这里列举了个关键问题进行阐述。
1. Jenkins 2.0的升级重心是什么?许多人认为是pipeline,但其实早在1.0版就有概念。2.0主要革新在于pipeline as code,允许以代码形式管理构建流程。
2. 谁来编写和维护pipeline?由于pipeline涉及编码和影响产品质量,建议由工程效能、模板源码查看界面测试或CI团队统一负责,确保代码质量。业务部门可利用预设模板进行构建,自动执行质量检查和元数据收集。
3. 如何管理pipeline?持续集成部门编写模板,存储在GitLab等源码仓库,通过版本控制,开发人员通过传递参数调用,自定义构建任务。
4. 脚本式pipeline和声明式pipeline选择的关键?声明式易于理解,官方推荐,但若熟悉Groovy,脚本式更为灵活。Jenkins提供了语法查询和代码片段生成工具。
5. pipeline需要的基础和进阶工具链?基础工具包括源码仓库(如GitLab)、制品仓库(如Artifactory)和打包工具(如mvn)。进阶工具包括关联需求的Jira、代码扫描Sonarqube、性能测试JMeter等。
6. 如何设置质量控制标准?构建过程中的关键指标包括静态扫描、单元测试覆盖率、漏洞扫描等,确保高质量版本发布。
7. 实践一次构建、多次部署:遵循DevOps原则,使用制品库管理并提升制品等级,以减少环境变更带来的风险。
8. 如何设置构建参数和并行构建?Jenkins支持各种参数类型,允许并行执行任务以提高效率。
9. 密文管理和定时任务:使用凭证特性处理敏感信息,通过构建触发器设置定时任务或代码仓库触发。
. 接口审批和多分支pipeline:与审批系统集成,确保人工验证,多分支pipeline适用于多分支开发场景。
探索更多内容,关注我们的在线课程,微信搜索公众号:jfrogchina。
GitLab Dogfooding 实践:Web API 模糊测试
在极狐GitLab/GitLab内部,Dogfooding文化被广泛应用,旨在深入理解产品、解决痛点和配置错误,以构建一个功能丰富、高效且用户体验更好的平台。本文将重点探讨在极狐GitLab/GitLab中进行的“API模糊测试”实践。
Web API模糊测试主要通过生成大量随机但符合一定语法规则的输入来对Web API进行测试。这种随机输入可能会触发API的意外执行路径或错误,从而发现API设计或实现中的漏洞或错误。它与其他安全测试方法,如静态应用程序安全测试(SAST)和动态应用程序安全测试(DAST)等,一起构成了极狐GitLab/GitLab Web API测试的有效补充。
为了运行Web API模糊测试分析器,首先需要具备一个条件:自动生成OpenAPI规范。在API模糊测试项目的初始阶段,API Vision工作组正在研究如何在OpenAPI规范中自动生成GitLab REST API endpoint。GitLab使用Grape API框架,已经识别并测试了grape-swagger gem,该gem可以根据既有Grape注释自动生成OpenAPI v2规范。
例如,以下API端点代码会被grape-swagger解析为对应的OpenAPI规范。然而,由于有多个不同的需求和格式的API操作,需要进行大量额外工作来解决不满足grape-swagger需求或OpenAPI格式的边缘情况。一个简单的例子是接受文件参数的API端点,如上传指标端点。极狐GitLab/GitLab使用Workhorse智能反向代理来处理“大型”HTTP请求,如文件上传。在这种情况下,文件参数必须是WorkhorseFile类型。然而,grape-swagger不能识别WorkhorseFile对应的OpenAPI类型,它会将该参数从输出中排除。我们通过在生成过程中添加特定的grape-swagger文档来修复这个问题。
然而,并不是所有边缘情况都可以通过在Grape注释中简单匹配替换来解决。例如,Ruby on Rails主要支持通配符片段参数,像路由books/*section/:title会匹配到books/some/section/last-words-a-memoir。URL将被解析,以便section路径参数的值为some/section且title路径参数的值为last-words-a-memoir。当前,grape-swagger不能将这些通配片段识别为路径参数,这将导致不正确的OpenAPI输出。因此,我们仍然需要为grape-swagger打补丁,以实现为绝大多数端点自动生成OpenAPI规范。
有了OpenAPI规范,接下来可以开始进行API模糊测试。极狐GitLab/GitLab利用Review App功能为某些特性变更生成测试环境,以提供模糊测试的目标。然而,对于大量给定端点,不能期望一个标准共享Runner在单个Job中完成模糊测试。为优化性能,建议采用以下策略:使用多CPU Runner,排除慢操作,将测试分割为多个Job,并调整并行作业的数量和模糊测试配置以实现合理的测试覆盖。
完成模糊测试后,需要处理数百个发现的结果。不同于检测特定漏洞的DAST分析器,Web API模糊测试找寻测试中非期望的行为和错误,它们不一定是漏洞。由API模糊测试分析器发现的错误会被标记为“Unknow”,等待更深入的分级处理。幸运的是,Web API模糊测试会在漏洞页面中将Postman集合以制品形式输出,这些集合允许用户快速重复在模糊测试期间触发故障的请求。建议在模糊测试工作流阶段设置一个应用程序本地实例,以便轻松查看日志和调试特定故障。
总结,API模糊测试Dogfooding项目被证明是一项富有成效的实践,它针对工作流中还有改进空间。迁移到OpenAPI v3可以提高endpoint覆盖率,安全团队也正在开发一个HAR录制器工具来帮助实时生成HAR文件,而不仅仅依赖静态文档等。对于已经实施多层静态和动态检查并希望进一步增加覆盖率的团队,建议尝试将Web API模糊测试作为一种验证假设并发现代码中“unknow unkonw”的方法。
一篇文章了解CI/CD管道全流程
从CI/CD过程开始,包含所有阶段并负责创建自动化和无缝的软件交付的一系列步骤称为CI/CD管道工作流。使用CI/CD管道,软件发布工件可以从代码提交阶段到测试、构建、部署和生产阶段在管道中移动和前进。这个概念非常强大,因为一旦指定了一个管道,它的一部分或全部就可以实现自动化,从而加快流程并减少错误。换句话说,CI/CD管道使企业更容易一天自动多次交付软件。
DevOps工程师经常会因为CI/CD中各个阶段的自动化而与CI/CD管道混淆。虽然不同的工具可以使CI/CD中的各个复杂阶段实现自动化,但由于人工干预,CI/CD的整个软件供应链仍然可能被打破。那么,就首先了解CI/CD过程中的各个阶段,以及CI/CD管道为什么对于组织快速、大规模地交付代码至关重要。
企业应用程序开发团队通常由开发人员、测试人员/QA工程师、运营工程师和SRE(站点可靠性工程师)或IT运营团队组成。他们紧密合作,将高质量的软件交付给客户。CI/CD是两个独立过程的组合:持续集成和持续部署。下面列出了其中的主要步骤。
CI持续集成
CI持续集成(CI)是构建软件并完成初始测试的过程。持续部署(CD)是将代码与基础设施结合起来的过程,确保完成所有测试并遵循策略,然后将代码部署到预期的环境中。当然,许多公司都有自己的流程,但主要步骤如下。
CI:代码提交
人员:开发人员和工程师、数据库管理员(DBA)、基础架构团队
技术:GitHub、Gitlab、BitBucket
过程:代码提交阶段也称为版本控制。提交是将开发人员编写的最新更改发送到存储库的操作。开发人员编写的代码的每个版本都被无限期地存储。在与合作者讨论和审查变更之后,开发人员将编写代码,并在软件需求、功能增强、bug修复或变更请求完成后提交。管理编辑和提交变更的存储库被称为源代码管理(SCM工具)。在开发人员提交代码(代码推送请求)后,代码更改被合并到存储在中央存储库(如GitHub)中的基本代码分支中。
CI:静态代码分析
人员:开发人员和工程师、数据库管理员(DBA)、基础设施团队、测试人员
技术:GitHub、Gitlab、BitBucket
过程:一旦开发人员编写了代码并将其推送到存储库,系统就会自动触发,开始下一个代码分析过程。想象一下这样一个步骤:提交的代码直接进行构建,但在构建或部署过程中失败了。就资源利用率而言,无论是机器还是人力,这都是一个缓慢而昂贵的过程。必须检查代码的静态策略。SAST(Static Application Security Test):SAST是一种白盒测试方法,使用SonarQube、Veracode、Appscan等SAST工具从内部检查代码,以发现软件缺陷、漏洞和弱点(如SQL注入等)。这是一个快速检查过程,检查代码是否有语法错误。虽然此阶段缺少检查运行时错误的功能,但这将在稍后的阶段执行。
将附加的策略检查放到自动化管道中可以显著减少稍后在该过程中发现的错误数。
CI:build
人员:开发人员和工程师
技术:Jenkins、Bamboo CI、Circle CI、Travis CI、Maven、Azure DevOps
过程:持续集成流程的目标是接受常规的代码提交,并持续构建二进制工件。持续集成过程通过检查添加的新模块是否与现有模块配合良好,有助于更快地发现bug。这有助于减少验证新代码更改的时间。构建工具有助于编译和创建可执行文件或包(.exe、.dll,.jar等)取决于用于编写源代码的编程语言。在构建过程中,还会生成SQL脚本,然后与基础设施配置文件一起测试。简而言之,构建阶段是编译应用程序的阶段。构建过程的其他子活动包括工件存储、构建验证和单元测试。
CI:测试阶段
人员:测试人员和QA工程师
技术:Selenium、Appium、Jmeter、SOAP UI、Tarantula
过程:发布一个构建过程一系列自动化测试来验证代码的准确性。这一阶段有助于防止错误到达产品。根据构建的大小,此检查可以持续数秒到数小时。对于由多个团队提交和构建代码的大型组织,这些检查将在并行环境中运行,以节省宝贵的时间并尽早将Bug通知给开发人员。
这些自动化测试是由测试人员(或者称为QA工程师)建立的,他们已经根据用户故事建立了测试用例和场景。他们进行回归分析,压力测试,以检查与预期产出的偏差。测试中涉及的活动有健全性测试、集成测试和压力测试。这是一个非常先进的测试水平。在这里会发现开发代码的开发人员可能不知道的问题。
集成测试:
集成测试是使用Cucumber、Selenium等工具来执行的,其中各个应用程序模块作为一个组进行组合和测试,同时评估是否符合指定的功能需求。在集成测试之后,需要有人批准将该组中的更新集移动到下一阶段,这通常是性能测试。这个验证过程可能很麻烦,但它是整个过程的重要组成部分。核查过程中出现了一些新的解决办法。
负载和压力测试:
负载平衡和压力测试也使用自动化测试工具(如Selenium、JMeter等)来执行,以检查应用程序在高流量环境下是否稳定和性能良好。此测试通常不会在每个更新上运行,因为完整的压力测试是长期运行的。在发布主要的新功能时,将对多个更新进行分组,并完成完整的性能测试。在单个更新被转移到下一个阶段的情况下,管道可能包括金丝雀测试作为替代方案。
持续部署:bake和部署
人员:基础设施工程师、现场可靠性工程师(SRE)、运维工程师
技术:Spinnaker、Argo CD、Tekton CD
过程:测试阶段完成后,清除了标准的代码就可以部署到服务器中,在那里它们将与主应用程序集成。在部署到生产环境之前,它们将被部署到产品团队内部使用的测试/暂存或beta环境中。在将构建移动到这些环境之前,构建必须经过两个子阶段Bake和Deploy。这两个阶段都是Spinnaker固有的。
CD:Bake
Bake是指从源代码中创建一个不可变的映像实例,该实例在生产环境中具有当前配置。这些配置可能是数据库更改和其他基础设施更新之类的内容。Spinnaker可以触发Jenkins来执行这个任务,有些组织更喜欢使用Packer。
CD:部署
Spinnaker将自动将烘焙的映像传递到部署阶段。这是将服务器组设置为部署到集群的位置。与上述测试过程类似,在部署阶段执行功能相同的过程。部署首先转移到测试、阶段,最后转移到生产环境,然后进行批准和检查。整个过程由Spinnaker之类的工具处理。
CD:验证
这也是团队优化整个CI/CD流程的关键所在。因为现在已经进行了很多测试,所以失败应该很少。但此时的任何故障都需要尽快解决,以便将对最终客户的影响降到最低。团队也应该考虑自动化这部分流程。
部署到生产环境是使用部署策略(如蓝绿部署、金丝雀分析、滚动更新等)执行的。在部署阶段,将监视正在运行的应用程序,以验证当前部署是否正确或是否需要回滚。
CD:监控
人员:SRE,运维团队
技术:Zabbix、Nagios、Prometheus、Elastic Search、Splunk、Appdynamics、Tivoli
过程:要使一个软件发行版具有故障安全性和健壮性,在生产环境中跟踪发行版的运行状况是至关重要的。应用程序监控工具将跟踪CPU利用率和发布延迟等性能指标。日志分析器将扫描底层中间件和操作系统产生的日志流,以识别行为并跟踪问题的来源。在生产过程中出现任何问题时,都会通知相关人员,以确保生产环境的安全性和可靠性。此外,监视阶段帮助企业收集有关新软件更改如何为收入做出贡献的信息,并帮助基础架构团队跟踪系统行为趋势和进行容量规划。
持续部署:反馈和协作工具
人员:SRE、Ops和维护团队
技术:禅道、ServiceNow、Slack、Email、Hipchat
DevOps团队的目标是更迅速、持续地发布,然后不断减少错误和性能问题。这是通过slack或电子邮件频繁地向开发人员和项目经理反馈新版本的质量和性能,并在ITSM工具中及时提高票价来实现的。通常,反馈系统是整个软件交付过程的一部分;因此交付过程中的任何更改都会频繁地记录到系统中,以便交付团队可以对其采取行动。
企业必须评估一个整体的持续交付解决方案,它可以自动化或促进上述阶段的自动化。
问题发现早,处理代价小|测试左移——静态代码扫描SonarQube
作者 | 华婧彤
ADVANCE.AI QA工程师
一、背景
什么是测试左移?
测试左移是要尽早的发现和预防问题,使用必要的测试手段在软件开发周期的早些阶段发现问题。
测试左移的方式有静态代码扫描、CodeReview、代码提交行为分析等。
我们知道问题发现的越早,解决的成本就越小。统计证明,在整个软件开发生命周期中,%至%的代码逻辑设计和编码缺陷是可以通过静态代码分析来提早发现的。今天我们来了解一下测试左移里面的其中一种方式——静态代码扫描。
二、静态扫描介绍
什么是静态扫描?
不运行代码的方式下,通过词法分析、语法分析、控制流、数据分析等技术对程序代码进行扫描,验证代码是否满足规范性、安全性、可靠性、可维护性等指标的一种代码分析技术。
静态代码扫描的优势:
1.可以提前发现问题,提高软件可靠性并节省软件开发和测试成本。
2.提高研发效率,帮助开发人员更专注于分析和解决代码设计缺陷,快速定位代码隐藏错误和缺陷。
3.CodeReview需要额外的人工介入,其质量参差不齐也无法得到保障,而且高质量的CodeReview也会花费较多时间,成本较高。静态代码扫描以一种低成本的方式,自动发现代码中存在的资损风险,从而保障代码质量。
三、SonarQube入门介绍
什么是SonarQube?
SonarQube是一款静态代码扫描工具,用于检测代码中的错误,漏洞和代码异味。
支持Java、Python、PHP、JavaScript、CSS等种以上的语言。
多维度分析代码:代码量、安全隐患、编写规范隐患、重复度、复杂度、测试覆盖率、代码增量等。
支持和CI/CD环境进行集成(如Gitlab,Github,Jenkins等)能够持续进行代码质量检测。
支持集成pmd、findbugs、checkstyle等插件来扩展使用其他规则来检验代码质量。
四、功能介绍
4.1扫描的规则:
a.内置规则
Sonar内嵌了Sonar way的扫描规则,不同语言(比如Java/Python/C#等)具有不同规则。
b.集成插件规则
Sonar集成了pmd/findbugs/checkstyle插件,对规则集进行补充。
4.2配置规则集合:
我们可以通过自定义扫描规则集以及异常的等级来定制检测问题,可以大大减少误报,更高效的查看结果报告并进行处理。
4.3质量阈:
质量阈是对项目指标进行度量的条件,项目必须达到所有条件才能算整体上通过可以自定义进行设置质量阈(重复率,可靠性,可维护性,安全率、覆盖率等)
4.4多维度分析代码:
①代码规范
②潜在的bug
③重复
④注释不足或者过多
⑤复杂度分布
⑥缺乏单元测试
⑦糟糕的设计
4.5问题处理&跟踪:
点击对应问题可进入问题详情页面,会看到问题源码,sonarQube会根据代码提交信息这自动将任务分配给相关人员,若该用户设置了检查结果提示,在执行代码检查完成后,会自动收到邮件通知,当然你也可以将这个问题指派给其他人处理。