1.每天读点官方文档之pytest (1)
2.一文搞懂PythonUnittest测试方法执行顺序
3.全网最全面的源码pytest测试框架进阶-conftest文件重写采集和运行测试用例的hook函数
4.常见的白盒测试方法
5.Python热门单元测试框架对比:pytest和unittest还傻傻分不清楚?
6.pytest系列——allure之生成测试报告(mac系统)
每天读点官方文档之pytest (1)
注:内容不全和官方文档相同,只是源码按照官方文档顺序随心记录,与诸位做参考而已。源码
开始安装pytest使用命令
pip install -U pytest
即可安装pytest。源码使用
pytest --version
可以确认pytest安装是源码否成功以及安装的版本。整体测试环境如下:
创建第一个测试注意上下两次执行结果的源码筹码密集公式源码不同,pytest默认不打印print的源码内容,如果需要打印,源码需要添加-s参数。源码下面是源码正常执行的过程内容:修改测试用例新增test_fun2 test_fun3和test_fun4函数,部分内容为下面的源码内容:执行结果为:接下来来一起分析一下报错。断言一个确定的源码异常如果一个异常是我们已经确定的了,可以指定异常,源码从而能跳过异常判断。源码整体的源码输出如下,请结合代码中的解释自行分析输出结果。使用class编组测试如果有一组测试用例可以进行分组,那么可以将测试用例放进class中,比如下面这样接下来我所有的用例执行都会使用pycharm进行手动执行,事例的格式有些不同,但是整体思路是相同的。安装pytest后,pycharm会在每个可以执行的用例左边有一个绿色三角的运行标志。使用那个标志运行即可,pycharm运行时添加了一些参数,我这里先说一下,之后我就只截取显示部分,其余部分诸君请自行尝试。这里我点的是TestClass左边的绿色执行按钮。现在我们将测试用例进行修改,再执行一下试试。输出如下,请诸君自行分析输出的信息。需要注意的一点是,虽然将几个方法进行分组了,但是几个方法之间并不能共享修改的变量,这里使用官方的一个例子说明。输出结果为:可以看到虽然test_sample.py::TestClass::test_func1先执行了,但是test_sample.py::TestClass::test_func2依旧失败了,self.value的值依旧是0 这是为什么呢?给上面的代码增加一些东西继续执行TestClass然后查看record_list.txt内容如下:根据内存地址的不同,可以看到两个case执行了两个不同的类,也就是说是两个单独的事例,也就是func1修改的只是func1实例的self.value没有影响到func2的实例,所以导致func2的mule源码学习self.value还是默认的0,于是失败了。至于如果在类间传递变量也是有方法的,还是需要使用pytest提供的方法。对于上面失败的原因,本人盲猜是因为pytest内部使用了多线程,每个测试用例一个线程去跑,当然具体原因还是有时间的时候看看源代码再了解吧。注意:RecordClass中的record_list能够不断写入的原因是因为record_list是一个可变类型,如果TestClass的value属性也是可变类型也会不断存入数据。具体原因请各位自行查阅,这里不在赘述。pytest内置的参数pytest包含很多内置参数,提供给需求的开发者调用,这里使用官网的例子举例,具体的查看地址为 Builtin fixtures/function arguments。其中tmpdir就是pytest提供的一个内置参数。整体函数执行的结果如下:可以看到已经把临时目录打印出来了。如果想通过命令行确认含有哪些内置属性或者手动定制属性都可以通过pytest --fixtures进行查询。
一文搞懂PythonUnittest测试方法执行顺序
Unittest
unittest大家应该都不陌生。它作为一款博主在5-6年前最常用的单元测试框架,现在正被pytest,nose慢慢蚕食。
渐渐地,看到大家更多的讨论的内容从unittest+HTMLTestRunner变为pytest+allure2等后起之秀。
不禁感慨,终究是自己落伍了,跟不上时代的大潮了。
回到主题感慨完了,回到正文。虽然unittest正在慢慢被放弃,但是它仍然是一款很全面的测试框架。
今天在群里看到番茄卷王的一番言论,激起了我的一番回忆。
自己以前是知道unittest的执行顺序并不是按照编写test方法的顺序执行,而是按照字典序执行的。但遗憾的是我都是投机取巧去解决的问题(后面会讲)。
下面我们就来探讨下unittest类的test方法的执行顺序问题。
源码初窥研究一下源码(unittest.TestLoader)可以发现,在加载一个class下面的test方法的时候,原生Loader进行了排序,并且根据functools.cmp_to_key方法对测试方法列表进行了排序。
我们知道,unittest是编译TinyML源码不需要我们指定对应的方法,说白了,它是从类里面自动获取到咱们的方法,并约定了以test开头的方法都会被视为测试方法。
查询一下self.sortTestMethodsUsing(这个是一个排序的方式)。
可以看到这个比较方法写的很明确了,如果x<y那么返回-1,x=y则返回0,x>y返回1。
其实大家可能不知道Python里面的字符串也是可以比较的,在此必须说明一下字典序。我们来看看这个例子:
a="abc"b="abcd"c="abce"print(a>b)print(b>c)猜猜看执行结果,很显然,字典序的比较,是按A-Z的顺序来比较的,如果前缀一样但长度不一样,那么长度长的那个,字典序靠后。
了解了字典序以后,我们就不难知道,在unittest里面它寻找case的过程可以这样简化:
找到对应类下面以test开头的测试方法
对他们进行字典序排序
依次执行
这样就不难解释为什么我们有时候写的case不按照自己想的顺序来。
回到问题的本质搞清楚为什么用例会乱,那就想到对应的解决方案。由于修改源码是不太合适的,那我们有2个策略去达成目的。
比如我有多个test方法:
classTestcase(unittest.TestCase):defsetUp(self)->None:passdeftest_1(self):print("执行第一个")deftest_2(self):print("第二个")deftest_3(self):print("第三个")deftest_(self):print("第四个")deftest_(self):print("第五个")deftearDown(self)->None:passif__name__=="__main__":unittest.main()执行起来,按照字典序,其实是的顺序。
1.以字典序的方式编写test方法我们可以手动修改test方法的名称,这也是我早前的处理方式。也就是说把想要先执行的case字典序排到前面:
classTestcase(unittest.TestCase):defsetUp(self)->None:passdeftest_0_1(self):print("执行第一个")deftest_0_2(self):print("第二个")deftest_0_3(self):print("第三个")deftest_1_0(self):print("第四个")deftest_1_1(self):print("第五个")deftearDown(self)->None:pass我们可以把数字按位数拆开,个位数就把位补0,这样就能达到效果,如果会写个case,我们就需要补2个0,比如0_0_1,当然一个文件里面也不会有太多case。
如果遇到test_login这种怎么办呢,不是数字结尾的方法。
其实是一样的,可以写成test_数字_业务的模式。番货写了一个装饰器专门解决这样的问题,大家可以去参考下。
2.回归本质,海鸥源码搭建从根本解决问题方案1用了番货的装饰器,好是好,但是改变了方法本身的名称,我们其实可以针对他的排序方式入手,按照我们编写case的顺序排序测试方法,就能达到想要的目的。
说说思路:
手写一个loader继承自TestLoader类,改写里面的排序方法
在unittest运行的时候传入这个新的loader
来看看完整代码,注释里面写的很完善了。
importunittestclassMyTestLoader(unittest.TestLoader):defgetTestCaseNames(self,testcase_class):#调用父类的获取“测试方法”函数test_names=super().getTestCaseNames(testcase_class)#拿到测试方法listtestcase_methods=list(testcase_class.__dict__.keys())#根据list的索引对testcase_methods进行排序test_names.sort(key=testcase_methods.index)#返回测试方法名称returntest_namesclassTestcase(unittest.TestCase):defsetUp(self)->None:passdeftest_1(self):print("执行第一个")deftest_2(self):print("第二个")deftest_3(self):print("第三个")deftest_(self):print("第四个")deftest_(self):print("第五个")deftearDown(self)->None:passif__name__=="__main__":unittest.main(testLoader=MyTestLoader())执行了一下还是不对,是不是哪里出了什么问题呢?
是因为pycharm有一种默认的unittest的调试方法,我们要改成普通的方法去执行。
试试用控制台执行:
作者:米洛
全网最全面的pytest测试框架进阶-conftest文件重写采集和运行测试用例的hook函数
深入理解pytest测试框架的运行机制,对于二次开发至关重要。从conftest文件开始,我们逐步解析测试用例采集和执行的hook函数。
首先,pytest的运行流程涉及多个hook函数,如pytest_collection用于初始化会话,收集测试用例。pytest_pycollect_makemodule则寻找目录中的测试类文件。pytest_make_collect_report确认每个测试节点的采集结果,如是否成功。
pytest_pyfunc_call负责执行测试方法,而pytest_runtest_makereport生成测试报告,根据测试结果调用pytest_report_teststatus。当测试失败时,pytest_exception_interact提供交互式处理异常的机会。
在测试用例运行过程中,pytest_runtest_protocol会依次调用pytest_runtest_setup、pytest_runtest_call和pytest_runtest_teardown,执行测试前的设置、测试执行和清理步骤。例如,pytest_runtest_call会检查断言,如testchengfa中,对'0'与'a'的比较失败,导致失败标记。
最终,pytest_terminal_summary汇总测试结果,包括测试用例的通过和失败情况。整个测试流程结束后,你会看到详细的泛镜像源码测试报告,包括失败的用例和原因。
在学习过程中,有G的学习资料供你参考,包含项目实战,如大型电商平台的自动化测试、视频教程、项目源码和面经。通过这些资源,你可以更好地提升软件测试技能,甚至实现职业晋升。
记住,持续学习和实践是提升的关键,祝你在测试领域取得成功!
常见的白盒测试方法
白盒测试是一种软件测试方法,其中测试人员需要了解和理解所测试的代码和逻辑,以便对代码和逻辑进行全面的测试。以下是一些常见的白盒测试方法: 1. 静态测试:这种方法不依赖于实际运行代码,而是通过分析源代码、设计文档和程序结构来查找可能存在的问题。这通常涉及到代码审查和静态分析工具的使用。 2. 单元测试:单元测试是针对软件中的最小可测试单元(如单个函数或类)进行的测试。通常使用单元测试框架(如JUnit,pytest等)进行。 3. 集成测试:集成测试是检查软件的不同部分(模块、组件等)是否可以正确地一起工作。测试人员需要模拟各种可能的输入和场景,以确保不同部分的接口能够正常工作。 4. 路径覆盖测试:这种方法试图检查程序中所有可能的路径。它使用控制流图来分析程序,并确定需要测试的所有路径。 5. 数据流测试:数据流测试关注的是数据如何在程序中流动,以及数据是否按照预期的方式进行处理。这包括对输入数据的验证,以及对输出数据的确认。 6. 边界值测试:边界值测试关注的是程序输入或输出的边界情况。这种方法通过检查边界条件及其相邻的值,来确定程序是否能够正确处理这些情况。 7. 错误恢复测试:这种方法关注的是当程序出现错误或异常情况时,程序是否能正确地处理这些情况并恢复到正常状态。 这些方法可以帮助我们发现代码中的错误和漏洞,并确保软件的质量和稳定性。在进行白盒测试时,重要的是要理解代码的逻辑和结构,以便能够全面地测试它。同时,使用自动化工具可以提高测试的效率和准确性。Python热门单元测试框架对比:pytest和unittest还傻傻分不清楚?
前言
在进行自动化测试时,编写测试用例会使用到单元测试模块,其中Python中常见的单元测试模块包括unittest、pytest、nose等。其中,unittest和pytest是被提及最多的两个框架,本文将通过简单介绍,对比这两者在断言、用例执行规则、前后置操作、测试报告、参数化功能、失败重跑、跳过用例等方面的主要区别。
unittest
unittest框架是Python内置的单元测试框架,广泛应用于各种项目中。它基于JUnit框架设计,支持多种自动化测试用例编写、前置条件和后置数据清理功能。unittest能将多个测试用例组织到测试集中,生成测试报告。
pytest
pytest是基于Python的单元测试框架,是对unittest的扩展,更加简洁、方便,支持第三方插件,可以高效完成测试工作。pytest也支持unittest的代码框架内容。
区别
从以下几个方面对比unittest和pytest的主要区别:
断言
unittest采用自身携带的断言函数,如assertEqual、assertTrue、assertFalse等。而pytest使用Python内置的assert语句进行断言。
用例执行规则
unittest要求测试类继承unittest.TestCase,测试用例以test开头,执行顺序按ASCII排序,不能指定特定用例顺序。unittest提供多种方法(如TestCase、TestSuite、TestLoder、TextTestRunner)来方便测试用例编写和执行。
pytest则要求测试文件名以test_开头,类名以Test开头,测试用例同样以test_开头。执行顺序默认从上到下,可以通过第三方插件定制。执行用例无需导入模块,通过命令行即可执行。
前后置操作
unittest支持setup()和tearDown()方法控制用例前后置操作,setupclass()和teardownclass()方法控制类级别操作。pytest支持模块级别(setup_module,teardown_module)、函数级别(setup_function,teardown_function)等操作,通过fixture和装饰器灵活使用。
测试报告
unittest没有自带测试报告,需依赖第三方插件(如HTMLTestRunner、BeautifulReport)生成报告。pytest同样没有自带报告,可使用第三方插件(如pytest-html、allure-pytest)生成详细报告。
参数化功能
unittest不支持参数化,需借助第三方库(如DDt)实现。pytest支持参数化,可通过@pytest.mark.parametrize或@pytest.fixture(params)实现。
失败重跑
unittest不支持用例失败后的自动重跑机制,而pytest通过第三方插件(如pytest-rerunfailures)实现用例重跑。
跳过用例
两者都有跳过用例的功能,unittest通过skip或skipif实现,pytest通过skip或skipif实现,允许在条件满足时跳过用例。
实战演示
通过请求天气和查询身份证接口的测试用例,分别使用unittest和pytest框架进行参数化测试、跳过用例的实现,并通过生成测试报告进行对比。
总结
综上所述,unittest提供基础的单元测试功能,而pytest在unittest的基础上进行了增强和扩展,支持更多的第三方插件,使得测试编写更为灵活和高效。对于初学者,建议先学习unittest,了解其源码后,再逐步接触pytest。
pytest系列——allure之生成测试报告(mac系统)
在探索测试报告生成工具时,我们通常会遇到美观与功能的权衡。Pytest-html插件虽能生成报告,但外观设计可能不够吸引人,显得较为朴素。为提升报告的视觉效果,Allure应运而生,其生成的报告不仅美观,还能为测试过程增添专业感。Allure的官方网站提供了详细指南,以确保顺利安装并利用其强大功能。
要安装Allure命令行工具,我们需遵循官方文档中的步骤。首先,访问官方指定的HTTPS链接下载最新的zip文件包。接着,解压文件并将其移动至一个目录中。重要的是,确保将Allure添加至环境变量中,以在命令行上运行相关命令。在macOS或Linux系统中,需使用相应的脚本或添加环境变量至.bash_profile文件。最后,通过输入`allure --version`确认安装是否成功。
为了将Allure集成至测试流程中,我们还需要安装Allure-pytest插件。通过命令行执行特定命令即可完成安装,此过程将确保所有必要的组件就绪,以生成Allure所需的测试报告数据。
实践是检验真理的唯一标准,让我们通过实际案例来体会Allure的魅力。在指定目录下运行测试用例,并执行特定命令以生成测试报告。报告数据将首先在当前目录下生成一个result文件夹,随后,通过启动Allure服务并自动分配端口,即可在默认浏览器中查看生成的HTML报告。
一旦报告在浏览器中呈现,我们便可以深入探索测试结果,对测试过程进行全面分析。至此,通过结合Pytest和Allure,我们能够生成更加美观、功能丰富的测试报告,为团队成员提供更好的分析和沟通平台。
为了帮助学习者快速上手,我提供了一系列资源,包括学习大纲、学习资料、项目实战源码以及项目练习所需的工具和插件。这些资源旨在构建一个自学习系统,使你能够从理论到实践,逐步掌握测试领域的核心技能。只需在准备好的PHP网页中注册并领取资源,或加入交流群组进行深入讨论。在学习旅程中,记得保持积极的心态,不断追求卓越。
最后,愿你在这条追求技术的路上,找到属于自己的光芒。每一次“点赞”、“评论”与“收藏”都是对我工作的肯定与鼓励,期待你的参与和反馈。让我们携手共进,用实际行动去追求梦想与目标。
pytest系列——fixture之yield关键字实现teardown用例后置操作
pytest之fixture函数使用(pytest测试框架测试固件 文中讲到,fixture函数是通过scope参数来控制setup级别;)
既然有setup函数作为用例之前的操作,测试用例执行完成之后那肯定也有teardown操作。
但是fixture的teardown操作并不是独立的函数,用yield关键字唤醒teardown操作。依然存在于fixture方法中
yield实现teardown后置操作实例1
运行结果:注意:return和yield两个关键字都可以返回值;yield关键字返回值后,后面的代码还会继续运行;由于实例1中fixture函数login需要返回token,而且还需要继续执行teardown后置操作:所以选择yield关键字所以后面代码还会继续运行
return关键字返回值后,后面的代码不会继续运行;
实例2
运行结果:
实例3
运行结果:
yield遇到异常1、如果其中一个用例在执行时出现异常,不影响yield后面的teardown执行,运行结果互不影响,并且全部用例执行完之后,yield唤起teardown操作。
运行结果:
2、但是fixture函数如果在setup执行期间发生异常,那么pytest是不会去执行yield后面的teardown内容。
yield关键字+with上下文管理器的结合使用
yield 关键字 也可以配合 with 上下文管理器 语句使用。使得代码更加精简
示例:
request.addfinalizer()将定义的函数注册为终结函数
除了yield可以实现teardown,我们也可以通过request.addfinalizer() 的方式去注册终结函数来实现 teardown 用例的后置操作。
示例:增加一个函数 fin,并且注册成终结函数。
代码如下:
运行结果:
yield 与 addfinalizer 用法的区别:① addfinalizer 可以注册多个终结函数。当注册多个终结函数时,用例的后置操作同时会执行完所有的终结函数。注意终结函数(用例后置操作函数)的执行顺序与其在fixture函数中注册的顺序相反(即先注册的终结函数后执行,后注册的终结函数先执行)
示例:
运行结果:
②当执行测试用例时setup前置操作函数的代码执行错误或者发生异常时,addfinalizer 注册的终结函数依旧会执行。
③ yield 关键字可以返回setup前置操作函数中生成的测试数据,且 yield 关键字返回测试数据之后后续的代码依然可以运行。且后续执行的代码充当teardown后置操作函数。
④ addfinalizer 函数可以将一个或者多个函数注册为终结函数(一个或多个函数必须在fixture函数中定义),此时的终结函数为teardown后置操作函数;且最后可以使用 return 关键字返回setup前置操作函数生成的测试数据。
学习思路和方法
这个大纲涵盖了目前市面上企业百分之的技术,这个大纲很详细的写了你该学习什么内容,企业会用到什么内容。总共十个专题足够你学习。
想学习却无从下手,该如何学习?这里我准备了对应上面的每个知识点的学习资料、可以自学神器,已经项目练手。
软件测试/自动化测试全家桶装学习中的工具、安装包、插件...
有了安装包和学习资料,没有项目实战怎么办,我这里都已经准备好了往下看
如何领取这些配套资料和学习思路图,以及项目实战源码。这些资料都已经让我准备在一个php网页里面了,可以在里面领取扫码或者进Q群交流都可以暗号和备注是哦
最后送上一句话: 世界的模样取决于你凝视它的目光,自己的价值取决于你的追求和心态,一切美好的愿望,不在等待中拥有,而是在奋斗中争取。 如果我的博客对你有帮助、如果你喜欢我的文章内容,请 “点赞” “评论” “收藏” 一键三连哦!