在软件测试领域,故障模型故能够将测试人员的经验和直觉尽量归纳和固化,使得可以重复使用。测试人员通过理解软件在做什么,来猜测可能出错的地方,并应用故障模型有目的地使它暴露缺陷。
中培伟业《软件自动化测试与持续集成》培训专家刘老师指出,故障模型是软件测试的基础,也是一个判断测试方法是否成熟的重要标志。在测试的过程中,要确保每一个目标状态都被测试,那么测试必须是系统的;为了最终定位软件缺陷,所以测试必须是集中的;测试需要使用大量的测试用例和重复性测试,因此测试必须是自动的。那么故障模型有哪几种呢?刘老师在这里详细介绍了以下5种常见的故障模型。
输入型故障模型
主要是对用户的各种输入进行建模,因为用户的输入是无法预期的,可能的组合状态也是千变万化。软件功能除了能让正确的输入得到正确的输出之外,还必须对非法和不合逻辑的输入进行处理,防止因数据异常造成不可挽回的错误。典型的建模方法有:
1)使用非法数据:从输入数据的类型、长度、边界值等方面考虑,测试软件是否允许不正确的输入进入系统并进行处理,是否有错误处理代码,代码是否正确。
2)使用默认值输入:检测软件中所使用的变量是否初始化,是否将非法数据默认为合法边界内的某个合理值。
3)使用特殊字:检测软件是否正确处理了特殊字符和数据类型。
4)使用使缓冲区溢出的合法输入:输入超过允许的最大长度的数据,检测软件是否检查字符串/缓冲区的边界。
5)使用可能产生错误的合法输入组合:测试多个输入值的组合,确认这些值的组合是否会互相影响而引起软件失效。
6)重复输入相同的合法输入序列:检测软件是否考虑了循环处理的边界。
输出型故障模型
软件的输出通常是最直观也是用户最关注的,输出型故障模型就是从软件输出角度出发,分析造成故障的可能原因。例如通过一个正确的输入在不同情况下产生不同输出的情况可以对输入和输出的关系进行进一步验证;可采用列举等方法,强制软件产生不符合业务背景知识的无效的输出,从而进行处理,规避不必要的错误;强制修改输出的属性、查看输出结果,测试初始化代码和修改代码是否同步;检查用户界面刷新情况,在不同的操作下测试界面刷新时间是否正确、界面刷新区域计算是否正确。
在大多数的软件中,功能输出的正确与否直接决定了软件实现的好坏,输出型故障模型所覆盖的故障也占有相当大的比例。因此,我们在测试过程中应建立这种故障模型,从故障结果进行分析,判断造成故障的影响因素。
计算型故障模型
对于部分软件程序,常需要进行大量的计算,因此该模型应该尽可能包括关于计算方面的各种错误。包括变量的定义与使用方面的错误;数据的冗余;数组变量的越界错误;数据类型不匹配的错误;还有数据操作方面错误,包括函数调用参数传递错误、赋值语句错误等。
在建立计算型故障模型的时候,要定义数据并且对这些数据执行各种故障操作,尽可能使模型比较完善。体现在功能层面上,可以使用非法的操作数和操作符组合来验证计算要求的合法性、强制使计算结果溢出考虑数据结构存储的正确性、同时对数据进行操作检测数据共享性等方法来建立故障模型。
流程型故障模型
这是一种程序控制流的故障模型,是对在程序中同样占很大比例的循环结构和分支结构建立的模型。循环故障主要包括永不循环故障和死循环故障,这主要是由循环条件错误引起的。循环条件的错误中包括变量错误和运算符错误,在未执行循环之前,循环变量的初值设置出错以致永不循环;进入循环以后,循环变量的值不作修改以致发生死循环。
而分支故障则包括判定条件故障和谓词结构故障,由于判定条件的出错或者变量初值设置错误而导致不执行分支结构;对于进入了分支结构的执行,可能因为谓词的错误而提前退出分支结构。
由此可知,流程型故障模型很可能是由一串连续的故障所组成的。因此在软件功能测试中,我们可以通过判断软件流程是否正确执行、功能分支是否覆盖全面、循环操作是否正常结束等方法来检测软件流程的正确性。
资源型故障模型
资源型故障模型是在文件系统超载、系统介质忙或不可用、介质损坏等情况下,运行被测程序进行测试。此类故障模型的建立通常需要辅助测试工具进行环境的模拟。当磁盘负荷到达一定程度或可用物理资源十分有限时,系统进程十分容易进入“死锁”状态或出现不可恢复的错误。产生死锁的根本原因在于系统提供的资源个数少于并发进程所要求的该类资源数。显然,由于资源有限,不可能为所有要求资源的进程无限制地提供资源。
但是,可以采用适当的方法,以达到消除或规避“死锁”的目的。因此判断软件在何种操作下会导致“死锁”以及软件对介质损坏的纠错能力也就变得极其重要。所以我们应该建立这种故障模型,并给出相应的测试用例。