如何开展灰盒测试[1]:灰盒测试优缺点分析

2010-11-30编程 编程.软件工程

  俺在忽悠某个技术领域的玩意儿之前,通常先要分析一下优缺点——这样才能调动大伙儿的积极性嘛。所以,本系列第1帖,咱们先分析一下灰盒测试的优缺点。


★几个基本概念


  首先,把一些基本概念,简单通俗地说一下。如果觉得俺解释得不够好,不够细,可以自己去查维基百科(洋文的介绍在“这里”;看不懂洋文的,可以看“中文的条目”(可惜中文的不够全,偏偏缺了“灰盒测试”这一节)。

◇黑盒测试


  通俗来说:黑盒测试不关注软件内部的实现细节。他仅仅把被测试的软件当成一个整体来处理,只关注软件的外在表现,不关注内部细节。典型的黑盒测试,就是光拿着鼠标操作一下用户界面,看看功能是否满足要求。

◇白盒测试


  白盒测试与黑盒测试相反,重点关注软件内部的实现细节(比如代码覆盖率等)。

◇灰盒测试


  如果你是从事开发或者测试的行当,应该已经听过黑盒测试与白盒测试这2个概念。但对灰盒测试,或许比较耳生。单纯从名称上来看,灰盒测试是介于黑盒测试与白盒测试之间的一种测试方式。
  这种测试方式,主要用于多模块构成的稍微复杂的软件系统。在灰盒测试中,重点关注软件系统内部模块的边界(接口)。这里所说的“接口”是广义的,包含有各种形式。对于进程内的模块,其接口可能是动态库的导出函数;对于进程级的模块,其接口可能是各种IPC(进程间通讯)机制;对于涉及数据库的软件系统,其接口可能是数据库的表结构......

◇“灰盒测试”与“黑盒测试”的区别


  两者的如下:
  如果某软件包含多个模块,当你使用黑盒测试时,你只要关心整个软件系统的边界,无需关心软件系统内部各个模块之间如何协作。
  而如果使用灰盒测试,你就需要关心模块与模块之间的交互。这是灰盒测试与黑盒测试的区别。

◇“灰盒测试”与“白盒测试”的区别


  两者的区别如下:
  但是,在灰盒测试中,你还是【无需】关心模块内部的实现细节。对于软件系统的【内部模块】,灰盒测试依然把它当成一个黑盒来看待。
  而白盒测试则不同,还需要再深入地了解【内部】模块的实现细节。所以,这是灰盒测试与黑盒测试的区别。

◇“灰盒测试”与“单元测试”的区别


  两者的区别如下:
  刚才看到有网友在评论中问到此问题,俺补充一下。
  首先,在进行单元测试前,需要先写一些测试代码(行话叫“桩代码”,洋文叫“stub”)。一般来说,测试代码与被测试代码采用【同种语言】(比如 Java 的单元测试通常也用 Java 来写),且测试代码和被测试代码之间的耦合很紧密。因此,单元测试通常由开发人员来完成的——测试人员的能力未必能胜任。
  其次,单元测试的颗粒度会更细(会细到模块内部的类一级、函数一级),而灰盒测试仅仅到【模块一级】。


★相对于黑盒测试的优点


  灰盒测试相对黑盒测试的优点,其实有不少,俺挑几个重要的来说说。

◇测试可以及早介入


  由于黑盒测试把整个软件系统当成一个整体来测试。如果系统的某个关键模块还没有完工,那测试人员就无法对整个系统进行测试,只好闲着没事干。而灰盒测试是针对模块的边界进行,模块开发完一个就测试一个。

◇有助于测试人员理解系统结构


  为了进行灰盒测试,测试人员首先要熟悉内部模块之间的协作机制。在熟悉的过程中,“顺便”也就对整个系统(及其结构)有一个初步的、宏观的认识。这有助于测试人员发现一些系统结构方面的 Bug。
  而对于黑盒测试来说,由于测试人员不清楚软件系统的内部结构,难以发现一些结构性的缺陷。

◇有助于管理层了解真实的开发进度


一些复杂的大系统,经常会发生开发进度失控的情况。因为很多开发人员有报喜不报忧的倾向。当某个开发人员号称自己的工作已经完成了90%,往往意味着他/她还要花同样多的时间来完成剩下的10%。这导致负责项目管理的人,无法了解开发的真实进度。
由于灰盒测试针对对每一个模块进行,而且测试人员会从一个客观的角度来反馈模块的完成情况,这非常有利于管理层了解整个系统的真实完成情况。

◇可以构造更好的测试用例


  如果仅仅用黑盒的方式测试系统的外部边界(通常是用户界面),有很多软件缺陷是不容易发现的。俺分别拿“B/S系统”和“C/S系统”来举例。
  假设开发一个复杂的 Windows 桌面软件。那么,这个软件通常【不会】只有一个 EXE 文件。它可能会有若干个 EXE 文件以及若干个 DLL 文件。假如某个 DLL 提供的导出函数,没有按照约定对输入参数进行有效性判断(比如指针是否为空),那你用黑盒测试的方式,难以暴露出这种缺陷。而灰盒测试就容易发现此类问题(具体如何发现,请看后续的“接口测试实战——测试进程内的模块接口”)。
  假如你开发的是一个 Web 应用系统,那么,这种系统的服务端多半会提供若干个 Web 接口用于被客户端调用。假如某个 Web 接口存在"安全性问题/并发性问题/健壮性问题/XX 问题",你单纯用黑盒测试的手段,同样难以发现;而灰盒测试就可以搞定(灰盒测试是如何搞定的,请看后续的《接口测试实战——测试跨主机的模块接口》)。

◇利于提升测试人员能力


  很多公司搞的黑盒测试,就是让测试人员用鼠标(键盘都难得用)操作用户界面。在这种的环境里,测试人员干的活,很多都是重复性的体力劳动,技术能力难以得到提高。
  而如果搞灰盒测试,测试人员就需要多懂一点技术背景知识,必要时还得写点测试脚本,对测试人员的能力提升很有好处。


★相对于白盒测试的好处


  灰盒测试相对白盒测试的好处,比较容易概括。简单来说,就是白盒测试较费钱(研发成本较高)。这多出来的研发成本,体现在如下几个方面。

◇首先,招聘成本较高


  在人才市场上,100个应聘的测试人员中,未必能够找到一个合适的白盒测试人员。至少从俺及周围同事的面试经历来看,难得碰到具备白盒测试能力的人。所以,你可能要花很长时间才能找到合适的人,时间成本浪费掉了。

◇其次,培训成本较高


  可能有同学会说,招不到就内部培养呗。这个说起来容易,但是培训也是有成本的。而且周期还不短,同样要耗费时间成本。

◇再其次,人力成本较高


  物以稀为贵是一条普遍的经济学规律。由于能搞白盒测试的家伙是稀有动物,你自然不能给他/她开太低的薪水。否则人家待不了多久就跑路了。薪水开得高了,人力成本自然也就提高了。


★其它的一些好处


  前面拿灰盒测试分别跟黑盒/白盒进行了对比,列举了一些优点。
  还有另外一些优点,和黑盒/白盒没啥关系,单独列在这里。

◇顺便强化开发文档


  对于一个复杂的软件系统,模块之间的接口是很重要的,因此捏,接口文档也是很重要滴。而开发人员不爱写文档/不爱更新文档,(在软件业内)已经是臭名昭著了。很多软件开发到后期,模块之间的接口文档要么没有,要么和代码实现严重脱节。
  但是,如果引入测试人员对模块之间的接口进行测试,就可以有效防止此种弊端。因为测试人员在测试前,首先要看模块间的接口文档,然后再根据接口文档设计测试用例,最后再执行用例。因此,一旦接口文档和代码实现不符,立马就露馅了。

◇有助于推进“自动化测试”


  灰盒测试如果落实到位,还可以跟自动化测试相结合。一旦做到这点,可以大大提升测试的效率,进而大大提升软件的质量。(如何进行自动化的灰盒测试,后面的帖子会细谈)


★灰盒测试有啥缺点?


  当然,凡事都有优点和缺点,灰盒测试自然也不例外。下面列举它的主要缺点。

◇不适用于简单的系统


  所谓的简单系统,就是简单到总共只有一个模块。由于灰盒测试关注于系统内部模块之间的交互。如果某个系统简单到只有一个模块,那就没必要进行灰盒测试了。

◇对测试人员的要求比黑盒测试高


  从上面的介绍来看,灰盒测试要求测试人员清楚系统内部由哪些模块构成,模块之间如何协作。因此,对测试的要求就提高了。因此,会带来一定的培训成本。不过捏,依照俺的经验,培训难度不大。稍微有点基础的测试人员,都可以在短期培训之后胜任。

◇不如白盒测试深入


  显然,灰盒不如白盒那么深入。不过捏,考虑到灰盒测试相比白盒测试有显著的成本优势,该缺点不是太明显。


★总结


  总而言之,言而总之,灰盒测试是一个很不错的东东,其优点明显而缺点容易克服。另外,俺前后在两家公司的研发部门推行过,效果不错的说。大伙儿值得去尝试一下。今天光说了优缺点对比,在下一个帖子,俺具体介绍一下,开展灰盒测试之前,管理上有哪些准备工作。


回到本系列的目录