自动化测试实战

自动化测试一般是指软件测试的自动化，软件测试就是在预设条件下运行系统或应用程序，评估运行结果，预先条件应包括正常条件和异常条件。本思维导图主要阐述自动化测试的方法及用到的工具，希望对你有帮助！

自动化测试基础

• 软件测试分类
  • 单元测试
    • 单元测试（或模块测试）是对程序中的单个子程序或具有独立功能的代码段进行测试的过程。
  • 集成测试
    • 集成测试是单元测试的基础上，将通过单元模块组装成系统或子系统，再进行测试，重点是检查模块之间的接口是否正确。
  • 系统测试
    • 系统测试是针对整个产品系统进行的测试，验证系统是否满足了需求规格的定义，以及软件系统的正确性和性能等是否满足其规约所指定的要求。
  • 验收测试
    • 验收测试是部署软件之前的最后一个测试操作。验收测试的目的是确保软件准备就绪，向软件购买都展示该软件系统满足其用户的需求。
  • 黑盒测试
    • 黑盒测试，指的是把被测的软件看作是一个黑盒子，我们不去关心盒子里面的结构是什么样子的，只关心软件的输入数据和输出结果。
    • 它只检查程序呈现给用户的功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数据而产生正确的输出信息。黑盒测试着眼于程序外部结构，不考虑内部逻辑结构，主要针对软件界面和软件功能进行测试。
  • 白盒测试
    • 白盒测试，指的是把盒子打开，去研究里面的源代码和程序执行结果。
    • 它是按照程序内部的结构测试程序，通过测试来检测产品内部动作是否按照设计规格说明书的规定正常进行，检验程序中的每条通路是否都能按预定要求正确工作。
  • 灰盒测试
    • 灰盒测试介于黑盒测试与白盒测试之间。可以这样理解，灰盒测试关注输出对于输入的正确性，同时也关注内部表现，但这种关注不象白盒那样详细、完整，只是通过一些表征性的现象、事件、标志来判断内部的运行状态，有时候输出是正确的，但内部其实已经错误了，这种情况非常多，如果每次都通过白盒测试来操作，效率会很低，因此需要采取这样的一种灰盒测试的方法。
  • 功能测试
    • 功能测试检查实际的功能是否符合用户的需求。测试的大部分工作也是围绕软件的功能进行，设计软件的目的也就是满足客户对其功能的需求。如果偏离的这个目的任何测试工作都是没有意义的。
    • 功能测试又可以细分为很多种：逻辑功能测试、界面测试、易用性测试、安装测试、兼容性测试等。
  • 性能测试
    • 性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。软件的性能包括很多方面，主要有时间性能和空间性能两种
      • 时间性能
        • 主要是指软件的一个具体的响应时间。比如一个登录所需要的时间，一个交易所需要的时间等。当然，抛开具体的测试环境，来分析一次事务的响应时间是没有任何意义的。需要搭建一个具体且独立的测试环境。
      • 空间性能
        • 主要指软件运行时所消耗的系统资源，比如硬件资源，CPU、内存，网络带宽消耗等。
  • 手工测试与自动化测试
    • 从对软件测试工作的自动化程度可以划分为手工测试与自动化测试。
      • 手工测试
        • 手工测试就是由人去一个一个的去执行测试用例，通过键盘鼠标等输入一些参数，查看返回结果是否符合预期结果。
        • 手工测试并不非专业术语，手工测试通常是指我们在系统测试阶段所进行的功能测试，为了更明显的与自动化测试进行区分，所以这里使用了手工测试
      • 自动化测试
        • 自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。在此过程中，为了节省人力、时间或硬件资源，提高测试效率，便引入了自动化测试的概念
        • 自动化测试又可分为：功能自动化测试与性能自动化测试。
        • 我们一般所说的自动化测试就是指功能自动化测试，通过相关的测试技术，通过编码的方式用一段程序来测试一个软件的功能，这样就可以重复执行程序来进行重复的测试。如果一个软件一小部分发生改变，我们只要修改一部分自动化测试代码，就可以重复的对整个软件进行功能测试；从而大大的提高了测试效率。
        • 性能自动化测试，当然，除了早期阶段，现在的性能测试工作都是通过性能测试工具辅助完成的。通过工具可以模拟成千上万的用户向系统发送请求，用来验证系统的处理能力。
  • 冒烟测试
    • 是指在对一个新版本进行系统大规模的测试之前，先验证一下软件的基本功能是否实现，是否具备可测性。
    • 引入到软件测试中，就是指测试小组在正规测试一个新版本之前，先投入较少的人力和时间验证一个软件 的主要功能，如果主要功能都没有实现，则打回开发组重新开发。这样做的好处是可以节省大量的时间成本和人力成本。
  • 回归测试
    • 回归测试是指修改了旧代码后，重新进行测试以确认修改后没有引入新的错误或导致其他代码产生错误。
    • 回归测试一般是在进行软件的第二轮测试开始的，验证第一轮中发现的问题是否得到修复。当然，回归也是一个循环的过程，如果回归的问题通不过，则需要开发人员修改后再次进行回归，直到通过为止。
  • 随机测试
    • 是指测试中的所有输入数据都是随机生成的，其目的是模拟用户的真实操作，并发现一些边缘性的错误。
    • 随机测试可以发现一些隐蔽的错误，但是也有很多缺点，比如测试不系统，无法统计代码覆盖率和需求覆盖率，发现的问题难以重现。一般是放在测试的最后执行。其实随机测试更专业的升级版叫 探索性测试
  • 探索性测试
    • 探索性测试可以说是一种测试思维技术。它没有很多实际的测试方法、技术和工具，但是却是所有测试人员都应该掌握的一种测试思维方式。探索性强调测试人员的主观能动性，抛弃繁杂的测试计划和测试用例设计过程，强调在碰到问题时及时改变测试策略。
  • 安全测试
    • 安全测试是在 IT 软件产品的生命周期中，特别是产品开发基本完成到发布阶段，对产品进行检验以验证产品符合安全需求定义和产品质量标准的过程。
    • 安全测试也在越来越受到企业的关注和重视，因为由于安全性问题造成的后果是不可估量的。尤其对于互联网产品最容易遭受各种安全攻击
• 什么样的项目适合自动化测试
  • 1、任务测试明确，不会频繁变动
  • 2、每日构建后的测试验证
  • 3、比较频繁的回归测试
  • 4、软件系统界面稳定，变动少
  • 5、需要在多平台上运行的相同测试案例、组合遍历型的测试、大量的重复任务
  • 6、软件维护周期长
  • 7、项目进度压力不太大
  • 8、被测软件系统开发比较规范，能够保证系统的可测试性
  • 9、具备大量的自动化测试平台
  • 10、测试人员具备较强的编程能力
• 自动化测试及工具简述
  • QTP
    • QTP 是 HP Quick Test Professional software 的简称，是一种企业级的自动测试工具。提供了强大易用的录制回放功能。支持 B/S 与 C/S 两种架构的软件测试。是目前主流的自动化测试工具。
  • Robot Framework
    • Robot Framework 是一款 python 编写的功能自动化测试框架。具备良好的可扩展性，支持关键字驱动，可以同时测试多种类型的客户端或者接口，可以进行分布式测试执行。
  • Watir
    • Watir 全称是“Web Application Testing in Ruby”。它是一种基于 Web 模式的自动化功能测试工具。
    • watir 是一个 ruby 语言库，使用 ruby 语言进行脚本开发。
  • Selenium
    • Selenium 也是一个用于 Web 应用程序测试的工具，支持多平台、多浏览、多语言去实现自动化测试。目前在 web 自动化领域应用越来越广泛。
• selenium工具介绍
  • 什么是 selenium？
    • selenium 自动化测试浏览器，它主要是用于 Web 应用程序的自动化测试，但肯定不只局限于此，同时支持所有基于 web 的管理任务自动化。
  • selenium 的特点
    •  开源，免费
    •  多浏览器支持：FireFox、Chrome、IE、Opera
    •  多平台支持：linux 、windows、MAC
    •  多语言支持：java、python、ruby、php、C#、JavaScript
    •  对 web 页面有良好的支持
    •  简单（API 简单）、灵活（用开发语言驱动）
    •  支持分布式测试用例执行
  • selenium的版本
    • selenium 1.0
      • selenium IDE
        • selenium IDE 是嵌入到 Firefox 浏览器中的一个插件，实现简单的浏览器操作的录制与回放功能。那么什么情况下用到它呢？
          • 快速的创建 bug 重现脚本，在测试人员的测试过程中，发现了 bug 之后可以通过 IDE 将重现的步骤录制下来，以帮助开发人员更容易的重现 bug。
          • IDE 录制的脚本可以可以转换成多种语言，从而帮助我们快速的开发脚本，关于这个功能后而用到时再详细介绍。
      • selenium Grid
        • Selenium Grid 是一种自动化的测试辅助工具，Grid 通过利用现有的计算机基础设施，能加快 Web-app的功能测试。利用 Grid，可以很方便地同时在多台机器上和异构环境中并行运行多个测试事例。其特点为
          • 并行执行
          • 通过一个主机统一控制用例在不同环境、不同浏览器下运行
          • 灵活添加变动测试机
      • selenium RC
        • selenium RC 是 selenium 家族的核心工具，selenium RC 支持多种不同的语言编写自动化测试脚本，通过 selenium RC 的服务器作为代理服务器去访问应用从而达到测试的目的。
        • selenium RC 使用分 Client Libraries 和 selenium Server，Client Libraries 库主要主要用于编写测试脚本，用来控制 selenium Server 的库。
        • Selenium Server 负责控制浏览器行为，总的来说，Selenium Server 主要包括 3 个部分：Launcher、Http Proxy、Core。其中 Selenium Core 是被 Selenium Server 嵌入到浏览器页面中的。其实 Selenium Core就是一堆 JS 函数的集合，就是通过这些 JS 函数，我们才可以实现用程序对浏览器进行操作。Launcher 用于启动浏览器，把 selnium Core 加载到浏览器页面当中，并把浏览器的代理设置为 Selenium Server 的Http Proxy。
    • selenium 2.0
      • 搞清了 selenium 1.0 的家族关系，selenium 2.0 是把 WebDriver 加入到了这个家族中；简单用公式表示为： selenium 2.0 = selenium 1.0 + WebDriver
      • 在 selenium 2.0 中主推的是 WebDriver ，WebDriver 是 selenium RC 的替代品，因为 selenium 为了向下兼容性，所以 selenium RC 并没有彻底抛弃，如果你使用 selenium 开发一个新自动化测试项目，强列推荐使用 WebDriver 。
      • selenium RC 与 webdriver 主要区别
        • selenium RC 在浏览器中运行 JavaScript 应用，使用浏览器内置的 JavaScript 翻译器来翻译和执行selenese 命令（selenese 是 selenium 命令集合）。
        • WebDriver 通过原生浏览器支持或者浏览器扩展直接控制浏览器。WebDriver 针对各个浏览器而开发，取代了嵌入到被测 Web 应用中的 JavaScript。与浏览器的紧密集成支持创建更高级的测试，避免了JavaScript 安全模型导致的限制。除了来自浏览器厂商的支持，WebDriver 还利用操作系统级的调用模拟用户输入。
        • selenium 与 WebDriver 原先属于两个不同的项目，WebDriver 的创建者 Simon Stewart 早在 2009 年八月的一份邮件中解释了项目合并的原因。
          • 为何把两个项目合并？部分原因是 WebDriver 解决了 Selenium 存在的缺点（比如，能够绕过 JS沙箱。我们有出色的 API），部分原因是 Selenium 解决了 WebDriver 存在的问题（例如支持广泛的浏览器），部分原因是因为 Selenium 的主要贡献者和我都觉得合并项目是为用户提供最优秀框架的最佳途径。
• 自动化测试语言的选择
  • 有同学说我们公司的软件是用某种语言开发，自动化也要选某语言；其实从本质上来说，使用软件开发语言和自动化开发语言没有任何联系。所以，在选择语言进行自动化测试时不要有这方面的顾虑。从个人来讲，自动化测试所用到代码与开发人员相同，自己的编码能力一般没开发人员强，会糟鄙视，从而也降低了自身的不可替代性。
  • 选择与开发相同的语言当然也有有利的一面，测试人员通过自动化测试的实践，提高了自己的编码能力，也有助于其它测试工作的进行，比如，协助开发人员定位代码级的 bug, 协助开发人员进行接口测试等
  • 本书并没有向前面几本 selenium 书选用应用更为广泛的 java 、C# ，而是选用了 python，主要有以下几个方面考虑。
    • 对于编程能力比较弱的初学者来说，python 与 ruby 等语言更容易学习和使用。通过自动化测试技术的实践，我们不仅掌握了自动化测试技术，从而也掌握一门语法简单且功能强大的脚本语言。（本书中对涉及到的 python 知识都会做详细的讲解，所以没有 python 基础的同学完全不用担心），那为什么不选 ruby而选 python 呢？从笔者角度来看，python 语言除了在自动化测试领域有出色的表现外，在系统编程，网络编程，web 开发，GUI 开发，科学计算，游戏开发等多个领域应用非常广泛，而且具有非常良好的社区支持。也就是说学习和掌握 python 编程，其实是为你打开了一道更广阔的大门。ruby 是一个“魔法”语言，时常会给你带来很多惊喜，python 的宗旨是使处理问题变得更简单，而且格式严谨，在协同编程时不容易产生混乱。所以，综合考虑笔者认为 python 更适合测试菜鸟的养成计划。
  • 那么对于有编程经验的同学，学习 python 对你来说几乎没有任何成本，你完全可以在很短的时间内学习和使用 python 处理问题，有一个看上去还不错的一门语言，为什么不去尝试使用一下呢！？当然，对于非常“专一”的同学，只愿意选择自己熟悉的语言，而不愿意尝试使用新语言，那么本更多的是传递你处理问题的思路，虽然编程语言的语法有差异，但仍然可以对你的自动化工作提供解决问题的思路。
  • 本书中涉及到 python 的知识都会进行讲解，但为了你能系统全面的使用 python 语言，笔者建议准备好一本 python 基础教程在身边，以便有疑问的地方随时翻阅学习。