三种最流行的Python测试框架,我该用哪一个?

unittest vs. nose vs. pytest

Posted by 肖哥shelwin on June 3, 2019

前言

在进行Python程序单元测试时,测试框架的选型是一个首要的问题。面对众多Python单元测试框架,我应该选择哪一个?

本文将探讨这个问题。文章的结构如下。首先,介绍单元测试,框架以及测试框架的基本概念;接着,介绍三种最流行的Python单元测试框架,分别是unittest, nose和pytest;然后,介绍作者关于Python单元测试框架选型的思考和心得;最后,总结全文。

基本概念

在介绍具体的Python单元测试框架之前,我们先来回顾一些基本概念。

什么是单元测试?单元测试是软件测试的一种类型。顾名思义,单元测试就是测试的对象是程序中的最小单元的测试。程序的最小单元可以是一个函数,一个类,也可以是函数的组合,类的组合。

单元测试是软件测试中最低级别的测试活动,与之相对的更高级别的测试有模块测试,集成系统和系统测试等。单元测试一般由软件开发者而不是独立的测试工程师完成。另外,单元测试有一个隐含的性质,那就是单元测试天然就是自动化的,单元测试属于自动化测试。

什么是框架?首先,框架是一个“架子”。这个架子能够完成领域内基础的、重要的功能。基于这个已有的架子,我们可以将重心放在面向业务的开发上。

其次,框架也是一个“框框”。“框框”为我们设置了有形和无形的约束。所谓有形的约束,就是我们的开发工作需要符合框架的定义、与框架兼容。所谓无形的约束,就是我们的开发工作需要承受框架的缺点和不足(毕竟,没有十全十美的框架)。

什么是测试框架? 我们知道,软件测试分为手工测试和自动化测试。需要注意的是,一般只有自动化测试才有框架的概念。(自动化)测试框架,需要提供自动化测试用例编写、自动化测试用例执行、自动化测试报告生成等基础功能

有了测试框架,我们只需要完成和业务高度相关的测试用例设计和实现即可。另外,框架会为我们处理好复杂度与扩展性的问题,我们无需为此操心。

有了这些概念作为支撑,我们就很容易理解什么是Python单元测试框架了。所谓Python单元测试框架,就是面向Python编程语言,服务于Python单元测试的自动化测试框架

主流框架

Python单元测试框架有很多,我们介绍最流行的三种。

unittest

unittest是Python标准库中自带的单元测试框架。unittest有时候也被称为PyUnit。就像JUnit是Java语言的标准单元测试框架一样,unittest(PyUnit)则是Python语言的标准单元测试框架

unittest支持自动化测试,测试用例的初始化和关闭,测试用例的聚合等功能。unittest有一个很重要的特性:它通过类(class)的方式,将测试用例组织在一起。

一个简单的示例如下:

1
2
3
4
5
6
7
8
9
import unittest
 
class TestStringMethods(unittest.TestCase):
    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')
 
if__name__=='__main__':
    unittest.main()
 

执行结果:

1
2
3
4
...
---------------------
Ran 1 tests in 0.000s
OK

需要注意的是,unittest有一个关联模块unittest2。但是unittest2仅适用于Python 2.4-2.6。这是因为,从Python 2.7开始,unittest增加一些新的特性。为了在老的版本Python 2.4-2.6支持这些特性,提供了unittest2这个库。对于Python 2.7及之后的版本,unittest是唯一的。

nose

nose是Python的一个第三方单元测试框架。这意味着,如果要使用nose,需要先显式安装它:

1
pip install nose

与unittest不同的是,nose的测试用例并不限制于类。任何函数和类,只要名称匹配一定的条件(例如,以test开头或以test结尾等),都会被自动识别为测试用例;并且,为了兼容unittest, 所有的基于unitest编写的测试用例,也会被nose自动识别为。

一个简单的nose单元测试示例如下:

1
2
3
4
5
6
7
import nose
 
def test_example ():
    pass
 
if __name__ == '__main__':
    nose.runmodule()

执行结果:

1
2
3
4
...
---------------------
Ran 1 tests in 0.000s
OK

需要注意的是,nose已经进入维护模式,从github nose上可以看到,nose最近的一次代码提交还是在2016年5月4日。继承nose的是nose2,但要注意的是,nose2并不支持nose的全部功能,它们的区别可以看这里

nose2的主要目的是扩展Python的标准单元测试库unittest,因此它的定位是“带插件的unittest”。nose2提供的插件,例如测试用例加载器,覆盖度报告生成器,并行测试等内置插件和第三方插件,让单元测试变得更加完善。

pytest

pytest是Python另一个第三方单元测试库。它的目的是让单元测试变得更容易,并且也能扩展到支持应用层面复杂的功能测试。

pytest的特性有:

  1. 支持用简单的assert语句实现丰富的断言,无需复杂的self.assert*函数
  2. 自动识别测试模块和测试函数
  3. 兼容unittest和nose测试集
  4. 支持Python3和PyPy3
  5. 丰富的插件生态,已有300多个各式各样的插件,和活跃的社区

pytest一个简单的示例如下:

1
2
3
4
5
def inc(x):
    return x +1
 
def test_answer():
    assert inc(3) ==5

执行结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
$ pytest
============================= test session starts=============================
collected 1 items
test_sample.py F
================================== FAILURES===================================
_________________________________ test_answer_________________________________
    def test_answer():
>       assert inc(3)== 5
E       assert 4 == 5
E        +  where 4 = inc(3)
 
test_sample.py:5: AssertionError
========================== 1 failed in 0.04 seconds===========================

框架选型

(1) 从入门难度看,pytest/nose优于unittest

虽然unittest是Python自带的单元测试库,但是要上手unittest是有难度的,既需要了解testrunner, testsuite, testcase等基本概念,还需要熟悉面向对象编程。而pytest/nose则为我们隐藏了这些细节,因而能够降低入门单元测试的难度。

对于有一定Python编程基础的人来说,unittest是适合的;对于Python编程基础较弱的人来说,nose和pytest则比较适合。另外,对比nose和pytest,一般认为pytest的入门难度更低

(2) 同为第三方库,pytest的生态优于nose/nose2

我们知道,nose已经进入了维护模式,取代者是nose2。相比nose2,pytest的生态无疑更具优势,社区的活跃度也更高。

例如,在github上,截止现在,pytest的STAR数量是4229,而nose2的STAR数量是558;pytest的提交数量是10384,而nose2的提交数量是917。最重要的,pytest的插件数量是300多个,远高于nose2的20多个插件。

如果只需要基本的插件,那么nose和pytest都是适合的;如果追求单元测试更丰富的插件,那么pytest更适合

(3) 从通用性角度看,pytest优于unittest和nose

与unittest/nose不同的是,pytest不仅能用于单元测试,还能用于更高级别的,面向应用的功能测试。因此,如果需要进行更高级别的测试,则适合采用Pytest。

总结

在进行Python程序测试时,测试框架的选型是一个重要的问题。众多测试框架之间,我到底应该选择哪一个?

本文对比了unittest,nose和pytest这三种最流行的Python单元测试测试,指出了各个框架的特点,指出了在不同场景和不同需求下,哪一种框架更适合。当然,本文的分析还是比较初步的,在实际中,还需要结合具体情况深入分析后再做决定。

我是肖哥shelwin,一个高质量软件工程实践者和推动者。欢迎扫描下方二维码,添加我的个人公众号测试不将就,获得更多自动化测试, 持续集成, 软件工程实践, Python编程等领域原创文章。

公众号