Tornado 中 PyMongo Motor MongoEngine 的性能测试

  |   1,049字   |   分类于   |    阅读   |  

最近在使用 Tornado 开发 API，数据库选择了 MongoDB，因为想使用 Geo 搜索的特性。Python 可供选择的 MongoDB Drivers 可以在官网查找。

在这些 Drivers 中，GitHub 上 Star 数最多的有 3 个：

Motor 和 MongoEngine 都是基于 PyMongo，Motor 的最新版是基于 PyMongo 2.8，Motor 的优势就在于异步，而 PyMongo 在 2.2 以后的版本，就开始支持 gevent。

MongoEngine 借鉴了 Django 的 ORM，提供了一个 ORM-like layer，官方称作 Document-Object Mapper，可以像使用 Django 的 ORM 一样，简单的操作和处理数据。

面对这么多选择，就想探究这些选择都有哪些特点，性能如何，所以有了这篇文章。你可以在这里找到所有的测试代码和测试数据

https://github.com/restran/tornado-mongodb-performance-test

HTTP 性能测试工具

HTTP 性能测试工具可以选择：

这里的测试使用 ab，安装方法

sudo apt-get install apache2-utils

测试配置

测试的配置如下

  • Tornado 程序位于一台 Ubuntu 14.04 x86_64 的虚拟机，2 GB 内存，2 核心 CPU，2.59 GHz。
  • MongoDB 3.06 x86_64 Windows 版，在一台 Windows 2008 R2 的虚拟机，4 GB 内存，2 核心 CPU，2.39 GHz。
  • MongoDB 数据库中已经预先插入 100W 条数据，以下所有的实验都是测试从数据库中读数据的性能。
  • Tornado 使用最新的 4.2.1 版。

数据库中的数据是这个样子的

1
2
3
4
5
6
7
8
9
{
    "_id": {
        "$oid": "5630cd05f7732b28a81f57fa"
    }, 
    "title": "Post title", 
    "created": {
        "$date": "2015-10-28T21:26:29.271+0000"
    }
}

Tornado 中查询数据的 Handler 是这个样子的，以 PyMongo 3.0 为例。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
class QueryHandler(APIHandler):
    def get(self):
        cursor = self.database.post.find(limit=30)
        json_data = []
        for t in cursor:
            j = {
               '_id': text_type(t['_id']),
               'title': t['title'],
               'created': t['created'].strftime('%Y-%m-%d %H:%M:%S') 
               if t['created'] else None
            }
            json_data.append(j)

        self.success(json_data)

测试说明

在实际测试的时候，发现在 PyMongo 2.8 的环境下，PyMongo 2.8 和 MongoEngine 性能都很差，因此设置了两组测试。

测试 1

总共 10000 个请求，每次并发 100 个（同时发送 100 个），使用如下命令

ab -n 10000 -c 100 http://127.0.0.1:8500/api/posts/query/

实验对象：

  • Motor（Mortor 最新版是基于 PyMongo 2.8）
  • PyMongo 3.0
  • PyMongo 3.0 + gevent（PyMongo 支持 gevent）
  • MongoEngine + PyMongo 3.0

PyMongo 开启 gevent 的方法，可以参考
https://api.mongodb.org/python/current/examples/gevent.html

测试 2

总共 100 个请求，每次并发 10 个（同时发送 10 个），使用如下命令

ab -n 100 -c 10 http://127.0.0.1:8500/api/posts/query/

实验对象：

  • PyMongo 2.8
  • PyMongo 2.8 + gevent
  • MongoEngine + PyMongo 2.8

Virtualenv

由于要使用不同版本的 PyMongo，因此使用了 Virtualenv 来创建不同的环境。

Windows 环境下的 virtualenv，命令会有些不一样，这里的命令适用于 Linux。

安装

sudo pip install virtualenv

创建一个虚拟的 Python 环境

virtualenv env_name

创建测试需要的两个环境

virtualenv pymongo2.8
virtualenv pymongo3.0

激活虚拟环境，安装相应的包

cd pymongo2.8
source bin/activate
pip install pymongo==2.8.0 tornado mongoengine motor gevent

对虚拟环境 pymongo3.0 执行相应的操作

cd pymongo3.0
source bin/activate
pip install pymongo==3.0.6 tornado mongoengine gevent

用虚拟环境中的 Python 启动 Tornado 程序

/path/to/pymongo2.8/bin/python pymongo2.8_app.py

测试结果

先给出两组测试结果的数据：完成所有请求的耗时，吞吐量（每秒处理的请求数）

mongodb_tornaod_1

mongodb_tornaod_2

从测试的结果来看，Motor 的性能确实很好，gevent 几乎没有性能提升，PyMongo 2.8 的性能很差，MongoEngine 是在 PyMongo 的基础上有封装了一层，但是两者性能相差不大。

Tornado 的单线程的，同步的数据库 Driver 会将 Tornado 阻塞住，导致无法处理其他的请求。

最后给出一组数据，百分比请求的最大响应时间。下面这张图，左边坐标的单位是毫秒。例如 Motor 有 50% 的请求是在 376 毫秒内完成的。

mongodb_tornaod_3

PyMongo 2.8，PyMongo 2.8 + gevent，MongoEngine + PyMongo 2.8 三条线重叠在了一起，它们之间的性能相当。