政务服务网上审批大厅项目（网闸）性能测试方案.doc

海南省政务服务网上审批大厅项目 （网闸） 性能测试方案 - - 修订记录 日期 版本 修订说明 修订人 2014-3-18 1.0 初稿 - I - 目 录 1 项目简介 .1 1.1 测试目标 1 1.2 测试范围 1 1.3 性能测试指标要求 1 1.3.1 交易吞吐量 .1 1.3.2 交易响应时间 .1 1.3.3 并发交易成功率 2 1.3.4 资源使用指标 2 2 测试环境 .3 2.1 网络拓扑 3 2.2 软硬件配置 3 3 测试方案 .5 3.1 交易选择 5 3.2 资源监控指标 5 3.3 测试脚本编写与调试 5 3.4 测试场景设计 5 3.4.1 并发测试 5 3.4.2 疲劳测试 8 3.5 测试场景执行与数据收集 11 3.6 测试工具 11 4 专业术语 .12 5 性能计数器 .13 第 0 页 / 共 17 页 1 项目简介 1.1 测试目标 通过对海南省政务服务网上审批大厅系统的性能测试实施，在测试范围内可以达到如 下目的：  了解网闸性能  了解海南省政务服务网上审批大厅系统在各种业务场景下的性能表现；  了解海南省政务服务网上审批大厅业务系统的稳定性；  通过各种业务场景的测试实施，为系统调优提供数据参考；  通过性能测试发现系统瓶颈，并进行优化。  预估系统的业务容量 1.2 测试范围 海南省政务服务网上审批大厅系统主要包括信息展示、信息查询和网上预审、公众参 与等内容，本次测试也主要围绕这几部分展开。 1.3 性能测试指标要求 本次性能测试需要测试的性能指标包括： 1、交易吞吐量：后台主机每秒能够处理的交易笔数（TPS） 2、交易响应时间（秒 ） 3、并发交易成功率 4、资源使用指标：前置和核心系统各服务器 CPU（80%） 、内存占用率（80%） ； LoadRunner 压力负载机 CPU 占用率、内存占用率 1.3.1 交易吞吐量 为获取系统主机的最大处理能力，在本次性能测试中可通过不断加压，让数据系统主 机 CPU 利用率达到 85 %，记录此时的 TPS 值，作为主机处理能力的一个参考值。 1.3.2 交易响应时间 本次性能测试中的交易响应时间是指由性能测试工具记录和进行统计分析的、系统处 理交易的响应时间，用一定时间段内的统计平均值 ART 来表示。 第 1 页 / 共 17 页 1.3.3 并发交易成功率 指测试结束时成功交易数占总交易数的比率。交易成功率越高，系统越稳定。 对典型交易的场景测试，要求其并发交易成功率 ≥ 99.999% 。 1.3.4 资源使用指标 在正常的并发测试和批处理测试中，核心系统服务器主机的资源使用指标要求： CPU 使用率 ≤ 80% 内存使用率 ≤ 80% 第 2 页 / 共 17 页 2 测试环境 2.1 网络拓扑 压力产生器（Load Generator）连接服务端系统，客户端发送请求到服务端，服务端 响应并处理后将结果返回到客户端。本次测试的网络环境为 100Mb ps 网。 2.2 软硬件配置 性能测试环境的硬件和软件配置如下表所示： 环境 资源 数 量 配置 与生产环境差 异 应用服务 器硬件环 境 Web 服务应用 软件 1 服务器型号：浪潮 NF5240M3 CPU：8 个 主频 2.20 Ghz 内存：16 G 存储：600 G IP 地址： 218.77.183.178 系统/版本：windows server 2012 Standard 数据库服 务器硬件 环境 数据库服务器 1 服务器型号：浪潮 NF5240M3 CPU：8 个 主频：2.20 Ghz 内存：16 G 存储：600 G IP 地址： 59.212.212.101 系统/版本：windows server 2012 Standard 第 3 页 / 共 17 页 负载机 Loadrunner 1 CPU：2 个 主频：1.80 Ghz 内存：8 G 存储：500G IP：192.168.20.143 第 4 页 / 共 17 页 3 测试方案 3.1 交易选择 通过业务数据统计和业务模型分析，最终选择的典型交易如下表所示： 编号 业务名 1 访问首页 2 用户登录 3 网上申报 4 公共参与 5 结果公示 6 在线预约 3.2 资源监控指标 本次性能测试通过 LoadRunner 进行的资源监控包括：操作系统的资源监控。定义的监 控指标如下：  系统 CPU 使用率 80%  系统内存使用率 80%  系统 IO 使用率 80% 监控的服务器包括 WEB 应用服务器、数据库服务器。 3.3 测试脚本编写与调试 本次测试，采用录制脚本并优化的方式进行。 3.4 测试场景设计 3.4.1 并发测试 单交易多用户并发测试对每个典型交易通过多个用户同时执行，获得该交易在并发用 户情况下的平均响应时间以及每秒响应交易数，同时检验服务器端对每个典型交易多个并 发用户的处理能力。 第 5 页 / 共 17 页 3.4.1.1 测试方法 对单交易多用户并发测试：使用手动场景，设置并发用户数不断上升，无思考时间， 无迭代延迟。测试每个交易在不同压力下的应时间以及每秒响应交易数量。从而发现交易 的单点瓶颈，并针对问题进行优化。 3.4.1.2 测试场景-用户并发测试（针对问题进行优化） 根据对审批大厅业务的分析，挑选出以下几个比较有代表性的场景进行测试。 场景 1：用户访问首页 序号 并发用户数 平均交易时间 1 20 2 50 3 100 4 200 5 … 场景 2：用户登录 1）打开首页 2）登录 3）输入账号密码验证码 4）点击登录 5）退出 序号 并发用户数 平均交易时间 1 20 2 50 3 100 4 200 5 … 第 6 页 / 共 17 页 场景 3：网上申报 1）打开首页 2）登录 3）选择“网上申报 4）选择申报的事项 5）提交相关材料 6）提交申请 序号 并发用户数 平均交易时间 1 20 2 50 3 100 4 200 5 … 场景 4：公众参与 1）进入网上审批大厅 2）公众参与 3）浏览网上咨询、办事评价、投诉建议、常见问题 序号 并发用户数 平均交易时间 1 20 2 50 3 100 4 200 5 … 场景 5：结果公示 1）进入首页 第 7 页 / 共 17 页 2）选择结果公示 3）选择某一结果点开查看详情 序号 并发用户数 平均交易时间 1 20 2 50 3 100 4 200 5 … 场景 6：在线预约 1）登录系统 2）选择“在线预约”3） 3）选择服务中心 4）选择预约单位 5）填写预约信息 6）提交 序号 并发用户数 平均交易时间 1 20 2 50 3 100 4 200 5 … 3.4.2 疲劳测试 模拟生产环境，考察在模拟生产环境的情况下是否会出现宕机、响应时间变长、交易 成功率下降、内存使用率持续上升等异常现象。 第 8 页 / 共 17 页 3.4.2.1 测试方法 不断增加虚拟用户以施加压力，观测系统的资源使用率。来判断系统所能承受的极限 压力。再根据此压力的虚拟用户数量，让场景持续运行一段时间，设置一定的交易思考时 间和迭代延迟时间。获取核心主机 TPS 值、各典型交易的平均响应时间和性能监控数据。 3.4.2.2 测试场景-稳定性测试 在系统资源使用到达极限时，进行一定时间的持续压力测试。 根据并发测试场景，这里同样进行以下几个场景的疲劳测试。 场景 1：访问首页 编号 并发用 户数 加压方式 持续时间 退出方式 思考时间/ 迭代延迟 1 100 20 人/10 秒 2 小时 2-8s 2 500 20 人/10 秒 2 小时 2-8s 3 1000 20 人/10 秒 2 小时 2-8s 4 …… 场景 2：用户登录（点击首页“登录” 》输入账号密码验证码》点击登录） 编号 并发用 户数 加压方式 持续时间 退出方式 思考时间/ 迭代延迟 1 100 20 人/10 秒 2 小时 2-8s 2 500 20 人/10 秒 2 小时 2-8s 3 1000 20 人/10 秒 2 小时 2-8s 4 …… 场景 3：网上申报（选择“网上申报” 》选择申报的事项》提交相关材料》提交申请） 编号 并发用 户数 加压方式 持续时间 退出方式 思考时间/ 迭代延迟 1 100 20 人/10 秒 2 小时 2-8s 2 500 20 人/10 秒 2 小时 2-8s 第 9 页 / 共 17 页 3 1000 20 人/10 秒 2 小时 2-8s 4 …… 场景 4：公共参与（选择“公共参与” 》浏览网上咨询、办事评价、投诉建议、常见问题） 编号 并发用 户数 加压方式 持续时间 退出方式 思考时间/ 迭代延迟 1 100 20 人/10 秒 2 小时 2-8s 2 500 20 人/10 秒 2 小时 2-8s 3 1000 20 人/10 秒 2 小时 2-8s 4 …… 场景 5：结果公示（选择“结果公示” 》选择某一结果点开查看详情） 编号 并发用 户数 加压方式 持续时间 退出方式 思考时间/ 迭代延迟 1 100 20 人/10 秒 2 小时 2-8s 2 500 20 人/10 秒 2 小时 2-8s 3 1000 20 人/10 秒 2 小时 2-8s 4 …… 场景 6：在线预约（选择“在线预约” 》选择服务中心》选择预约单位》填写预约信息》提 交） 编号 并发用 户数 加压方式 持续时间 退出方式 思考时间/ 迭代延迟 1 100 20 人/10 秒 2 小时 2-8s 2 500 20 人/10 秒 2 小时 2-8s 3 1000 20 人/10 秒 2 小时 2-8s 4 …… 第 10 页 / 共 17 页 3.5 测试场景执行与数据收集 性能测试执行过程中应收集的测试场景执行结果数据包括：  LoadRunner 的 Controller 中的场景执行结果数据；  LoadRunner 的资源监控数据；  核心主机记录的资源（CPU、MEM）监控数据文件。 3.6 测试工具 序号 工具名称 用途及说明 厂商/自产 版本 1 Loadrunner 负载生成 hp V11.0 LoadRunner 是一种预测系统行为和性能的工业标准级负载测试工具。通过以模拟上 千万用户实施并发负载及实时性能监测的方式来确认和查找问题，LoadRunner 能够对整 个企业架构进行测试。通过使用 LoadRunner ， 企业能最大限度地缩短测试时间， 优化 性能和加速应用系统的发布周期。企业的网络应用环境都必须支持大量用户，网络体系架 构中含各类应用环境且由不同供应商提供软件和硬件产品。难以预知的用户负载和愈来愈 复杂的应用环境使公司时时担心会发生用户响应速度过慢， 系统崩溃等问题。这些都不可 避免地导致公司收益的损失。Mercury Interactive 的 LoadRunner 能让企业保护自己的收 入来源， 无需购置额外硬件而最大限度地利用现有的 IT 资源， 并确保终端用户在应用 系统的各个环节中对其测试应用的质量， 可靠性和可扩展性都有良好的评价。 LoadRunner 是一种适用于各种体系架构的自动负载测试工具， 它能预测系统行为并优化 系统性能。LoadRunner 的测试对象是整个企业的系统， 它通过模拟实际用户的操作行为 和实行实时性能监测， 来帮助您更快的查找和发现问题。此外，LoadRunner 能支持广范 的协议和技术， 为您的特殊环境提供特殊的解决方案。 第 11 页 / 共 17 页 4 专业术语 序号 全名名称 简写 描述 1 Running Vuser VUser 用户总数 2 Transaction per second TPS 每秒通过的事务数 3 Hits per Second HPS 每秒事物点击数 4 AverageTransaction Response Time ART 事务平均响应时间 第 12 页 / 共 17 页 5 性能计数器 性能对象 计数器 描述 Processor 使 用 %Processor Time（所有实 例） 指处理器执行非闲置线程时间的百分比。这个计数器设计成用来 作为处理器活动的主要指示器。它通过在每个范例间隔中衡 量 处理器用于执行闲置处理线程的时间，并且用 100% 减去该值 得出。(每台处理器有一个闲置线程，该线程在没有其它线程可 以运行时消耗周期)。可将其视为范例间隔用于做有用工作的百 分比。这个计数器显示在范例间隔时所看到的忙时平均值。这个 值是用 100% 减去该服务不活动的时间计算出来的。 Interrupts/sec 指处理器每秒钟接收并维护的硬件中断的平均值。它不包括 DPC，DPC 将单独计算。这个值是产生中断的设备(如：系统时 钟、鼠标、磁盘驱动器、数据交流线路、网络街面卡和其它附件 设备)的活动的间接指示器，这些设备通常在完成了一项任务或 需要注意时中断处理器。正常的线程操作在中断时悬停。大多数 的系统时钟每隔 10 毫秒中断处理器一次，形成了间隔活动的后 台。这个计数值显示用上两个实例中观察到的值之间的差除于实 例间隔的持续时间所得的值。 System/Processo r Queue Length（所有实 例） 是指处理列队中的线程数。即使在有多个处理器的计算机上处理 器时间也会有一个单列队。不象磁盘计数器，这个计数器仅计数 就绪的线程，而不计数运行中的线程。如果处理器列队中总是有 两个以上的线程通常表示处理器堵塞。这个计数器仅显示上一次 观察的值；而不是一个平均值。 Processor 瓶 颈 System/Context Switches/sec 指计算机上的所有处理器全都从一个线程转换到另一个线程的综 合速率。当正在运行的线程自动放弃处理器时出现上下文转换， 由一个有更高优先就绪的线程占先或在用户模式和特权(内核) 模 式之间转换以使用执行或分系统服务。它是在计算机上的所有处 理器上运行的所有线程的 Thread: Context Switches/sec 的总数并 第 13 页 / 共 17 页 且用转换数量衡量。在系统和线程对象上有上下文转换计数器。 这个计数值显示在上一次两个实例中观察到的值除于实例间隔的 持续时间所得的值的差异。 Private Bytes 指这个处理不能与其它处理共享的、已分配的当前 字节数。 Virtual Bytes 指处理使用的虚拟地址空间的以字节数显示的当前大小。 使用 虚拟地址空间不一定是指对磁盘或主内存页的相应的使用。虚 拟空间是有限，如果使用过多，可能会限制处理加载数据 库的 能力。 Working Set 指这个处理的 Working Set 中的当前字节数。Working Set 是在处 理中被线程最近触到的那个内存页集。如果计算机上的可用内存 处于阈值以上，即使页不在使用中，也会留在一个处理的 Working Set 中。当可用内存降到阈值以下，将从 Working Set 中删除页。如果需要页时，它会在离开主内存前软故障返回到 Working Set 中。 Process (进程) Handle Count 由这个处理现在打开的句柄总数。这个数字是在这个处理中每个 线程当前打开的句柄的总数。 Objects Threads 线程指在数据收集时在计算机中线程的数目。请注意这是一个即 时计算而不是一个时间间隔的平均值。一个线程为一个基本的可 执行实体，该实体在处理器中执行指令。 Available Bytes 是计算机上可用于运行处理的有效物理内存的字节数量。是用零、 空闲和备用内存表上的空间总值计算的。空闲内存指可以使用 内存；零内存指为了防止以后的处理看到以前处理使用的数据而 在很多页内存中充满了零的内存。备用内存是指从处理的工作集 (它的物理内存)移到磁盘的，但是仍旧可以调用的内存。这个计 数器只显示上一次观察到的值；它不是一个平均值。 Memory 使用 Cache Bytes 是 System Cache Resident Bytes 的总数。System Driver Resident Bytes、System Code Resident Bytes、以及 Pool Paged Resident Bytes 计数器。该计数器只显示最后一次观察的值，它不是一个 平均值。 第 14 页 / 共 17 页 Pages/sec 是指为解析硬页错误从磁盘读取或写入磁盘的页数。(当处理程 序请求不在本身工作集或物理内存其它地方中的代码或数据，而 必须要从磁盘上检索时就会出现硬页错误)。这个计数器设计成 可以显示导致系统范围延缓类型错误的主要指示器。它是 Memory: Pages Input/sec 和 Memory: Pages Output/sec 的总和。 是用页数计算的，以便在不用做转换的情况下就可以同其它页计 数如: Memory: Page Faults/sec 做比较，这个值包括为满足错误 而在文件系统缓存(通常由应用程序请求 )的非缓存映射内存文件 中检索的页。这个计数器显示用上两个实例中观察到的值之间的 差除于实例间隔的持续时间所得的值。 Page Reads/sec 是指为解析硬页错误而读取磁盘的次数。(当处理请求的硬页错 误不在工作集和物理内存其它地方中的代码或数据，而必须从磁 盘上检索时就会出现硬页错误)。这个计数器设计成可以显示导 致系统范围延缓错误的主要指示器。这个包括要满足错误而在文 件系统缓存(通常由应用程序请求 )的非缓存映射内存文件终检索 的页。这个计数器显示用上两个实例中观察到的值之间的差除于 实例间隔的持续时间所得的值。 Transition Faults/sec 是指由在修改页列表、备份页表或在页错误时写入磁盘上造成的 页错误数量。这些页是在没有额外磁盘活动的情况下恢复的。传 输 错误是在不计算每次操作时出错的页数的情况下计算错误数 量。这个计数器显示用上两个实例中观察到的值之间的差除于实 例间隔的持续时间所得的值。 Pool Paged Bytes 指在分页池中的字节数，分页池是系统内存(操作系统使用的物 理内存)中可供对象(在不处于使用时可以写入磁盘的)使用的一个 区域。Memory: Pool Paged Bytes 的计数方式与 Process: Pool Paged Bytes 的方式不同，因此可能不等于 Process: Pool Paged Bytes: _Total 。这个计数器仅显示上一次观察的值；而不是一个 平均值。 Memory 瓶颈 或溢出 Pool Nonpaged 指在非分页池中的字节数，非分页池是指系统内存(操作系统使 第 15 页 / 共 17 页 Bytes 用的物理内存)中可供对象(指那些在不处于使用时不可以写入磁 盘上 而且只要分派过就必须保留在物理内存中的对象)使用的一 个区域。Memory: Pool Nonpaged Bytes 的计数方式与 Process: Pool Nonpaged Bytes 的计数方式不同，因此可能不等于 Pool Nonpaged Bytes: _Total。 这个计数器仅显示上一次观察的值； 而不是一个平均值。 %Disk Time 指所选磁盘驱动器忙于为读或写入请求提供服务所用的时间的百 分比。 请谨慎对待% Disk Time 计数器。因为该计数器的 _Total 实例 不能精确反映多磁盘系统的利用率，因此使用 % Idle Time 计数 器也非常重要。 % Idle Time 汇报在实例间隔时磁盘闲置时间的百分比。 Disk Reads/sec 指在此盘上读取操作的速率。 PhysicalDisk 的使用 Disk Writes/sec 指在此盘上写入操作的速率。 PhysicalDisk 的瓶颈 Avg.Disk Queue Length（所有实 例） 指读取和写入请求(为所选磁盘在实例间隔中列队的 )的平均数。 File Data Operations/ sec 指在计算机的所有逻辑磁盘上读取和写入操作的综合速度。这是 系统的逆转率：每秒钟的文件控制操作。这个总值显示了上两个 实例中观察到的值的差异除于实例间隔的时间。 System Processor Queue Length 是指处理列队中的线程数。即使在有多个处理器的计算机上处理 器时间也会有一个单列队。不象磁盘计数器，这个计数器仅计数 就绪的线程，而不计数运行中的线程。如果处理器列队中总是有 两个以上的线程通常表示处理器堵塞。这个计数器仅显示上一次 观察的值；而不是一个平 均值。 网络使用 Network Segment\ % Net Utilization 第 16 页 / 共 17 页 网络吞吐量 协议传输计数器（随网络协议而改变）；对于 TCP/IP：Network Interface\ Bytes total/sec Network Interface\ Packets/sec Server\ Bytes Total/sec or Server\ Bytes Transmitted/sec 和 Server\ Bytes Received/sec 可能需要监视网络的其他对象或服务器吞吐量，如监视网络活动 中所述。 由此可给出服务器资源使用情况表： 资源特性表 最小值 平均值 最大值 % Committed Bytes In Use Available MBytes Page Faults/sec 内存 Memory Pages/sec Bytes Total/sec网络 Network Interface Packets/sec Avg. Disk Queue Length Current Disk Queue Length Disk Read Bytes/sec 磁盘 Physical Disk Disk Write Bytes/sec % Processor Time处理器 Processor % User Time **服 务器 资源 特性 系统 System Processor Queue Length