第三方软件测评报告

廖先振

1. 引言

1.1. 编写目的

本测试报告为贵阳高新区经济运行综合数据平台项目的测试报告，目的在于总结测试阶段的测试以及分析测试结果，描述系统是否符合需求。预期参考人员包括用户、测试人员、开发人员、项目管理者、其他质量管理人员和需要阅读本报告的高层经理。
1.2. 系统概述

软件采用B/S系统架构，数据库采用Oracle数据库，适用于windows xp以上windows平台，可以简单快速的平台部署和系统升级。
该平台包含一个基础数据库系统，三个前端应用子平台及相关功能模块和后台架构及管理模块。前端的三个子平台分别是“动态综合评价子平台”、“经济运行分析子平台”和“精准招商引资子平台”。
（1） 数据资源系统的构建
（2）  
该系统为数据库的综合管理系统，涵盖如下五大数据库，此部分工作包括下述五个数据库的构建实现工作。
1) 构建高新区纳入动态监测的企业数据库；
2) 构建国家级高新区的相关数据以及火炬统计年鉴数据库；
3) 构建宏观经济数据和区域经济等外部补充数据库;
4) 构建省市部分相关部门的企业数据库；
5) 构建招商引资对象企业数据库。
（2）三个前端应用子平台功能模块研发
“动态综合评价子平台”、“经济运行分析子平台”和“精准招商引资子平台”的业务功能主要依靠以下三个功能模块实现，业务功能内容描述详见后附项目实施简案。
1）可视化技术模块。
2）固定报表模块：用以实现业务分析报表的自动导出。具体功能：可以实现报表的定期自动更新；可以实现报表的自动批量生成；支持报表的EXCEL导出；支持纯浏览器界面下的报表生成、下载和打印。
3）智能报告模块：智能报告主要通过与业务人员沟通，了解其常用报告形式，据此设计开发固定格式的报告。可以实现根据报告时间、报告主体的自定义选择，然后单独或者批量生成一份或多份报告。同时，可以实现报告的定期自动更新；可以实现报告的自动批量生成；支持报告的word、pdf格式导出；支持报告中对异常数据的自定义预警。
（3）后台架构及管理模块开发
包括了系统架构控制、权限设置、安全管理及拓展接口等相关功能模块的设计和开发工作。

2. 测试描述

2.1. 测试范围与内容

我方对XX有限公司-“贵阳高新区经济运行综合数据平台”项目进行测试，保证使用方的功能正确，保证系统核心模块的稳定和安全，为项目的验收提供参考。以此，本计划列出了在此次功能测试过程中所要进行的内容和实施的方案及测试资源的安排，作为测试活动的依据和参考。
本次测试的对象为XX有限公司-“贵阳高新区经济运行综合数据平台”项目，基于JAVA语言和Oracle数据库系统的“贵阳高新区经济运行综合数据平台”系统一套。测试范围为：黑盒测试,不接触代码，只对整个系统做功能的测试和性能的测试。
本次测试的主要内容有功能测试（含容错测试）、易用性测试。《项目需求清单》如下方扫描件。

测试内容	测试方法	测试工具	备注
功能	黑盒、手工、回归	Qc、jira
性能	黑盒、手工、回归、工具自动	Qc、jira   LoadRunner 9.0（试用版）
可靠性	黑盒、手工、回归	Qc、jira
安全性	黑盒、手工、回归	Qc、jira
可使用性	黑盒、手工、回归	Qc、jira
兼容性	黑盒、手工、回归	Qc、jira
安装和手册	黑盒、手工、回归	Qc、jira

2.2. 测试依据

本次测试所依据的文档包含开发方提供相关开发文档

资料名称	作者
《项目需求清单》
《贵阳高新区经济运行综合数据平台管理员手册》
《贵阳高新区经济运行综合数据平台使用手册》
《贵阳高新区经济运行综合数据平台应用开发手册》
【验收文件】贵阳高新区经济运行平台-数据库设计说明书
【验收文件】贵阳高新区经济运行平台-详细设计说明书
《经济运行综合数据平台合作协议》

并依据IT行业项目的通用标准，包括功能测试标准、缺陷标准、易用性标准。
对于项目的易用性标准，原则上由测试方提出易用性问题修改的建议，由开发方对测试方提交的问题进行确认。
2.3. 测试启动

开发方提供项目相关文档，包括《项目需求清单》、《贵阳高新区经济运行综合数据平台管理员手册》、《贵阳高新区经济运行综合数据平台使用手册》，《贵阳高新区经济运行综合数据平台应用开发手册》, 【验收文件】贵阳高新区经济运行平台-数据库设计说明书, 【验收文件】贵阳高新区经济运行平台-详细设计说明书,《维护手册》，《经济运行综合数据平台合作协议》等相关文档；
开发方搭建测试环境，提供必要的软、硬件；
开发方进行系统讲解，完成对测试方的培训；
测试方阅读相关文档并学习使用被测系统；
测试方对依据的文档中的不足提出意见，由开发方补充完善文档。
测试过程中需要开发方精悍有素的人员的大力支持与配合，并且为测试方提供现场技术支持。开发方有义务配合测试方完成本次的系统测试，并提供必要的支持工作。
由于测试阶段的根本目标是尽可能多发现并排除软件中潜藏的错误，最终把一个高质量的软件系统交给用户使用，因此用户方在测试阶段的直接参与、指正和确认起着十分重要的作用。开发方需要有专人负责本次系统测试工作，组织测试现场和相关硬件设备，沟通和协调各方关系。
测试方严格按照软件工程理论进行测试，提供专业测试人员和必要的测试工具，并以用户方的根本利益为工作原则指导。
2.4. 测试准备

测试方制定必要的标准，提交开发方和用户方审阅；
测试方整理测试需求，提交开发方和用户方审阅；
测试方书写测试计划，提交开发方和用户方审阅；
测试方编写测试用例，开发测试脚本，可提交开发方和用户方审阅；
2.5. 测试实施

测试方按照测试计划，按照设计的测试用例实施测试，记录测试过程中的问题。测试方每日完成测试日志，并将测试日志提交开发方和用户方。
2.6. 测试总结

测试方对每次回归测试提交缺陷列表，编写测试报告。

3. 测试过程

我公司针对用户方提出的测试要求，根据以往项目的实际经验，撰写测试技术解决方案。该解决方案包含了本次系统测试可能涉及到的测试类型，并分别介绍不同测试类型的内容和相关标准。
3.1. 系统功能测试

实施系统功能测试，完成对被测系统的功能确认。
采用黑盒测试方法，根据项目需求清单和用户手册，将功能点转换为功能测试需求，根据测试需求编写测试用例，保证所有功能点必须被测试用例覆盖。
测试用例的编写采用基于场景的测试用例编写原则，便于以使用者的角度进行测试。用例设计上兼顾正常业务逻辑和异常业务逻辑。测试数据的选取可采用GUI测试，等价类划分、边界值分析、错误推测、比较测试等测试方法中的一种或者几种数据的组合，一般以等价类划分和边界值法为主。
3.1.1. 系统功能项、系统业务流程测试
对《项目需求清单》中的所有功能项进行测试；
对《项目需求清单》中的典型业务流程进行测试；
对贵阳高新区经济运行综合数据平台项目系统的功能、性能、可靠性、安全性、可使用性、兼容性、安装和手册等方面进行了全面的测试。……
项目测试概况表

项目版本	开始时间	结束时间	用例数	用例通过数	问题数	用例通过率
个	个	个	％
V1.0	03-16 14:00	03-16 16:00	15	15	0	100%

项目测试概况表

功能	基本要求	测试情况	测试通过
是	否
登录模块	输入正确的用户名和密码可以登录系统。   输入错误的用户名和密码系统给出提示。	功能实现。
综合评价	具体要求如《项目需求清单》	功能实现
经济运行	具体要求如《项目需求清单》	功能实现
精准招商	具体要求如《项目需求清单》	功能实现
数据管理	具备查询、审核、发布、监控和统计功能	功能实现

功能测试结果：
测试需求100％被测试用例覆盖；测试用例100％被实施；权限矩阵测试覆盖率100％。未含有一类缺陷的系统，未含有二类缺陷的系统；含有三类缺陷4个（小于10个可以上线）。
3.2. 易用性测试

本系统的易用性测试不是本次测试的重点。我方的原则是在测试过程中如果发现有完全不符合IT行业习惯的操作、完成一次业务过多操作步骤和弹出窗口、界面颜色严重影响阅读、提示信息过于复杂或者简单、业务逻辑完全不符合思维逻辑的情况下，我方测试人员会提出易用性类型的缺陷，此类缺陷由用户方最终确认。
易用性测试的结果包括:


软件的用户界面友好，不出现中英文混杂的界面；


软件中的提示信息清楚、易理解，不存在原始的英文提示；


软件中各个模块的界面风格一致；


软件中的查询结果的输出方式比较直观、合理。
3.3. 容错测试

本系统的容错测试不是本次测试的重点。我方的原则是在测试的过程中检查对系统对非常规操作或业务流程的容错性处理，是否影响系统的正常运行，是否给与用户明确的提示信息等，此类缺陷由用户方最终确认。
容错测试的检查结果包括:


软件对用户常见的误操作能进行提示；


软件对用户的的操作错误和软件错误，有准确、清晰的提示；


软件对重要数据的删除有警告和确认提示；


软件能判断数据的有效性，屏蔽用户的错误输入，识别非法值，并有相应的错误提示。
3.4. 安全性测试

安全性测试的检查结果包括:


软件中的密钥以密文方式存储；


软件是有留痕功能, 即是保存有用户的操作日志；


软件中各种用户的权限分配合理；
3.5. 性能测试

对软件项目需求清单中明确的软件性能进行测试。测试的准则是要满足规格说明书中的各项性能指标。
测试用例
测试系统在预定环境和负载下的响应速度。通信效率、设备效率、执行效率。……

序号	用例名称	基本要求	测试情况	测试通过
是	否
1	登录	50名用户同时登录，	功能满足
2	查询	500名用户同时登录	功能满足
3	退出	50名用户同时登录	功能满足
4
5

参数设置

脚本循环次数	50	并发用户数	10、20、XX
真实客户端数量	20台	脚本录制方法	þ自动 þ手动
模拟线路类型	þ10/100M以太网

执行效率

序号	用例名称	基本要求	测试情况	测试通过
是	否
6	稳定性指标	系统有效工作时间≥99%	功能满足
7	稳定性指标	系统故障平均间隔时间≥300天	功能满足
8	信息服务指标	系统一般事务响应时间≤1秒	功能满足
9	信息服务指标	系统复杂事务响应时间≤30秒（判定操作响应时间≤30秒）	功能满足
10	系统简单查询	查看响应时间≤3秒	功能满足
11	系统复杂查询	查看响应时间≤5秒	功能满足

3.6. 适应性测试

用户的软、硬件使用环境和项目需求清单中的规定，列出开发的软件需要满足的软、硬件环境（包括服务器环境、客户端环境）。对部署环境进行测试。

测试内容	基本要求	测试情况	测试通过
是	否
硬件	软件对硬件的最低配置要求、推荐配置和特殊要求	数据库PC服务器： CPU， MB以上内存， GB以上硬盘   WEB服务器：以上CPU， MB以上内存， GB以上硬盘   客户机：以上CPU、MB以上内存， MB以上硬盘

3.7. 文档测试

用户文档包括: 安装手册、操作手册和维护手册。对用户文档测试的结果包括:


操作、维护文档齐全、包含产品使用所需的信息和所有的功能模块；


用户文档描述的信息正确,没有歧义和错误的表达；


用户文档容易理解,通过使用适当的术语、图形表示、详细的解释来表达；


用户文档对主要功能和关键操作提供应用实例；


用户文档有详细的目录表和索引表；


文档描述与程序当前版本符合

4. 测试结论

软件测试中用到的测试方法，测试工具，各个测试阶段产生的文档以及性能报告以性能参数表为依据。
1）稳定性指标
系统有效工作时间≥99%
系统故障平均间隔时间≥300天
2）信息服务指标
系统一般事务响应时间≤1秒
系统复杂事务响应时间≤30秒（判定操作响应时间≤30秒）
系统简单查询、查看响应时间≤3秒
测试结果：
  “贵阳高新区经济运行综合数据平台”在用户现场环境进行功能、可靠性、安全性、可使用性、兼容性、安装和手册功能七个方面进行了全面、严格、规范的测试。测试结果表明：“贵阳高新区经济运行综合数据平台”完全达到业务需求文档中的要求，并具有以下特点：
1. 系统架构先进、简单。该系统采用先进的B/S架构，后台支持各种大小数据库，系统结构清晰明确，可满足贵阳国家高新区大数据发展局网络软件应用的要求。
2. 功能全面。该软件由桌面系统、报表采集服务器、报表分析应用服务器等模块组成，涵盖了工商快报、工商旬报、会统报表、工商调查全部业务功能，提供了计会统等各种业务报表，保证业务在系统中的正常应用，保障了重点业务监控工作顺利开展。
3. 系统安全性较好。系统具有严格的权限设置功能，权限设置可细化到字段级，不同权限的人员只能看到自己有权限访问的字段内容，有效地保证了数据的安全性。
4. 系统设置灵活。该软件完全基于工作流程进行设计，系统业务功能操作简单，可轻松制作各种图表。
5. 系统可靠性高。对客户机掉电或强行关机后重启机器、网络异常中断。有完善的数据校验机制，对用户输入不符合要求的数据，给出了简洁、准确的提示信息，必要时给出了帮助。
6. 系统兼容性好。系统设计灵活，支持与其他分析系统相关应用软件实现数据交换和共享。能满足用户在各种操作系统，各种web应用服务器及各种主流数据库支撑软件下的使用。
7. 系统预测统计模型通过严格测试，以大量工商数据进行预测，使预测模型求出的预测数据更接近真实数据。对大量工商数据进行预警分析，预警结果正确。
8. 测试结论：通过。



5. 附录

5.1. 软件错误的严重性等级

5.1.1. Critical：1级错误
这一级别的错误一般包括以下内容:
ü 没有实现或错误地实现重要的功能；
ü 业务流程存在重大隐患；
ü 软件在操作过程中由于软件自身的原因自动退出系统或出现死机的情况；
ü 软件在操作过程中由于软件自身的原因对系统或数据造成破坏；
ü 在现有的软、硬建设环境下不能实现应有的功能；
ü 特殊软件在操作过程中可能危及系统和人身安全等。
5.1.2. Major：2级错误
这一级别的错误一般包括以下内容:
ü 没有实现基本功能，并且不存在替代办法；
ü 没有实现重要功能中的部分功能，并且不存在替代办法；
ü 业务流程衔接错误；
ü 用户的权限分配不合理；
ü 不可继续使用的异常错误；
ü 系统不明原因资源占用增大,导致性能不断下降；
ü 界面与需求不符；
5.1.3. Averagte：3级错误
这一级别的错误一般包括以下内容:
ü 没有实现基本功能，但存在替代办法；
ü 没有实现重要功能中的部分功能，但存在替代办法；
ü 可继续使用的异常错误；
ü 提示信息存在错误
5.1.4. Minor：4级错误
这一级别的错误通常为易用性方面的错误：
ü 界面不友好、前后风格不一；
ü 中英文混杂；
ü 查询结果输出不直观；
ü 错别字，提示信息轻微错误；
ü 界面控件缺陷；
ü 快捷键错误；
5.1.5. Enhancement：5级错误
通常为不影响正常使用下的用户方提出的改进性建议，或者文档方面的错误。
ü 界面调整
ü 功能改进调整建议
ü 颜色,字体,图像等不合适
ü 基本操作过于复杂
ü 使用手册与功能不符（功能使用正常）

义薄云天尊天敬神

……