第一章 背景
为保证原生开发的ISV生态应用首发版、迭代以及紧急上线的产品质量,对测试流程以及标准要求进行说明。
第二章 生态应用首次发版的验收标准和要求
基于YonBIP原生开发的ISV生态应用提交集团生态产品质量部验收时,伙伴测试人员必须在“${产品名}-DEV-测试”商开测试环境中将所有的产品功能验证充分达到上线要求,商开测试环境验证完后将生态应用上架到云市场,然后生态产品质量部会提供一个核心3环境的测试租户,伙伴测试人员在核心3测试租户将产品验证完毕后,同时必须要按以下检查项清单由伙伴质量负责人提供相关的测试报告,发起验收申请邮件,才能提交集团生态产品质量部进行验收。“是否必须”列为“是”的必须提供,“可裁剪”的可以根据产品应用场景是否需要来提供相关的报告。
检查项 | 检查项的具体要求 | 是否必须 | 提供角色 |
---|---|---|---|
安全测试报告 | 根据ISV安全要求对上线的代码进行安全扫描出具安全测试报告 | 是 | 质量负责人 |
并发互斥 | 产品功能涉及多个人操作时,产品业务逻辑控制需要出具 | 可裁剪 | 质量负责人 |
自动化验证报告 | 自动化脚本执行结果报告(首发版可以不提供但是必须给出自动化脚本完成时间,下次迭代上线必须出具脚本报告) | 是 | 质量负责人 |
环境测试报告 | 产品对多种主流浏览器和系统的验证报告 | 是 | 质量负责人 |
压测 | 产品有大数据场景服务需要利用压测工具出具压测报告 | 可裁剪 | 质量负责人 |
大数据 | 产品有大数据场景需要出具大数据量的效率报告 | 可裁剪 | 质量负责人 |
发版说明 | 产品发布的相关业务场景以及产品功能介绍 | 是 | 质量负责人 |
产品功能点验证报告 | 产品功能点验证结果报告 | 是 | 质量负责人 |
遗留问题报告 | 产品上线前未解决完的问题清单 | 可裁剪 | 质量负责人 |
单点效率 | 产品相关操作的效率报告 | 是 | 质量负责人 |
业务流程场景验证报告 | 产品主流程以及业务场景验证报告 | 是 | 质量负责人 |
打印测试报告 | 产品有打印功能出具打印验证报告 | 可裁剪 | 质量负责人 |
计量计费 | 产品有用户数或者时间控制的需要出具产品计量计费报告 | 可裁剪 | 质量负责人 |
权限测试 | 产品功能权限验证报告 | 是 | 质量负责人 |
移动测试报告 | 产品有移动端的出具移动测试结果 | 可裁剪 | 质量负责人 |
帮助文档 | 产品操作文档 | 是 | 产品规划负责人 |
详细的需求文档 | 产品功能的详细需求文档 | 是 | 产品规划负责人 |
测试用例 | 产品功能单元和联调测试用例 | 是 | 质量负责人 |
产品全流程演示的视频 | 产品在核心3测试租户操作的全流程视频 | 是 | 质量负责人 |
检查项 | 检查项的具体要求 | 是否必须 | 提供角色 |
-------- | -------- | -------- | -------- |
验收申请邮件 | 验收前申请邮件 | 是 | 质量负责人 |
ISV-JIRA系统问题状态 | 所有测试问题必须体现JIRA系统中并且问题进行关闭,需要导出JIRA问题清单 | 是 | 质量负责人 |
伙伴测试人员在商开测试租户验证完后,找生态产品质量部的测试人员要一个核心3的测试租户,伙伴测试人员在核心3测试租户验证完成后,将准备的所有测试文档发出来提交生态产品生态质量部进行验收,邮件发送给下面人员zhangsr1@yonyou.com; zxd@yonyou.com; huangqsh@yonyou.com;ltr@yonyou.com。以及相关负责的产品和开发技术人员。
第三章 生态应用迭代上线的质量标准和要求
基于YonBIP原生开发的ISV生态应用上线后,对于项目和客户的新需求以及非紧急支持问题进行迭代上线,生态应用迭代上线,必须在原厂上线后的下一周五晚上进行迭代功能升级,跟原厂上线的时间错开一周时间,迭代上线时间点:有感的话只能23点,无感21点。伙伴开发完成后,伙伴测试人员必须在“${产品名}-DEV-测试”商开测试环境中将所有的产品功能验证充分达到上线要求,伙伴测试人员必须要按以下检查项清单由伙伴质量负责人提供相关的测试报告,发起迭代上线申请邮件,才能提交集团生态产品质量部进行验收。“是否必须”列为“是”的必须提供,“可裁剪”的可以根据产品应用场景是否需要来提供相关的报告。生态产品质量部检查完相关报告后,邮件回复同意进行上线,伙伴开发人员将代码更新到线上的测试租户,伙伴测试人员在线上测试租户验证完毕后必须发邮件再通知伙伴开发人员将线上的客户租户进行代码的更新。发邮件的收件人中必须发送给以下邮箱进行通知:zhangsr1@yonyou.com; zxd@yonyou.com; huangqsh@yonyou.com;ltr@yonyou.com。
检查项 | 检查项具体要求 | 是否必须 | 提供角色 |
---|---|---|---|
上线内容清单(迭代需求文档) | 迭代上线的需求文档 | 是 | 产品规划负责人 |
产品功能点验证情况 | 产品功能点验证报告 | 是 | 质量负责人 |
支持问题验证情况 | 支持问题验证报告 | 是 | 质量负责人 |
上线必测清单(业务流程场景测试) | 产品主流程验证报告 | 是 | 质量负责人 |
UI自动化验证结果报告 | 自动化执行报告 | 是 | 质量负责人 |
接口自动化验证结果报告 | 自动化执行报告 | 是 | 质量负责人 |
安全报告 | 安全工具扫描代码的安全报告 | 是 | 质量负责人 |
性能测试报告(包括单点效率、压测、大数据量报告) | 产品有大数据场景服务需要利用压测工具出具压测报告以及大数据量的测试报告 | 可裁剪 | 质量负责人 |
迭代上线的邮件申请 | 上线的邮件申请 | 是 | 质量负责人 |
测试用例 | 迭代功能的测试用例 | 是 | 质量负责人 |
ISV-JIRA系统问题状态 | 所有测试问题必须体现JIRA系统中并且问题进行关闭,需要导出JIRA问题清单 | 是 | 质量负责人 |
迭代上线过程中必须要将测试过程中的测试问题填入系统,并且填问题的时候必须填相关的迭代影响版本(该版本指本次迭代上线的发版时间),验收邮件申请前,需要将本次迭代功能影响版本告诉生态产品质量部,按照影响版本过滤出迭代过程中的测试问题状态必须跟提供的Jira问题状态一致的,问题数也必须一致。
第四章 生态应用紧急上线的质量标准和要求
基于YonBIP原生开发的ISV生态应用上线后,对于影响项目和客户的紧急问题,上线时点根据紧急状况确定,伙伴开发完成后,伙伴测试人员必须在“${产品名}-DEV-测试”或者“${产品名}-RELEASE-测试”商开测试环境中将所有的产品功能验证充分达到上线要求,发起紧急上线申请邮件,才能提交集团生态产品质量部进行验收。“是否必须”列为“是”的必须提供,“可裁剪”的可以根据产品应用场景是否需要来提供相关的报告。生态产品质量部检查完相关报告后,邮件回复同意进行上线,伙伴开发人员将代码更新到线上的测试租户,伙伴测试人员在线上测试租户验证完毕后必须发邮件再通知伙伴开发人员将线上的客户租户进行代码的更新。 发邮件的收件人中必须发送给以下邮箱进行通知:zhangsr1@yonyou.com; zxd@yonyou.com; huangqsh@yonyou.com;ltr@yonyou.com。
检查项 | 检查项的具体要求 | 是否必须 | 提供角色 |
---|---|---|---|
紧急上线代码以及脚本审查单 | 紧急上线的代码和脚本进行检查签字 | 是 | 质量负责人 |
产品必测清单执行结果 | 产品主流程验证报告 | 是 | 质量负责人 |
紧急情况说明 | 紧急上线问题清单 | 是 | 质量负责人 |
UI自动化验证结果报告 | UI自动化验证报告 | 是 | 质量负责人 |
接口自动化验证结果报告 | 接口自动化验证报告 | 可裁剪 | 质量负责人 |
紧急上线申请邮件 | 紧急上线申请的邮件 | 是 | 质量负责人 |