如何用WeTest做手游做性能测试试

一、项目背景
1、 高价值IP
龙之谷 ,一款优秀的端游移植到手游平台,凭借的丰富的游戏内容和优秀的游戏品质,公测首日便在畅销榜登顶,取得了巨大的成功。&
游戏内容不仅继承了端游的内容,还根据手游操作方式以及平台特性进行了改进,使之更适合移动用户操作,界面分部也更加合理。&
2、初期兼容性问题较多
龙之谷与其他游戏产品一样,版本初期暴露的兼容性问题很多,类似无法安装以及必现的CRASH等致命问题多次出现外,还存在着大量UI错位、资源加载异常、屏幕分辨率适应差等严重级别的兼容性问题。&
二、定制测试方案
游戏品质方面龙之谷将测试划分做到了极致,从多个角度出发将各项指标都进行专业测试,其中WeTest平台负责支持了兼容性测试部分,为了保证兼容性方面的质量从轻测版本到运营上线做了30余次全量人工兼容测试以及上百次的自动化测试,目的就是保证产品在兼容性方面的质量。
1、个性化用例
随着内容不断丰富和完善,我们也针对性的制定个性化的用例,进行某一模块及机型的测试,如将游戏功能部分进行拆分,例如:界面UI测试与战斗系统测试分步进行,更是将社交功能如拍脸、分享单独进行测试,将兼容性测试化整为零,使得测试覆盖面更加完善。&
2、低配机型测试
低配机型是兼容性问题的易发点,针对这个现象适配中心采取专项测试,对性能数据更加严格的监控并加入一部分极限测试,将更多有帮助的信息反馈给项目组。如今大环境下很多MMO产品已经放弃了对2G以下内存设备的支持,但腾讯大盘数据显示三月TOP100游戏机型中2G以下内存机型仍存在11部,总用户占比6.4%,龙之谷考虑到这部分用户,针对低配机型反馈的问题进行了修复优化,最终完成了对低配设备用户的支持。
3、支持主流模拟器
目前重度手游产品有部分用户在PC端使用模拟器进行游戏,龙之谷用户也不例外,也存在一批模拟器用户,适配中心也对模拟器测试进行了支持,虽然模拟器测试不属于常规手游兼容性测试支持范围,但为了更好扩展产品的支持度,搭建测试环境以及安排对模拟器原理和使用熟练人员,达成对几款主流模拟器的测试覆盖,通过测试结果来排查下问题原因,尽可能做到支持覆盖。&
*注:兼容性S未出现严重及以上问题
兼容性A出现非必现的严重及以上问题
最后一点就是在保证测试质量的前提下,尽快的完成测试。由于兼容性测试阶段属于版本测试流程的尾部,所以兼容性测试报告出现延迟极可能导致整个版本发布时间的变动,造成无法预估的损失。兼容测试团队在接受到任务提测后,8-24小时完成报告,报告内容包括整个测试流程各个设备的状态以及操作截图、性能日志和缺陷总结等,将完整的测试数据直观的展示给相关人员。
三、最终效果
在项目测试阶段,兼容性测试团队累积为《龙之谷手游》挖掘出了172个兼容性问题,其中17个致命级问题,55个严重问题,将APK Crash、无响应、UI问题等揭露出来,提前进行修复或对问题进行评估,规避了适配风险,为游戏正式开启不删档运营,为用户良好的游戏环境提供了坚实的支持和保障。
关于WeTest兼容性测试团队
腾讯WeTest兼容性测试团队积累了10年的手游测试经验,旨在通过制定针对性的测试方案,精准选取目标机型,执行专业、完整的测试用例,来提前发现游戏版本的兼容性问题,针对性地做出修正和优化,来保障手游产品的质量。目前该团队已经支持所有腾讯在研和运营的手游项目。
服务目前已经对外开放,欢迎前来使用:
WeTest兼容性测试团队期待与您交流!You Create,We Test!
如果对使用当中有任何疑问,欢迎联系腾讯WeTest企业qq:
阅读(...) 评论()一、&&&&&&&&&什么是手游性能测试
性能(performance):是系统实现其功能的能力。例如,响应时间、吞吐能力、事务处理数。
性能测试,是指在特定负载情况下,确定系统的响应速度和稳定性的表现。它也可以研究、测量、验证系统的其他特征,比如可扩展性、可靠性和资源使用率。通俗的讲:通过模拟生产运行的业务压力量和使用场景组合,测试系统的性能是否满足生成性能要求,即在特定的运行条件下验证系统的能力状况。
按手游构成特点,将性能测试分为客户端性能、服务器性能两大块。
二、&&&&&&&&&性能测试的关键指标
客户端性能的关键指标有:
CPU占用率、内存占用率、流量耗用量、FPS(每秒传输帧数) (见下图)
服务器端性能的关键指标有:
响应时间、并发用户数、吞吐量等;
三、&&&&&&&&&如何做性能测试
1.&&&&明确测试目标;了解性能测试需求;
2.&&&&编写性能测试计划;
3.&&&&分析性能测试需求;
4.&&&&编写性能测试方案、设计测试场景;
5.&&&&相关资源准备(人力资源、硬件资源、软件资源);
6.&&&&测试程序开发;脚本维护、测试数据准备、测试监控准备;
7.&&&&执行性能测试并收集测试结果;
8.&&&&分析结果;
9.&&&&系统调优及再测试;
四、&&&&&&&&&性能测试五大误区
?&误区 1:性能测试不是手游测试的主要矛盾,兼容性才是
开发者过高的预估了兼容性测试的重要性,而过低忽略性能测试。其实很多问题的原因就是性能导致的,例如“游戏玩到一半,突然来了个电话,再返回时游戏界面崩溃”、或者“在你好不容易在手机上打了一大段字,正要发送时,来了条短信,而记事软件已经崩溃,辛辛苦苦编辑的内容早就没了” 这类问题非常容易引起玩家的反感,造成流失。
?&误区 2:性能测试要像功能测试一样,覆盖到所有功能
性能测试的主要目的是为了系统调优。不可能对所有的系统功能都进行性能测试。在测试设计时需要结合当时的实际系统,先分析软件可能存在的瓶颈,此时可依据 80/20 原则分析:对系统资源的利用、数据大量传输、数据转换、用户使用频率、逻辑复杂度等进行分析,选择要执行的功能和场景,再依此制定性能测试的方案。
?& 误区 3:做性能测试主要就是测试工具的使用
我做不好性能测试,是因为对测试工具不熟悉;测试工具可以自动生成我所需要的报表;依靠性能测试工具就能准确定位系统颈;测试工具在测试中只起到辅助性作用。而测试方案、测试场景的分析、问题的定位这才是性能测试的关键。不要期望测试工具能够生成你想要的所有东西(报表、瓶颈分析),工具只能近可能多的提供给我们分析的依据。
?& 误区 4:提高一下硬件配置就可以提高性能了,因此性能测试不重要
随着软件规模的扩大,提高硬件配置只是解决性能问题的一个基本手段。因为如果软件自身存在性能问题,再多的资源可能也不够用,例如:内存泄漏问题,随着时间的增加,内存终究会被耗尽,最后导致系统崩溃;数据库链接数等配置信息、数据库死锁是和硬件很难挂钩的;算法逻辑问题导致程序缓慢。即使要提高已经配置,也要首先用性能测试的方式得出哪些硬件可能存在瓶颈。
?& 误区 5:随便找个环境下进行一下性能测试就可以了
做性能问题分析可以在类生产环境上进行,配置可以有些差别,一般性能测试还是在类生产环境进行,原因有两个:1)性能测试要尽可能早的完成,提早发现问题并整改;2)在生产环境进行测试可能会造成脏数据。
五、&&&&&&&&&性能测试工具推荐
简单推荐2款工具,分别给玩家和开发者。
1. & &玩家向:安兔兔等跑分软件
可以快速将app性能跑出一个整体分。但有个致命问题,无法单独查看单独某个功能、某个时间点的具体数值。无法定位问题。
2. & &开发者向:WeTest性能测试(腾讯WeTest官方出品)
提供android版本和云端版本2种性能测试方案,这里着重介绍下本地版本,使用3步即可:
<span style="color:#)&&&& 打开下载WeTestAPP,并安装(手机需越狱或Root);
<span style="color:#)&&&& 运行手机上的WeTest APP,选择手游后点“开始测试”;
<span style="color:#)&&&& 上传并查看报告
结束测试后,打开WeTestAPP点击“上传”按钮。
登录点击“我的主页”里面,左侧的“手游测试报告”,在页面中就会出现“性能测试”结果报告,点击查看,就可以查看完整的测试报告;
忆苦思甜下&& 没有这些工具前,我们是怎么测试的?
这里分享一个案例。测试人员使用组合式的方式,分别从不同的工具上采集核心数据,并且数据不全,也不专业。
Wimat负责CPU部分,而360负责流量采集部分。其实Wimat使用方式如下:
1)&&&&勾选所要监控的对象并设置好监控时间后,点击开始,WiMAT会在后台启动一个服务,由这个服务监控各项指数的变化并写到结果文件里;
2)&&&&这时候可以打开或切换到要测试的应用程序,运行一些测试用例;
3)&&&&结束后切换回WiMAT界面,点击停止结束监控,WiMAT会告诉你结果文件的存储位置
360手机卫士对流量监测的使用方法如下:
1)& 进入安全保护tab页,选择流量监控;
2)& 进入后再切换到统计排行tab页;
本文已收录于以下专栏:
相关文章推荐
俗话说,用户体验不谈性能就是耍流氓。 在PC游戏上的性能问题并没有那么明显,加个内存换个CPU或者刷个主频就能轻松搞定;到了手游时代后情况则显得比较严峻,捉襟见肘的内存使得资源加载时如履薄冰,加上高中...
关于GAutomator为了保证线上游戏品质,保障玩家的游戏体验,上线前的测试工作是游戏开发的重要一环。要做好测试工作,往往需要重复测试一些重度游戏场景,例如:新手引导、pvp对战、多人团战副本等。使...
人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..
一、&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;什么是手游性能测试
性能(performance):是系统实现其功能的能力。例如,响应时间、吞吐能力、事务处理数。
性能测试,是指在特定负载情况下,确定系统的响应速度和稳定性的表...
偶然间看到了阿里中间件Dubbo的性能测试报告,我觉得这份性能测试报告让人觉得做这性能测试的人根本不懂性能测试,我觉得这份报告会把大众带沟里去,所以,想写下这篇文章,做一点科普。
首先,这份测试...
感谢郝强博士分享的《车源及客户智能算法介绍》(以下简称《算法介绍》)。《算法介绍》中,郝博士介绍了4个方面内容,1、成交预测;2、列表曝光排序;3、车辆推荐;4、图片优化,主要目标是用算法优化车源转化...
怎么开展性能测试
  第一节测试的一般步骤
  性能测试的工作是基于系统功能已经完备或者已经趋于完备之上的,在功能还不够完备的情况下没有多大的意义(后期功能完善上会对系统的性能有影响,过早进入性能...
手游性能测试指南
/forum.php?mod=viewthread&tid=466835
  随着手游3D类型游戏增多,对...
性能优化的常见概念
性能调优的思路
1.性能摸底测试
2.定义性能优化的目标
4.优化并重新测试验证
最近工作中,总有一种力不从心的感觉,总是感觉有一肚子知识,但是在实际工作中却用不到.下面我来谈一谈如何把软件测试做的更好的个人看法吧.
1.关于测试准备
实际工作当中,旺旺是任务驱动的工作模式,测...
他的最新文章
讲师: 许鹏
讲师:董付国
您举报文章:
举报原因:
原文地址:
原因补充:
(最多只允许输入30个字)关注51Testing
腾讯WeTest教你玩转手游测试
发表于: 09:04 &作者:51Testing & 来源:51Testing软件测试网原创
推荐标签:
&软件大小:3.89MB资源类型:文档授权方式:51Testing软件测试网授权&&&简介:& & &随着智能设备的普及和的兴起,各家互联网巨头纷纷在往移动端布局和转型,同时初创的移动互联网公司也都盯着这个市场希望分一杯羹。在这个大环境下,互联网的重心已经慢慢从Web端转向了移动端,而移动端的也变得越来越重要了。在移动端的软件里,手游又是其中非常大的一块。本期内容,51Testing会和腾讯WeTest的资深测试专家一起来和大家分享手游测试的相关知识,希望能给大家带来帮助!...
搜索风云榜
( 10:21:46)
满满的干货,感谢分享。
51Testing官方微信
51Testing官方微博
测试知识全知道打开微信,点击底部的“发现”,使用“扫一扫”即可将网页分享至朋友圈。
您已超过时限,您的订单已经取消。对给您带来的不便,我们深表歉意!
腾讯WeTest&TesterHome联合手游测试沙龙
WeTest腾讯质量开放平台
上海&徐汇区&徐汇区虹梅路1801号 腾讯大厦
活动详情12月3日,腾讯WeTest联合TesterHome将举办手游测试沙龙(第1期 上海站),由腾讯WeTest发起,与优质社区TesterHome联合推出,专注于手游测试的系列沙龙。我们致力于完善手游测试知识图谱,提供腾讯内外部优质移动测试开发干货、工具和经验,给真正热爱技术的测试开发者,助力提升手游品质。主办方:腾讯WeTest、TesterHome & & 重要合作伙伴:腾讯GAD活动名称:腾讯WeTest&TesterHome手游测试沙龙活动时间:?12月3日 14:00-17:00活动地点:上海市徐汇区腾讯大厦&测试经理、手游测试人员、移动测试开发同学《高品质手游的锻造之路》—Jensenli(李源纯)腾讯手游的研发流程对外开放:让你掌握精品手游质量标准;&分享腾讯内部精品手游质量标准茶歇《服务器性能测试原理及应用》—Dejunzhang(张得俊)腾讯游戏服务器性能测试揭秘,掌握服务器性能测试原理& &&&& & &&&李源纯腾讯游戏资深测试专家,拥有丰富的手游项目质量管理经验,精通高品质手游测试流程与标准。曾负责天天跑酷、雷霆战机、星河战神等S级手游的测试管理与专项测试工作,熟悉腾讯手游发布流程与测试技术。&& & & & &张得俊腾讯WeTest后台开发总负责,腾讯资深游戏后台开发、服务端性能高级测试专家,深耕游戏行业数年。支持腾讯多款S级游戏的服务器性能测试工作,如QT语音、节奏大师、天天系列手游。 报名
腾讯WeTest&TestHome手游测试沙龙
徐汇区虹梅路1801号 腾讯大厦

我要回帖

更多关于 如何做好性能测试 的文章

 

随机推荐