A/B测试终极指南 - 文章 - 伯乐在线
& A/B测试终极指南
原文地址：，翻译：
A / B测试不是一个时髦名词。现在很多有经验的营销和设计工作者用它来获得访客行为信息，来提高转换率。然而， A / B测试与SEO不同的是，人们都不太知道如何进行网站分析和可用性分析。他们并不完全明白它是什么或如何更有效的使用它。本文将为你提供有史以来最好的A / B测试教程。
什么是A/B测试?
A / B测试的核心就是：确定两个元素或版本（A和B）哪个版本更好，你需要同时实验两个版本。最后，选择最好的版本使用。
网络上的A / B测试，即你设计的页面有两个版本（A和B），A为现行的设计（称为控制） ， B是新的设计。比较这两个版本之间你所关心的数据（转化率，业绩，跳出率等） 。最后，您选择效果最好的版本。
测试哪些东西?
你要选择什么去测试取决于你的目标。例如，如果你的目标是增加顾客数量，那么您可能测试下列内容：注册表单数量，字段类型要求，隐私政策等。在这种情况下A / B测试的目标是要弄清楚什么阻止了游客注册。需要填写的表单的数量？用户的隐私？还是该网站做了让游客不信任的事情？所有这些问题都可以通过一个个A/B测试获得答案。
每一个A / B测试内容都是独一无二的，单通常测试一下这些内容：
● 行动按钮的措辞，大小，颜色和位置，
● 标题或产品说明，
● 表单的数量和字段类型，
● 网站的布局和风格，
● 产品定价和促销活动，
● 着陆和产品页面上的图片，
● 页面上文字的长度（少Vs多）。
一旦你决定要测试什么，下一步当然是要选择一个合适的测试工具。如果你想要一个基础的免费工具，可以使用。如果你想要功能更加强大的工具，可以使用
。其他的一些选择都是可以的，建立试验在所有工具中都很相似，所以我们只需讨论一种即可。
你可以通过两种方法建立A / B测试：
在页面测试加载前替换元素
如果你测试的是页面上的单个元素，如注册按钮，然后需要在测试工具中设置按钮。当测试时，在A / B工具将在页面给用户前随机替换按钮。
重定向到另一页面
如果你想通过A / B测试整个页面，比如说，一个绿色的主题和一个红色主题，那么你就需要创建和上传新的页面。例如，如果您的主页是 /index.html，那么你需要创建另外一个页面 /index1.html。当测试运行时，您的测试工具将一部分访问者重定向到第二个网址。
一旦您使用了上面的两种变换方法，下一步是建立您的转换目标。通常，你会得到一个JavaScript代码，您可以复制并粘贴到一个需要游客到达的目标网页。例如，如果您有一个电子商务网站，你正在测试的“立即购买“按钮的颜色，然后您的转换目标将是购买成功后的“谢谢您“页面。
在转换事件发生的同时，在A / B测试工具，记录了哪种页面显示给了访问者。经过足够数量的游客，您可以确定哪个页面带来了最多的转化！建立和运行的A / B测试，其实很简单。
该做什么和不该做什么虽然A / B测试是超级简单的概念，但是请记住，以下这些都只是我自己的经验。注意事项● 不要分开你的测试情况。始终两个版本同时进行测试。如果您第一星期测试第一版本，第二星期测试第二个版本，你就错了。有可能B版本带来的流量更糟糕，但是带来了更好的业绩，因为两个版本之间的流量始终存在不一样。
● 不要结束得太早。有一个概念叫做“统计信心“ ，无论你的测试结果明显的。如果你只有少数转换或游客，它都无法确定最终的结果。大多数A / B测试工具都有报告统计，但如果你是手动测试，你可以使用 。
● 不要让常客惊讶。如果你正在测试网站的一部分。包括新访客和常客，不要使他们觉得震惊。尤其不要因为哪些可能不会最终实施变化。
● 不要让你的直觉推翻了测试结果。在A / B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站，一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率，而不是美学，所以在得到测试借过钱不要拒绝任何尝试。
● 知道运行测试多久。结束太早，可能会使你花了时间但是没有得到有意义的结果。结束太晚也不好，因为效果不佳的页面可能影响你的转化和业绩。使用一个，来确定测试多久以后来结束它。
● 将相同的页面呈献给同一个访客。您的工具应该有一个记忆访问者已经看到的页面的功能。这样可以防止向同一用户显示一不同的价格或不同的促销优惠。
● 让您的A / B测试在整个网站保持一致。如果你正在测试的登录按钮在多个地点出现，然后一个访问者应在所有的地方看到同样的变化。在页面1显示一个样子，在页面2显示两外一个样子，会使试验结果被干扰。
● 做很多的A / B测试。让我们面对现实吧：你的第一个A / B测试可能会无效。但是不要绝望。一个A / B测试只能有三个结果：没有结果，不好的结果和好的结果。优化转换率的关键是要做大量的A / B测试，把所有的好的结果拼接起来，最终推动业绩。
经典A/B测试案例研究
这里有一些如何进行A/B测试的案例研究。
37Signals测试他们的价格页面的标题。最终发现， “30-Day Free Trial on All Accounts “比原来的“Start a Highrise Account. “多产生30 ％以上的订单。
(Dustin Curtis) 这是一个用来测试召唤用户在Twitter上关注自己的试验。. Dustin 发现提示文字是“You should follow me on Twitter here” 的效果是“I’m on Twitter.” 173%
从两个不同的A / B测试将在网站上增加转换率的人的照片：一个令人令人惊讶的结论，A/B测试两张图片，将真人照片放在网站上会获得一倍的转化。研究说明，我们潜意识被照片吸引了。
(Tim Ferriss) 一个将用户选择减少的变化使转化提高了20%，最终的版本在细节和文字上更易吸引目光。
“It’s free” 这个单词增加了注册按钮点击次数的28%, 测试结果表明，在行动召唤上一些很小的变化会带来令人惊讶的结果。
依靠A / B测试， CareLogger把注册按钮从绿色修改为红色增加了34％转换率！
如果你有一个在线商店，很常见的就是支付流程。这个A / B测试发现，多个支付流程比单个支付流程完成的销售更好。
打败传统的智慧，此A / B测试发现一段风格形式输入字段比传统形式的布局更好。
一个软件产品的公司重新设计他们的产品页给它一个现代的外观和增加信任模块。最终结果：他们成功地增加20 ％的总销售额。本案例研究证明了设计对销售的影响。
通过优化邮件地址获取提高了258 ％。重点是消除所有的干扰，并要求游客只需提供电子邮件地址。使用亚马逊礼品卡让他/她的完成个人资料。
A/B测试工具
有许多侧重点，价位和功能不同的A / B测试工具，这里是一些：
搜索巨头提供的免费A/B测试工具。一个很好的入门级工具，但是没有一些先进的功能。
基于Ruby on Rails开发的服务器组件。需要编程和代码集成。
一个易于使用的A / B测试工具，包含一些先进的功能，如所见即所得的编辑器，单击地图，访问者分割和标签等。
集成着陆页设计的A / B测试工具。
企业级测试工具。
一些深入研究的A/B测试资料
如果你已经读到这里，那么A / B测试大概已经激起你的兴趣。在这里，有一些非常好的A/B测试资源。
寻找你下一个A/B测试的灵感
一个猜测那种情况会最终胜利的游戏。
大量的A/B测试技巧和方法。
一个可以分享和阅读A/B测试结果的地方。
搜索引擎的A / B和多变量的案例研究。
一些介绍性文章
By Ben Tilly.
From Microsoft Research.
From the 20bits blog
A/B测试中的数学
From the 20bits blog.
From my own blog.
可能感兴趣的话题
关于伯乐在线博客
在这个信息爆炸的时代，人们已然被大量、快速并且简短的信息所包围。然而，我们相信：过多“快餐”式的阅读只会令人“虚胖”，缺乏实质的内涵。伯乐在线内容团队正试图以我们微薄的力量，把优秀的原创文章和译文分享给读者，为“快餐”添加一些“营养”元素。
新浪微博：
推荐微信号
（加好友请注明来意）
– 好的话题、有启发的回复、值得信赖的圈子
– 分享和发现有价值的内容与观点
– 为IT单身男女服务的征婚传播平台
– 优秀的工具资源导航
– 翻译传播优秀的外文文章
– 国内外的精选文章
– UI,网页，交互和用户体验
– 专注iOS技术分享
– 专注Android技术分享
– JavaScript, HTML5, CSS
– 专注Java技术分享
– 专注Python技术分享
& 2017 伯乐在线不会 A/B 测试的 Web 设计师不是好程序员 - 技术翻译 - 开源中国社区
不会 A/B 测试的 Web 设计师不是好程序员
【已翻译100%】
英文原文：
推荐于 1年前 (共 9 段, 翻译完成于 11-04)
参与翻译&(2人)&: ,
设计一个网站无论对设计者还是业主都是一个浩大的工程。但是，不管你是创建一个新的网站，还是对已有网站做重新设计，有一个至关重要的点，你的决定要基于数据而不是基于感觉。对客户和设计来说，在设计过程中做出的决定，可以决定创意，可以决定商业的成败。为了避免你下一个作品中潜在的缺陷，你应该将 A/B 测试做为你设计工具的标准配置。对客户网站做简单的 A/B 测试可以让你交付之前避免设计，导航，功能上的任何缺陷。这样可以让你交出最终产品，不仅视觉效果极佳，还有优化的交互 -- 他们会爱上你的。听起来很有趣？继续阅读，看看 A/B 测试如果让你成为更好的 web 设计师。
&翻译得不错哦！
A/B 测试 101
A/B 测试（又称分割测试），允许你在一个网站测试两个不同的测试元素，测试目的是判断哪种设计对完成特定目标是最有效的。
做 A/B 测试时，进入网站的用户会被随机分配到两个组：一半在“A 组”，另外一半在“B 组”。随后每组显示你选定的不同设计元素&—&例如，登录页面，商铺主题，响应按钮，或者结帐流程。
通过对真实用户实时测试两组不同的设计元素，你可以收集成有意义的数据用来确定每个组的设计元素对访客行为的影响。这会给你更来设计洞察力，帮助你为客户创建最佳在线商业方案。
从本质上讲，A/B 测试帮助你在每一个项目上设计出最好的网站。&
&翻译得不错哦！
为什么 Web 设计者应该做 A/B 测试
创建最好的网站应该就是你开始在设计项目中把 A/B 测试作为标准服务来提供的充分理由。不过如果你还不服气的话，下面也是你可以预见到的其它好处：
1. 增加收入&— 通过将 A/B 测试当做一项服务涵盖到你的自由职业项目中，就能为你带来更多的项目收益。你既可以将其作为标准化服务包含到你的 web 设计包中，也可以利用其在网站优化方面的好处将其作为加钱项。你的客户会花费一个体面的金额以让他们的网站建设专业起来 — 把 A/B 测试作为一项后续服务来做出明智的设计修改，这样做将帮助他们获得收入的最大爆发(而你自己也能赚更多一点)。
2. 减少客户纠纷&— 当扯到要为一个网站做出设计决定的时候，看起来房间里的每个人都对于网站应该怎么怎么样持有各自的观点 — 特别是为此花了钱的客户。幸运的是，A/B 测试为你提供了具体的数据来指导设计决定，并且无需得罪客户就能化解掉不必要的纠纷。
3. 心满意足的客户&— 将所有精力集中到网站的视觉设计上而忽略其功能性目标这种事情是很容易发生的。然而大多数客户确实想要一个好看的最终产品，每个客户其实更关心那个网站的转化。运行 A/B 测试能向你的客户说明你是真正在关心他们业务的在线目标的，并且也希望尽力帮他们完成预期。
&翻译得不错哦！
如何设计一个简单 A/B 测试
如果之前从来没有运作过一次 web 优化实验，第一次的 A/B 测试看起来就会相当令人为难。但是不要担心，创造一个简单的 A/B 测试其实还是相当简单的。下面我会概述一种你可以开始尝试运作你的首次 A/B 测试的策略性方法。
定义你的目标
在你开始测试一些东西的时候，你需要去理解网站的目的。理解了网站的目的就能让你确定在量化的指标方面成功对于你的客户意味着什么。这些指标，也叫做转换，代表了你所期望的访问者将会在网站上进行的动作。通过及早定义目标和成功指标，你就为 A/B 测试将要执行的操作划定了一个框框。
你的转换指标将根据你所设计的网站的类型而有所不同。下面的表格概述了不同网站类型的常见转换指标：
&翻译得不错哦！
为了让你的测试得到最好的结果，你需要识别过程通道中用户失去访问兴趣或者脱离通向转换路程的区域。这些障碍被称为瓶颈。就是这些瓶颈对你的网站的表现产生了消极的影响，也就是你想要运作 A/B 测试的地方。
如果你在客户的商店中设置了 Google Analytics，其内置的转换跟踪可以提供相对简单的方式来识别用户体验中潜在的瓶颈，可以在分析管理界面中设定你的转换目标，通过定义一些用户走向转换的过程中的事件和页面就可以简单地创建一个转换通道。
电子商务网站上常见的一个简单转换通道示例应该是这样的: “放到购物车” 到 “查看购物车”到“下单” 到 “选择支付方式” 到最后 “订单确认”。这里有一个&&能帮助你开始在 Analytics 上进行转换跟踪，另外还有一个能帮助你进行更多&&的设置。
&翻译得不错哦！
一旦你设置好了转换目标和通道，你就能够使用&Google Analytics 的“Goals“找到的“Goal Flow”报告来识别瓶颈了。通过对造成最多门槛和用户退出的事件和页面进行高亮显示，这份报告能够帮助你着力于对测试最有益的区域。
创建一个假设
一旦你确认了目标并识别除了瓶颈，你就应该创建一个你确信的假设，有关于对站点的设计修改会改变访问者行为的。这会使得你的测试更具价值，因为它想过程中加入了一层目的，确保你仍在保持对于整个测试目标实现过程的跟踪。
例如，假设你的客户的最终目标是降低网站的购物车放弃率。你已经完成了调查并识别出影响现有比率的瓶颈在于出现在”结算信息“页面之后而在”确认“页面之前的”传递信息“页面。在这种情况下，你的假设可以像下面这样：
&翻译得不错哦！
“如果我们通过将计费和传递信息页面整合成一个页面来缩短结账流程，那么整体的购物车放弃率将会降低。”
如果你在没有创建一个假设的情况下去尝试运作一次测试，你还是会收集到关于访问者有价值的数据。不过不幸的是，你会错过对于诸如为什么结果是他们这样做了这种问题的更深层次的分析和验证。即使你的测试失败了，你还是能够从实验中得出一些结论。实验的妙处在于，在整个站点上的实现之前放弃那些不起作用的想法。
设计一些修改版本
在你可以去实践你的实验之前，你需要针对你所测试的特定的设计元素创建修改版本。元素原来的版本是控制版本，而新的版本都是这个控制版本的变化版本。
&翻译得不错哦！
为了开发出最准确和公正的 A/B 测试，要确保新的版本中只有控制变量其中之一被修改了。例如，你可以测试一个号召性按钮(如前所述)的颜色，或者其在页面上的位置，但不能同时测试。将你的测试限制于单一变量确保了你可以放心地将行为所发生的变化归因于做出了设计修改的变量。
瓶颈确认而且构建了设计变量，你几乎就已经准备好运作你的A/B测试了。为了确保你的测试能提供最精确的结果，你会想要确保下面两件事情发生在实现期：
& & 1. 向一组随机选择的站点访问者分组同时展示你的变量和控制版本的元素.
& & 2. 将你的测试运行足够长的时间，那样它就能展示尽可能最大数量的样本.
遵循这两项准则将有助于确保实验提供了统计上最显著的可能结果。那样，你就可以对你所使用的数据放心了，因为你所做出的最终设计决定的基础是可靠和精确的。
&翻译得不错哦！
对于初学者要在他们的站点——不管它是不是在 Shopify 上&——上开始实现一次 A/B 测试最容易的方法就是使用 A/B 实验工具. 有各种工具可以供你用来在网站上进行 A/B 测试, 而我建议你先从&,&, 或者&&开始.
还有如果你在找一些额外的资源作为入门资料, 可以看看这些综合指南:
成为一名更好的web设计者
最成功的网站设计者知道网站的交接仅仅只是开始而已. 每一个单独的项目都能带来几乎无穷尽的实践和优化的机会. 通过把 A/B 测试当做你的标准设计包中提供的一项服务, 就将能够提高收入，帮助你的客户达成更好的商务业绩, 并构建出一个你可以真正为之骄傲的网站.
你还在等什么呢? 马上开始测试踏上你成为更好的 web 设计者的征途吧.
&翻译得不错哦！
我们的翻译工作遵照 ，如果我们的工作有侵犯到您的权益，请及时联系我们不谈政治，只看A/B，A/B测试政治行业最佳实践 - 简书
不谈政治，只看A/B，A/B测试政治行业最佳实践
A/B 测试作为 Growth Hacker 的一种方法，在国内还不是很普及。但在国外，连总统大选都在为 A/B 测试站台。2008年奥巴马团队第一次将 A/B 测试引入竞选并帮助最终竞选成功。从此 A/B 测试成为总统大选工具集里的常客。澳洲大选，不成功的 A/B 测试实践澳洲大选的 A/B 测试案例并不算成功，实际上是这样的，并不是所有的 A/B 测试都会成功。现实世界里失败的测试更多，但不代表失败的测试就没有用。失败的案例警示我们要时刻保持大数据思维，擅用数据说话，分析实验结果的时候不只是去关注那些有改善的结果，而刻意忽略没有改善的结果。来看澳洲大选真是一个悲伤的消息，距澳洲大选结束只剩不到10天，政治家们看起来有点疲惫。竞选预算早就耗尽，“冒牌工人”却成了网红（“Fake Tradie”源自澳洲竞选时自由党制作的一支攻击对手的广告，在广告里扮演工人的角色因为看起来不像工人火遍 Twitter ）。2016年无疑给了我们一个很有趣的竞选，但这次竞选真的给为竞选服务的数据化经理们提供了大量可利用的衡量、学习及优化他们服务的机会吗？他们把每个网站访客都看作一次机会吗？我们分析了各主要政党的页面优化并发现了一个有趣的结果。2008年奥巴马竞选团队把实验和优化能力引入到数字营销世界。但在是否在竞选中采用 A/B 测试上澳大利亚政党都很极端，要么不做，要么就试试呗。工党是澳大利亚唯一的把实验和优化作为核心策略用在选民短信上的主要政党。但是，它们也是摸石头过河，缺少成熟的大规模实验经验。工党的网站使用 A/B 测试工具做了一个单一 A/B 测试，简单的测试了红色和蓝色注册流程那个更好：
事实证明，经过几天的实验，实验组的蓝色背景注册表单转化率要优于红色的控制组。ALP（澳大利亚工党） 网站照抄了美国大选的优化方法，新访客在第一次进入网站的时候会被识别，并会呈现呼吁行动的弹屏。这种方式其实说把每个网站访客都当做一个重要的机会，在这种情况下，注册的访客就会被添加到邮件列表。
要和我们一起战斗吗?”赶快订阅一个宣传机会在是否做测试上，自由党变现的很保守，这一点体现在它们的网站上，主要把网站当成了一个宣传机会，通过更新新闻或政策来为大选添砖加瓦。在竞选中我们没看到他们在网站上实施任何实验（遍寻 A/B 测试的科技公司，Adobe Target，Optimizely 和 VWO 也没有找到踪迹），也没有捕获他们有做任何定制实验的迹象。不幸的是，自由党失去了从竞选中去最大化学习如何转化潜在和选民和摇摆不定的选民为支持者的机会，例如把他们加入邮件列表使得以后可以重定向。
这是机会实验挑战两党选民对于传统假定的的很好的机会。运行良好开发的有挑战性的实验将成为成熟组织的标配功能。在这上面必要的投资不总是可用的，直至渠道的价值变得明显。然而从原始数据上看，自由党网站访问量远超其他政党的网站，并且在过去30天内的网站更新和变化方面，压倒其他主要政党。
来自 日的数据
工党 A/B 测试复盘：工党做的 A/B 测试看起来没毛病，确实优化了背景色。但我们看这个测试，其实犯了精益数据分析里很严重的一个错误：过于关注“虚荣指标”。所有不谈转化只谈访问量、邮件用户数的行为都是耍流氓。你需要通过一切的方式去唤醒关注你的访客，而不是只是看访客数和邮件列表的增长。希拉里：得奥巴马真传， A/B 测试做的不错那么，在政治圈里谁家的 A/B 测试做的最好？放眼全球，民主党候选人希拉里-克林顿竞选时的实验和优化无疑是我们见过做的最好的。 Optimizely 前负责人说，希拉里竞选时的运行试验质量一直在被关注，下面的例子说明，选民受心理和时事的驱动，网页上的主要优化机会在于号召覆盖的访客采取行动来支持大选。
竞选文案标题传达“Join Hillary”的消息，有号召力并且也暗示帮希拉里就是帮选民自己
把国旗放在左侧，微妙的以“告诉参议院”做背景，CTA强化消息
传递通过捐赠支持大选，背景用“Thank you”
一旦100万的捐赠目标达到，“快速捐赠”的弹屏就会出现以保证源源不断的捐助流入。通过计数的方式，表明每一个访客的捐助的实质影响，再次用“Fighting for us”作背景来主要地位
希拉里说：“奥巴马手把手教我怎么用 A/B 测试赢得大选，你们都太小儿科。”希拉里 A/B 测试项目复盘失败的 A/B 测试有一万种失败的原因，而好的 A/B 测试一定只有一个根本原因：走心。这无疑是一次走心的测试，在希拉里竞选中，其增长黑客团队为网站做了很多方案，通过对 A/B 测试数据的分析，选出了转化率最高的方案。并且在竞选的每一个关键节点，都很应景的加上了触动选民内心的元素，以此来推进转化。总结每个团队在运营中都会获得足够多的数据，真正把这些数据用起来才是数据驱动的核心。而 A/B 测试的先验性数据，无疑是提高决策正确率和科学性的最有效依据。总统竞选都在用的 A/B 测试，你的团队，什么时候开始？本文由（微信：appadhoc）编译自：Was CRO the biggest missed opportunity this election？原文作者：Shaun Thambyah 原文链接：国内唯一同时支持前端（ Web / H5、iOS、Android ）及后端（Node.js、PHP、Java、Python等）云服务的专业 SaaS 平台。产品、市场以及运营人员可以通过数据验证最佳方案并发布，提高效率的同时降低决策风险。48小时热门评论
一周热点资讯
男子买活体葫芦娃被骗笑出声，这帮人好逗！ 世界政府、天龙人，谁才是世界第一邪恶组织？
2016年市场占有率暴跌一半，曾经的大佬为何沦落至此？ 中国游戏制作者获得认可，精品佳作也越来越多。
CopyRight&2004年-年 < 游迅网 All Rights Reserved
备案编号:沪ICP备号-6