六种A/B测试成功培养用户使用习惯

艾伦魔拜 发布于2018年02月28日 标签:, , ,

如果你体验过Duolingo(多邻国),这个语言教育平台给你的感受可能是玩了一款游戏。来自游戏的设计模式正在有效地应用在Duolingo的平台中,有趣的游戏关卡设计让更多用户在快乐中坚持更久。

当然这不是巧合。Duolingo 早已敏锐地意识到了将教育游戏化的力量。增长副总裁Gina Gotthilf表示,无论发送给用户的是何信息——哪怕一个小红点——都会带来可贵的数据。团队要做的是对这些数据进行测试,内化每一个数字,然后根据测试结果指导自己的下一步动作。接下来将介绍了他们是如何通过A/B测试来培养用户的行为习惯的。

在此之前,先介绍一点背景:Duolingo以“为全世界提供免费的教育”为使命,其APP 可以免费下载。目前已包含25种语言,普通话也将列入其中,用户超过2亿,是下载最多的教育应用程序。目前它拥有数十亿的数据点(每个月大约会完成六十亿门课程),并且在不断迭代中。

激励用户的四种方式

对于Duolingo来说,最大的挑战是保持用户的动机。与其他应用一样,若想要鼓励用户并培养成一种固定行为模式,在他们身上,也就是每天完成语言课程。事实上,如果用户不能每天访问,那么他们的课程就是无效的。因为一个人学习课程本来会有些难度,况且在线学习总会带来用户分心。产品经理赞吉拉尼(Zan Gilani)介绍:MOOCs(大规模开放在线课程)具有非常低的完成率,大约仅1-2%。为了克服这些挑战,Duolingo以游戏的方式,从四个方式改变用户的日常习惯。

  • 细化的目标
  • 明显的进步
  • 对用户的外部触发
  • 让用户投钱

在Duolingo,“细化的目标”是融入在 APP 中的,用户通过完成一个课程单元来解锁下一个课程单元。比如,当“健身”被你设定为目标,这个目标非常模糊,但是让你每天跑一英里是一件很容易的事情,目标实现也变得可能。

让用户“连胜”

Duolingo将注意力集中在用户的持久性应用上。在此基础上,Duolingo设置了一个强大的游戏机制,使之与培养用户使用习惯的形成相吻合。Duolingo在Snapchat(知名强关系的社交APP)、Facebook和Headspace等提醒用户应用。当用户连续使用时,即在游戏中保持连胜的情况时进行奖励。

同时,Duolingo 鼓励用户设定每日目标,如此一定程度上能约束用户每天都登录 APP。对于新用户来说,连续登录意味着要有一个目标,于是团队在账户设置中增加了目标设定功能。直到今天,公司团队还在用这一指标还衡量工作成果。“这就好像电子游戏,用户必须每天都做点儿什么才能在排行榜上屹立不倒。”

为了让用户保证持续性,Gilani曾公开展示了一封由 Duolingo 总部发给用户的邮件,该邮件向用户解释了由于飓风欧玛(Hurricane Irma)造成的断网,并请求用户再次登录Duolingo,以保持活跃。

A/B测试1:让进程“可视化”

用户一般都希望看到自己的进程,而Duolingo应用中并不能看到用户所持续的天数。因此,团队在页面顶部加了这样的时间显示。结果很显著:日活增长3%,14日留存提升1%。

A/B测试2:给用户强调“连续”的重要性

接下来,当用户完成每次课程之后都强调一下用户的“连续值”,Duolingo用如下图的圆型展示了其课程进度。结果是日活增长1%,14日留存提升3%。

A/B测试3:外部的触发机制

诸如电子邮件和应用程序的通知方式,极易让用户感觉到骚扰,但“目标的达成”会让用户对外部触发不会那么反感。“回到Duolingo来吧,”这听起来太平淡、烦人了。Duolingo 在通知中会说: “记住,你已经坚持了24天”,而不是“打开我们的应用程序”。这种鼓励可以帮助用户维持自己的目标。”

这里值得一提的是,推送要注意时间和推送频率等等。时间抓得正确与否,直接关系到推送的成败。一天当中何时推送消息是有讲究的,这取决于你是哪种应用。”结果表明,当用户完成一门课程23.5小时后发送邮件,能够最大程度地刺激用户的参与度。这不足为奇,正如Zilani所说,每天都在同一个时间做相同地事情,是最有利于用户习惯养成的。

推送内容也需要不断测试。Duolingo的外部触发机制一些用语也格外有趣,如果用户被“通知”后仍旧没有任何登录操作,则会收到“消极-对抗的通知”(“passive-aggressive notification”)的信息,内容开头则是“这些提醒似乎不起作用……” 这种语气很好地符合了品牌的俏皮性质。

A/B测试4: “连胜”赌注的测试

Duolingo有内部的虚拟货币——lingot,用户完成课程可以获得,并可以用来购买增加网站某些功能的虚拟物品,比如访问特殊的语言课程——你想要学会用意大利语吗?——或者回答一个问题,了解你做的怎么样。

团队做了一项关于连胜赌注的项目测试,即用户可以打赌会连胜几场,并将lingots做为赌注,在最新版的应用中,这个功能浮出水面。

结果是14天用户留存增长5%,IAP (in-app purchase revenue)增长600%。

值得一提的是,Duolingo一直是免费使用的,用户支付主要为了APP的脱机使用(为保证连胜)以及免广告。

在这个测试中,Gilani说,团队曾经设置了为期两天的连胜的赌注,但发现结果该赌注对14天留存和日活的增幅最小,最终选择放弃。

A/B测试5:“薄弱环节”的改进

Duolingo发现,相比工作日,周末的用户活跃度会减少9%。每天坚持学习的用户如果一不小心错过了哪天的打卡,这让许多用户丢掉连胜的机会,从而让用户很丧气。

如果一个用户可以跳过一天,并保持他们的连胜呢?因此,团队尝试让用户可以在周五的时候购买“周末法宝”,它保证用户在周六日即使没有打卡,也不会妨碍学习进度。当然,用户为了这张“护身符”,需要支付20 lingots。事实证明,告诉用户“你不必在周末玩”对产品的应用有很大的影响:7日留存提升2.1%,14日留存增加4%。

A/B测试6: 丰富用户赢的渠道

保持用户参与度的,不只是连胜。Duolingo提供给用户代表成就的“徽章”。这是用户很难得到的权利,从第一版推出以来,最大的成就是一些新用户加入了Duolingo,然而这并没什么可喜可贺,因为DAU提升0%,D14 留存提升0%。经过反思,团队认为用户必须看到他们所取得的成就,而注册算不上一项成就,更不会让用户感到自豪。用户想要的,是收集勋章的过程。

在进行A/B测试时,其中重要的一点是:想要一个想法执行下去并带来较好的效果,你所认为的最简单的办法可能不是最简单的。在“最小化可行性产品”一词中,最小化虽然放在前面,但可行性才是核心所在。

在第二次测试中,团队设计了几款不同徽章,并设置了存放勋章的页面。徽章按照层级分布,比如用户获得完美的徽章,需要经过5-10个,甚至更多的深度测试等。经过团队努力,最终 DAU增长2%、14日留存增加2%,以及应用内购买增加5%。

最后团队进行了总结,开发有前景的功能,或者二次尝试(比如多邻国的勋章)时,试着把产品经理或团队经理和设计师配对起来,二者形成抗衡之势,从而维持团队的激情和执行力。如果测试失败,别忘了进行反思。

一个优秀的教育产品设计师能够让更多的人走得更远,学到更多的东西。一个成功的故事是一个名为埃迪尔森的哥伦比亚保安,他通过Duolingo学习语言,现在他已在安全学院有了一份教英语的工作 。

那么,在你的应用程序和服务中,你能用什么样的A/B测试来留住顾客呢?

译:乔一鸭@人人都是产品经理