[占位符]

赚钱打鱼游戏

赚钱打鱼游戏 A / B测试. 有效地使用时,A / B测试可帮助企业做出导致转换,参与,和其他指标的增加决定的,但它不是万能的。 

我给大家介绍最近的两个squarespace测试情境的类型,我们运行测试。

模板存储类别

We ran a test earlier this year to update our 模板存储 categories and recommendations. Updates entailed changes such as renaming “Food & Drink” to “Restaurants” and adding new categories like “Portfolios” and “Blogs.” The updates sought to better match customer intent, thereby creating a better trial experience and ultimately increasing the rate at which users create trials.

原类别快照:

original-categories-snapshot.png

赚钱打鱼游戏

new-categories-snapshot.png

赚钱打鱼游戏 模板存储

节录测试结果

节录测试结果

在电子邮件中支持队列trialer优先

我给大家介绍的第二个例子是一个测试,我们跑在电子邮件支持队列优先trialers。 trialers是谁已经激活了免费试用的人,并正在评估是否要为我们的产品。我们正在寻找测试是否接收更快的电子邮件支持对trialer转化为付费客户造成任何影响。 

赚钱打鱼游戏 

什么为什么我们实现了与trialer优先测试?

当A / B测试揭示了一个高性能的变型中,检测的积极影响是很容易辨认。该模板存储类测试是一种明显的宝贵的测试,因为它导致了与改进审判率trialer经历的变化。

但有关trialer优先测试,这表明在转换率没有有意义的区别是什么?我们最初的假设(我们可能会影响与优先电子邮件支持转换)没有发挥出来。这些场景与消极或没有效果感到失望的 - 它可以感觉的时间和资源的浪费,而且还可能意味着导致我们测试的想法开始是错误的直觉。人们通常不喜欢浪费时间和犯错的感觉,所以这些的测试结果往往不庆祝。

然而,可能被认为是“失败” A / B测试实际上仍然在我们的最初使命的背景下,胜利:用数据来驱动战略。未经测试,我们可能已经决定,trialer优先的潜在影响转换的抵销权衡和推出了该计划。我们会一直在基于不正确的直觉的决定。相反,测试让我们明白,我们可以提高客户满意度,而不是转换。

squarespace测试通信

在squarespace我们的沟通方式和赛道测试体现了这一概念,即所有的测试结果是有价值的: 

  • 我们发出的A / B测试消化的方式来分享从结果 所有 赚钱打鱼游戏

  • 数据科学会记录测试结果,我们跟踪各种测试属性和成果:

    • 我们有内部指标上有多少百分比的测试表明指标的改善,所以我们知道,很多测试没有显示出明显的赢家。

    • 我们跟踪“测试的影响”几个选项:

      • 大 - 合计潜艇可见

      • 零或边缘 - 无法测定的小

      • 小 - 不太可能在总量潜艇露面

      • 中等 - 可见当潜艇被分解成亚群,但不太可能在总可见

      • TBD

      • 失败的测试

      • 负面影响

      • 测试运行,以限制下行风险

      失败的测试结果被保留用于真实测试失败(在测试例如分配偏置),而不是令人失望的结果。

    • 我们与利益相关方合作,以庆祝学习,并鼓励假设检验。数据科学提供了同样透彻的分析测试结果,没有或负面影响,因为我们用积极的影响试验做。与负面影响测试可以是学习的宝贵机会,和分析工作,以揭开这些见解。 

庆祝学习

聪明的企业必须认识到,他们正在作出正确的决定,即使这意味着拉动项目插头的能力。如果一个组织要接受测试,以数据驱动的决策,我们应该转移的叙述来庆祝学习,而不是“胜利”。 

如果我们不庆祝的学习,我们是不是真正拥抱数据驱动战略。 “负”测试结果可以给我们一样多的洞察力为“阳性”的结果。在squarespace,我们热衷于使用分析来制定我们的策略,这意味着每一个正确的决定,是一个双赢的,不只是华而不实的结果的人。

结账调查:数据的科学方法

的“是的,如果”电源:迭代我们的RFC过程