[占位符]

结账调查:数据的科学方法

squarespace的整个公司的数据科学团队的利益相关者有助于使使用数据更好的战略决策。行销归属,团队的工作的一个重点,就是我们如何回答这个问题:“多少信贷不会营销的各种形式应该为销售或转换的”开发正式型号是最严谨的态度来回答这个问题,并从这些模型,我们可以了解到哪些营销的形式来推动增长科技部,随后更多地投资于他们的关键。

营销属性的首要任务是重建个人用户的旅程,由squarespace:

  1. 确定营销中遇到的形式的订阅用户之前,以及(这是由某些相互作用或“接触点”推断)

  2. 为了分配重要性各营销渠道(搜索,社交,电视等)的相对测量正确划分为单一的订阅的功劳。

的关键投入到我们的squarespace归因模型之一是结账的调查,向用户显示他们订阅之后。该调查包含一个问题:“你是怎么知道我们的”我们在调查中获取的数据就显得尤为重要,因为它可以使我们对难以衡量的营销渠道的影响,例如是否客户听闻关于我们在电视上,收音机,甚至从这个博客! 

最近,我的团队推测,从用户体验的角度来看,有机会来提高销售业绩的数据调查所产生的清晰度和完整性。我们乐观地认为,我们可以增加用户完成调查的数量,提高,可以被映射到一个已知的营销渠道反应的百分比,并消除机遇混乱,所有这些都会对营销业绩数据产生积极的下游效应。

所以为了量化和实现ESTA效果,我们解决的首要问题: 到什么程度是用户响应因此营销绩效数据敏感的勘测设计,我们有什么可以用量化的信号来创建营销属性的最佳调查?

为了回答这些问题,我们打破了这个问题分为两个主要步骤:

  1. 确定调查设计中的机制,使某些反应或多或少可能,并

  2. 指标定义成功可以确认的调查设计变更的有效性。

机构1:定位响应

这主要设计机制,我们绑在调查营销渠道的表现的相对位置:该通道显示,只要用户打开该调查,或者是它隐藏在一个菜单级别还是低了? 

在上述假设的例子,由于需要用户的调查1号播客的特权比其余信道的设计,以便看到电视,搜索,和无线电执行额外的工作,并点击进入“其他”。因为我们可能会接收来自用户的播客的反应可能已经听说过我们的更加突出,通过像无线电另一个通道,但也许忘了渠道调查过属性通道的作用,由于CON SUS从调查的顶层遗漏。

与调查#2,信道被示出为以均匀的方式向用户,因此,所有的选项具有大致相等的选择的机会。缺点在一个列表,列出所有可能的渠道是制造混乱和眼睛疲劳,特别是在一个长长的清单,具有许多选项的情况下的风险。情况喜欢我们,然而,许多市场营销之间的区别在哪里是很重要的来源,建立内部的子菜单是必要的。

因此,我们可以总结的第一个主要的权衡,我们调查设计鉴定在营销归因:这之间的多层次,单级调查。允许多级调查更多精度,同时冒着脱落响应率,和单级调查最大限度地减少下车而损害标识特定信道或广告活动的能力。 

Mechanism 2: Language & Inference

第二个机制的设计,为我们使用的调查发现,以代表营销渠道的语言。当ESTA成为一个挑战区分营销的相似,但不同的形式,如YouTube之间的内容创作者能促进我们的品牌,并直接从平台购买YouTube视频预滚动广告之间。给用户时,单词“YouTube”的可涵盖这两种类别;因此,为了使我们能够在归属源之间的区别,我们可能需要求助于不那么直观的语言,如“前贴片广告”或“内容赞助。”我们的目标是确保调查的选项都映射到概念,这些概念受访者直观,营销,我们的形式打算捕获。 

在调查#3,语言掩盖的选择营销数据,并不仅仅是因为它涉及到YouTube。又如通过辨正的直观使用的短语“音频广告”,一个包罗万象的像播客源,流式音频和收音机。不“播客”构成了“音频广告?”我们要说的是,但用户必须因为语言之间化妆心理协会的调查(“音频广告”)和销售源卫生组织,驱使他们squarespace他们把它理解为处理程序(如“播客”),我们很可能会在属性这些通道。

一个次要问题是我们的音频源本身,这在调查3号将需要内的第二个下拉区别开来“音频广告”,带领我们回到第一个权衡关于水准测量。 

因此,我们可以总结出第二权衡在调查设计营销归因:简单地之间和复杂的语言。增加最简单的方法我们在用户输入通道信心而牺牲精度,复杂的语言,而美国有更大的灵活性潜在给人通道标识,同时制造混乱和损害数据的完整性。

收敛于一个最佳的结账调查

以表彰其测量长度和语言的权衡,我们提出了以下架构的结构化营销归属结账调查。插图特征,在每个级别选项例如缩短列表,现实中的调查而含有较多的选项:

指导原则使我们构建这个调查是:

  • 信道的优先级即易于以简明语言传达在调查的顶部(最小化这两种脱落和语言混乱) 

  • 创建类别为主题工作小组,还是喜欢渠道是有用的为我们在落客时保留(例如,类别涵盖所有可能的来源下的“口口相传”的基本类别) 

  • 的细节降级:诸如特定广告活动的在调查在一个写入,可选的考虑对用户的一部分,并且仅针对超出通道本身收集的补充信息的形式的底部电平的名称

  • 灵敏度眼睛疲劳,不使得所述调查具有非常大量的选择电平,作为定性推断

  • 从菜单选项,通过随机的顺序预防性偏置

此外,我们移除了pertained到老活动或渠道进行,否则没有必要跟踪调查老选项。

成功的定义

起草调查有了上述新结构后,我们问一个问题:“我们怎么会知道,上面的新的调查是旧的?”的理解是设计决定将渠道信贷的相对分布内移调查,我们决定将成功指标收敛是pertained主要是为了完成调查和答复的质量。具体来说,我们选择了四种指标: 

  • 由于反应 (响应的%那我们可以链接到市场营销)。 ESTA使我们无论的理念我们选择频道定位和我们的能力,受影响的分类收集有用的市场调查包含的数据。在回应“其他”胡言乱语写插件,或者在其他类别杂回应将被排除在ESTA比例。

  • 归因订阅 (所有订阅的,可以是%这归因于任何特定的营销或非营销源)。帮助我们ESTA度量回答这个问题:“有没有调查增加我们的市场部人士透露多见整个企业的知识”。换句话说,我有我们现在从个人营销数据不会有,否则我们提供的任何信息?  

  • 完成率 (用户的%这一下就结账调查“提交”)。无论调查计ESTA创建任何混淆,疲劳或其他原因而点击“跳过”。

  • “其他”响应率 (人民的%,从调查的顶级菜单中选择“其他”)。这是一个重要次要指标,但仍然告诉我们的我们无论是放置在调查中捕获的什么合适心中已经有了用户有很大比例的顶层的选项。

量化影响

像我们做许多其他的功能,我们在A / B测试少量暴露的新用户新调查的形式测试的执行情况。而指标如速度和落客这样的反应是从测试出现,预计在营销属性以及是否调查“增加了馅饼”用户标记营销新调查的下游影响的调查直接测量的约会更复杂的任务。  

download-8.png

如上图展示,营销业绩指标从试验组和对照组出现的不仅是新的调查功能,而且它的互动与其它的接触点和归属程序。因此,我们需要以检查的互动效应在市场营销中,观察到的A / B测试的设计改进信用表现真正的差异。

其结果是,隔离调查的影响,我们采取了基于模拟的办法,所有用户的汇集 在这两个群体的调查,然后随机抽样测试,并将其控制到类别重新计算的归属,并估计多么敏感的表现向下游用户是变异之内不采取调查。

这种方法在旧的和新的调查之间的信用销售渠道的变化可能与置信区间从归属用户的抽样直接估计种群进行测量。由A / B测试,并通过后续分析结论,我们预计新的勘测设计开车在响应速度提高10%,由大约下降一半unattributable不可映射或响应的数量,并增加了用户总数的比例标记营销数据:总体而言,大获成功。

结论

赚钱很好 还是挣钱好百度视频

我们如何谈论A / B测试结果