先做决定,再做变体
“我们需要更好的创意”还不是一个有效的测试问题。更好的问题是:“以客户特定问题开头是否比直接展示应用程序的开头更能吸引相关的咨询?” 这样就能明确需要改进的地方,以及下一步的制作流程,而这些都取决于测试结果。
假设将目标群体、假定的障碍和改进方案联系起来。例如:“潜在客户还不了解我们产品的工作原理。一个可视化的应用演示可以帮助他们理解。”这是一个合理的假设,而非已被证实的心理效应。
在测试之前,还要检查产品和后续页面。如果表单无法正常工作或服务内容仍然不够清晰,那么即使改变开头也无法解决这些问题。创意、目标群体和落地页必须综合考虑,切勿在每次比较时都同时更改所有内容。
两个变体之间可以有哪些变化?
对于一个定义明确的问题,其他相关条件应尽可能保持不变。例如,你可以比较两种主体内容、产品/服务以及后续步骤都相同的方案。如果演示者、价格、目标受众和落地页同时发生变化,你之后将无法确定究竟是哪个因素导致了结果差异。
对整个概念进行比较仍然是可行的。然而,此时的表述应为“在这些条件下,概念一与概念二的比较”,而不是“这句话效果更好”。这种区别决定了制作过程能从结果中学到什么。
为咨询服务提供商构建的变体矩阵:
| 组件 | 包含客户问题的变体 | 包含应用场景的变体 |
|---|---|---|
| 入口点 | 咨询过程中经常遇到的真实问题 | 需要咨询的具体情况 |
| 主要部分 | 相同的专业审核流程。 | 相同的专业审核流程。 |
| 证据 | 相同的已批准示例。 | 相同的已批准示例。 |
| 下一步 | 相同的初步咨询描述。 | 相同的初步咨询描述。 |
| 目标和后续行动 | 相同的目标页面和匹配查询的标准。 | 相同的目标页面和匹配查询的标准。 |
该矩阵是一个规划示例,不包含结果数据。 视频制作部分。 它能清晰地展现哪些额外的镜头是真正需要的,但并非鼓励随意删减每个细节。
在常规广告运营中,应该进行 A/B 测试还是对比测试?
在受控的 A/B 测试中,使用适当的分配来比较不同的版本。 TikTok 关于 A/B 测试的文档 TikTok 上关于 A/B 测试的纪录片 这描述的是两个独立且规模相等的目标群体,彼此之间没有任何重叠。你可以在相应的广告帐户中查看具体的可用性和配置。
但是,如果你在自动优化的广告系列中投放多个广告,平台可能会以不同的方式展示它们。目标受众、投放时间或展示次数的差异都会影响比较结果。这些观察结果有助于后续的规划,但未经进一步分析,不应将其视为实验证据。
即使是两条自然发布的帖子,通常也无法构成一个纯粹的 A/B 测试。它们可能在不同的时间段触达不同的用户群体。应将它们作为提出新问题的线索,而不是从一条成功的帖子中得出普遍规律。
哪个关键绩效指标 (KPI) 起决定性作用?
选择一个与你的决策相符的关键指标。例如,在咨询推广活动中,每个合格咨询所花费的精力可能是一个相关指标。事先定义“合格”的含义:请求是否与你的产品或服务相符?是否满足了所有必要条件?联系人是否可联系?
| 观察 | 有助于解答此问题 | 尚未解答 |
|---|---|---|
| 视频观看次数和播放次数 | 内容是否真的被观看了? | 是否能从中获得合适的客户? |
| 点击下一步 | 广告是否能激发用户加入的兴趣? | 着陆页的预期是否得到满足。 |
| 咨询量 | 是否已建立联系? | 联系是否与产品或服务相关。 |
| 合格咨询 | 你是否收到与你所在领域相关的咨询? | 报价是否被接受。 |
| 订单和经济贡献 | 业务发展情况如何? | 单个视频的贡献如何? |
点击率低的视频可能会引发许多不切实际的期望。不同的方法或许能带来更少的潜在客户,但更多的相关咨询。因此,分析中应包含销售部门的反馈。你可以在以下文章中找到成本指标的基础知识: 每次转化成本.
创意测试应该运行多长时间?
没有可靠的最短持续时间或固定购买次数能保证每次测试的有效性。计划取决于多种因素,例如初始性能水平、经济上相关的差异、预期数据量以及所采用的测试方法。
在开始之前,请明确评估的时间安排以及终止条件。在计划好的测试中,不应每天都寻找最佳结果,也不应在第一个合适的阶段性结果出现时就停止测试。但是,技术错误或不可接受的商业后果仍然可能构成终止测试的理由。
仅进行少量测试,答案往往难以确定。“目前尚无显著差异”可能就是结果之一。但这既不能证明两者等效,也不能鼓励投入无限预算。或许缩小测试范围或采用不同的测试问题更为合适。
一个计算示例——以及它为何并非万能
假设在 假设性比较 每个选项花费 500 欧元。第一个选项产生了 10 个咨询,其中 2 个符合你的标准。第二个选项产生了 6 个咨询,其中 3 个符合标准。
每次咨询的成本为 50 欧元,约合 83 欧元。相比之下,每次符合标准的咨询的成本为 250 欧元,约合 167 欧元。最终决策将取决于关键绩效指标 (KPI)。
这些小样本量不足以证明其具有可靠的优势。不同的部署模式、随机波动或不一致的评估标准都可能影响人们的感知。此示例仅说明在发布前定义目标指标至关重要。它并非客户实际体验,也不构成预算建议。
测试后的哪些发现会反馈给制作团队
记录测试题、其各种变体、测试时间段、数据来源以及任何已知的局限性。记录你的决定:采纳、放弃,还是继续使用更精确的题目。如果两者之间没有明显的区别,那么更简单或成本更低的版本或许仍然可行——只是它并非已被证明的最佳选择。
此外,效果下降并不一定意味着创意疲劳。还要检查投放方式、优惠活动、季节、衡量指标以及点击后的用户行为路径。凭直觉制作的新视频可能会切中要害。
在 Vertikal Viral,我们将 投放和优化 与下一个制作环节相结合。请携带现有广告、你的目标定义以及任何已知的咨询反馈。由此,我们可以制定一个具体的下一步测试方案。 一起 大胆设想。
区分创意测试、性能创意测试和疲劳测试
创意测试是用来比较各种假设的方法。效果创意指的是根据广告活动目标量身定制的广告素材。创意疲劳指的是广告效果随时间推移而下降的现象。这些术语相关但不能互换使用。
