Najpierw decyzja, potem warianty
„Chcemy lepszych kreacji” to jeszcze nie pytanie testowe. Lepsze brzmi: „Czy oferta z konkretnym pytaniem klienta generuje bardziej trafne zapytania niż ta, która bezpośrednio pokazuje aplikację?”. Teraz jasne jest, co należy zmienić i który kolejny etap produkcji zależy od rezultatu.
Hipoteza łączy grupę docelową, domniemaną przeszkodę i wariant. Na przykład: „Potencjalni klienci nie rozumieją jeszcze, jak korzystać z naszej oferty. Widoczna aplikacja mogłaby im w tym pomóc”. To prawdopodobne założenie, a nie udowodniony efekt psychologiczny.
Przed testem sprawdź również ofertę i stronę z odpowiedziami. Jeśli formularz nie działa lub usługa pozostaje niejasna, inna oferta nie rozwiąże tych problemów. Kreatywność, grupa docelowa i landing page muszą być rozpatrywane łącznie, bez konieczności jednoczesnej zmiany wszystkiego przy każdym porównaniu.
Co może się różnić między dwoma wariantami?
W przypadku jasno zdefiniowanego pytania, pozostałe istotne warunki powinny pozostać jak najbardziej spójne. Na przykład, można porównać dwa podejścia z tą samą treścią główną, ofertą i kolejnym krokiem. Jeśli prezenter, cena, grupa docelowa i landing page zmienią się jednocześnie, nie będzie wiadomo, która pojedyncza różnica była odpowiedzialna.
Porównywanie całych koncepcji jest nadal możliwe. Jednak wówczas stwierdzenie brzmi: „Koncepcja pierwsza kontra koncepcja druga w tych warunkach”, a nie: „To pojedyncze zdanie działa lepiej”. To rozróżnienie decyduje o tym, czego produkcja może się nauczyć z wyniku.
Skonstruowana macierz wariantów dla dostawcy usług konsultingowych:
| Komponent | Wariant z pytaniem klienta | Wariant z aplikacją |
|---|---|---|
| Punkt wejścia | Rzeczywiste, powtarzające się pytanie z sesji konsultacyjnej. | Konkretna sytuacja, w której potrzebna jest konsultacja. |
| Część główna | Ten sam proces, poddany profesjonalnej weryfikacji. | Ten sam proces, poddany profesjonalnej weryfikacji. |
| Dowód | Ten sam zatwierdzony przykład. | Ten sam zatwierdzony przykład. |
| Następny krok | Ten sam opis wstępnej konsultacji. | Ten sam opis wstępnej konsultacji. |
| Cel i działania następcze | Identyczna strona docelowa i kryteria dopasowania zapytań. | Identyczna strona docelowa i kryteria dopasowania zapytań. |
Macierz jest przykładem planowania bez danych wynikowych. W przypadku Produkcja wideo pokazuje, które dodatkowe ujęcia są faktycznie potrzebne. Nie jest to zaproszenie do wycinania dowolnych wariantów z każdego szczegółu.
Test A/B czy porównanie w standardowym działaniu reklamy?
W kontrolowanym teście A/B warianty są porównywane za pomocą odpowiedniej alokacji. Dokumentacja TikToka dotycząca testów A/B dotycząca testów A/B opisuje oddzielne, równe pod względem liczebności grupy docelowe, bez nakładania się. Dostępność i konfigurację poszczególnych reklam można sprawdzić na odpowiednim koncie reklamowym.
Jeśli w ramach automatycznie optymalizowanej kampanii wyświetlasz wiele reklam, platforma może wyświetlać je w różny sposób. Różnice w liczbie dotartych odbiorców, czasie wyświetlania lub liczbie wyświetleń mogą wpłynąć na porównanie. Takie obserwacje są przydatne do dalszego planowania, ale nie należy ich traktować jako dowodu eksperymentalnego bez dalszych analiz.
Nawet dwa posty organiczne zazwyczaj nie stanowią czystego testu A/B. Mogą one dotrzeć do różnych odbiorców w różnym czasie. Wykorzystuj je jako wskazówki do nowych pytań, zamiast wywodzić ogólną regułę z jednego udanego wpisu.
Który kluczowy wskaźnik efektywności (KPI) jest decydujący?
Wybierz kluczowy wskaźnik, który jest zgodny z Twoją decyzją. Na przykład w kampanii nastawionej na zapytania, wysiłek włożony w każde zapytanie kwalifikowane może być istotny. Zdefiniuj wcześniej, co oznacza „kwalifikowane”: czy zapytanie jest zgodne z Twoją ofertą, czy spełnione są podstawowe wymagania i czy kontakt jest osiągalny?
| Obserwacja | Pomoc w tym pytaniu | Brak odpowiedzi |
|---|---|---|
| Wyświetlenia i odtwarzanie wideo | Czy treść jest w ogóle oglądana? | Czy na tej podstawie generowani są odpowiedni klienci. |
| Kliknięcia w następnym kroku | Czy reklama wzbudza zainteresowanie dołączeniem? | Czy oczekiwania na stronie docelowej są spełnione. |
| Zapytania | Czy nawiązano kontakt? | Czy kontakty są istotne dla oferty. |
| Zapytania kwalifikowane | Czy otrzymujesz zapytania istotne dla Twojej branży? | Czy oferty są akceptowane. |
| Zamówienia i wkład ekonomiczny | Jak rozwija się firma? | Jaki wkład wniósł pojedynczy film? |
Film o niskim współczynniku klikalności może wzbudzić wiele nietrafionych oczekiwań. Inne podejście może generować mniej leadów, ale bardziej trafne zapytania. Dlatego w analizie należy uwzględnić opinie od działu sprzedaży. Podstawy wskaźnika kosztowego można znaleźć w artykule na temat Koszt pozyskania leada.
Jak długo powinien trwać test kreacji?
Nie ma pewnego minimalnego czasu trwania ani ustalonej liczby zakupów, które czyniłyby każdy test solidnym. Planowanie zależy od takich czynników, jak poziom początkowy, ekonomicznie istotna różnica, oczekiwana objętość danych i zastosowana metodologia testów.
Przed rozpoczęciem należy określić, kiedy odbędzie się ocena i w jakich warunkach zostanie ona przerwana. W przypadku ściśle zaplanowanego testu nie należy codziennie szukać zwycięzcy i zatrzymywać się na pierwszym odpowiednim wyniku pośrednim. Błędy techniczne lub niedopuszczalne konsekwencje biznesowe mogą nadal uzasadniać przerwanie testu.
Przy zaledwie kilku zapytaniach wyniki są często niepewne. Możliwy jest wynik „Brak istotnej różnicy”. Nie jest to ani dowód równoważności, ani apel o przydzielenie nieograniczonego budżetu. Bardziej odpowiedni może być mniejszy zakres opcji lub inne pytanie testowe.
Przykład obliczeń – i dlaczego nie przynoszą one oczekiwanych rezultatów
Załóżmy, że w hipotetycznym porównaniu na każdą opcję wydano 500 euro. Pierwsza opcja generuje dziesięć zapytań, z których dwa spełniają kryteria. Druga opcja generuje sześć zapytań, z których trzy spełniają kryteria.
Koszt jednego zapytania wynosi 50 euro, czyli około 83 euro. Natomiast koszt jednego zapytania spełniającego kryteria wynosi 250 euro, czyli około 167 euro. Decyzja będzie się różnić w zależności od kluczowego wskaźnika efektywności (KPI).
Tak małe próby nie dają wiarygodnej przewagi. Różne metody dostarczania danych, losowe wahania lub niespójna kwalifikacja mogą zmienić wrażenie. Ten przykład jedynie ilustruje, dlaczego zdefiniowanie docelowej metryki przed rozpoczęciem jest kluczowe. Nie jest to wynik dla klienta ani rekomendacja budżetowa.
Co wraca do produkcji po teście
Udokumentuj pytanie testowe, warianty, okres, źródło danych i znane ograniczenia. Zapisz decyzję podjętą na tej podstawie: przyjąć, odrzucić lub kontynuować z bardziej precyzyjnym pytaniem. Jeśli nie widać wyraźnej różnicy, prostszy lub tańszy w produkcji wariant może nadal być opłacalny — ale nie jako sprawdzony zwycięzca w zakresie wydajności.
Co więcej, spadające wyniki nie oznaczają automatycznie zmęczenia kreatywnego. Sprawdź również emisję, ofertę, sezonowość, pomiary i ścieżkę po kliknięciu. Nowy film stworzony na podstawie intuicji może rozwiązać niewłaściwy problem.
W Vertikal Viral łączymy emisję i optymalizację z kolejną produkcją. Weź pod uwagę istniejące reklamy, definicję celu i wszelkie znane opinie z zapytań. Na tej podstawie możemy opracować konkretny kolejny test. Myślmy ODWAŻNIE.
Rozróżnianie testów kreatywnych, testów wydajnościowych i zmęczenia
Testowanie kreatywne to metoda porównywania założeń. Kreacja efektywnościowa odnosi się do materiałów reklamowych dostosowanych do celu kampanii. Zmęczenie kreatywne opisuje potencjalny spadek skuteczności w czasie. Terminy te są powiązane, ale nie można ich stosować zamiennie.
Pomaga to w opracowaniu nowego medium reklamowego. Briefing dotyczący efektywności kreatywnejJeśli wcześniej skuteczna reklama staje się mniej skuteczna, należy rozpocząć od diagnozy zmęczenia Diagnoza zmęczenia, zanim pochopnie rozważy się nowy test jako rozwiązanie.