Feedback i walidacja — zbieranie i analiza opinii użytkowników z AI

TL;DR: Feedback od użytkowników jest fundamentem budowania produktów, ale bywa chaotyczny, rozproszony i obarczony biasami. AI rozwiązuje trzy problemy: (1) przygotowanie do wywiadów przez syntetycznych użytkowników, (2) agregację feedbacku z wielu źródeł w jednym miejscu (Notebook LM), (3) wyciąganie wniosków bez recency bias. Kluczowa zasada: AI nie zastępuje rozmowy z prawdziwym człowiekiem, tylko przygotowuje do niej i pomaga przetworzyć jej wyniki.

TL;DR

Feedback od użytkowników jest fundamentem budowania produktów, ale jest chaotyczny, rozproszony i obarczony biasami. AI rozwiązuje trzy problemy: (1) przygotowanie do wywiadów przez syntetycznych użytkowników, (2) agregacja feedbacku z wielu źródeł w jednym miejscu (Notebook LM), (3) wyciąganie wniosków bez recency bias. Kluczowa zasada: AI NIE zastępuje rozmowy z prawdziwym człowiekiem -- przygotowuje do niej i pomaga przetworzyć jej wyniki.

Kluczowe koncepcje

Problem: chaos feedbackowy

(Couple Room, 150K instalacji) opisuje typowa sytuacje:

"Ta forma jest chaotyczna, nieustrukturyzowana. Są reviewsy na Apple Storze, na Google Storze. Jest feedback wysłany do nas w DMach, na Facebooku. Mamy maile, mamy dział CS, mamy ankiety, mamy analityke."

Główne problemy z feedbackiem:

• Rozproszenie źródeł -- każde źródło ma inny format i kontekst
• Recency bias -- ostatni negatywny komentarz dominuje nad setkami pozytywnych
• Wybieranie pod tezę -- "Trzy osoby napisały, że chciałyby dark mode -- no to budujmy!"
• Asymetria -- wywiady są pozytywne (ludzie chcą pomoc), komentarze w store są negatywne

"Coś co najbardziej mnie przeszkadzało to był recency bias. Jak widzę negatywny komentarz, to nagle chcę rzucić wszystko i naprawiać te jedna rzecz." -- ### Metoda 1: Syntetyczny użytkownik -- przygotowanie do wywiadów

eksperci stworzyło syntetycznego użytkownika w ChatGPT, z którego skorzystało ponad 400 osób.

Cel: Nie wyciąganie insightów (model nie jest prawdziwym człowiekiem), ale:

• Oswojenie się z prowadzeniem wywiadów
• Ćwiczenie pytań otwartych vs naprowadzających
• Otrzymanie raportu z oceną technik wywiadowczych

"Idea polega na tym, żeby syntetyczny użytkownik przygotował nas do rozmowy z prawdziwym człowiekiem. To jest taka piaskownica." -- (eksperci)

Jak to działa (przykład z case study Onboard Hero):

• Tworzymy GPT z rolą "Syntetyczny użytkownik firmy X, rola: Sales Manager"
• Włączamy tryb głosowy na telefonie (immersyjny vibe)
• Prowadzimy rozmowę jak z prawdziwym użytkownikiem

Przykład odpowiedzi syntetycznego użytkownika:

"Jako Sales Team Lead bezpośrednio nie korzystam z Onboard Hero na co dzień, bo to głównie narzędzie HRu, ale ostatnio jakieś dwa tygodnie temu przeglądałam raport końcowy z onboardingu. Zazwyczaj bardziej polegam na tym, co widzę w CRMie."

Realny case: Inżynier z kursu eksperci:

• Przygotował się z syntetycznym użytkownikiem
• Potem poszedł na prawdziwe wywiady "jak burza"
• Bardzo dobrze sobie poradził mimo braku doświadczenia

Ważne zastrzeżenie od Sebastiana:

"Budujemy produkty dla prawdziwych ludzi. Syntetyczny użytkownik nie jest po to, żeby wyciągać od niego insajty. On próbuje po prostu przewidzieć jaka jest odpowiedź na zadany prompt."

Metoda 2: Notebook LM -- jedno źródło prawdy

Google Notebook LM to narzędzie, które pracuje TYLKO na wrzuconych dokumentach i nie halucynuje (każda odpowiedź ma link do źródła).

Źródła danych (przykład Couple Room)

Przykładowe prompty i workflow

Prompt 1: Ogólny sentyment

"Jaki ogólny sentyment użytkowników? Zacytuj dwa najbardziej entuzjastyczne i dwie najbardziej krytyczne opinie."

Efekt: Notebook LM podaje cytaty z konkretnymi linkami do źródeł. Np. "Duża ilość premium i odczucie, że wszystko jest płatne" -- z odniesieniem do konkretnego komentarza.

Prompt 2: Powtarzające się problemy

"Powiedz mi, jakie widzisz problemy powtarzające się wśród większości osób."

Efekt: Synteza problemów z wielu źródeł -- np. "czarna dziura onboardingu", "completion != readiness".

Prompt 3: Cross-check z danymi rynkowymi

"Przygotuj mi syntezę wszystkich problemów poruszonych przez osoby w wywiadach i skross-czekuj to z danymi z researchu odnośnie statystyk branżowych."

Efekt w case study Onboard Hero:

"Raport branżowy potwierdza istnienie efektu czarnej skrzynki, gdzie po początkowym onboardingu następuje utrata widoczności postępów. Ramp-up time: około 5,7 miesiąca do pełnego zonboardowania."

Dodatkowe formaty wyjściowe

Notebook LM potrafi generować:

• Fiszki -- snippety wiedzy do szybkiego przetwarzania
• Mapy myśli -- wizualizacja problemów i połączeń
• Infografiki -- w stylu graficznym wrzuconej prezentacji
• Prezentacje -- w stylu templateki, która wrzucimy jako source
• Podcasty (audio overview) -- automatyczna rozmowa dwóch osób o danych

Metoda 3: Miro AI -- synteza z karteczek

Dla zespołów pracujących na warsztatach z karteczkami (post-it notes):

• Zaznacz karteczki w Miro
• Kliknij AI -> Custom Prompt
• Przykładowy prompt:

"Przedstawiam ci karteczki, notatki z wywiadów z użytkownikami Onboard Hero. Przedstaw mi Executive Summary wniosków z tych wywiadów razem z gotowymi hipotezami na featery, które możemy wdrożyć."

Efekt:

• Podsumowanie głównych problemów (np. "czarna dziura czasowa", "completion != readiness")
• Priorytetyzacja problemów wg ról i wagi
• Lista hipotez produktowych

Dodatkowy prompt do priorytetyzacji:

"Na podstawie tych karteczek przygotuj mi tabele z konkretnymi problemami na konkretna rolę (HR manager, sales manager, sales rep) i zaznacz które są critical."

Metoda 4: Walidacja hipotez prototypem

Po zebraniu feedbacku i sformułowaniu hipotezy -- nie budujemy od razu produkcyjnie:

"90% featurów, które wydają się nam oczywiste, w Figmie okazuje się, że wcale dla naszych klientów oczywiste nie są. Martin Kagen powiedział, że żeby dojść do właściwego rozwiązania, musimy przynajmniej trzy razy przyiterować." -- AI Product Sprint

Workflow walidacji:

• Hipoteza z feedbacku -> prompt do Claude
• Claude generuje prompt do Lovable
• Lovable buduje klikalny prototyp w minuty
• Prototyp idzie do prawdziwego użytkownika
• "Czy to rozwiązuje twój problem?" -> iteracja

"Lepiej spalić dwie godziny na prototypie niż dwa tygodnie na featurze, którego nikt nie używa."

Metoda 5: AB testy z PostHog

Ostatni etap walidacji -- na produkcji, z prawdziwymi danymi:

• Feature flagi -- włączamy featur tylko dla części użytkowników
• Session recording -- obserwujemy jak ludzie używają nowej funkcji
• Metryki -- czy retencja jest lepsza z nową sekcją czy bez

"AB test sprawdza czy rzeczywiście to, co deklarowali nam ludzie przy budowaniu prototypu, przy dużej skali produktu ma realny wpływ na metryki."

PostHog ma też moduł AIowy do rozmowy z danymi analitycznymi.

Insight: kto zgłasza problem =/= kto ma problem

Najważniejsza lekcja z case study Onboard Hero:

"Często jest tak, że ten kto zgłasza problem, to nie ten, kto potrzebuje rozwiązania. HR zgłasza swój problem -- nie widzimy efektów. Ale prawdziwy problem biznesowy jest u sales managerów."

Flow odkrycia w case study:

• Customer Success mówi: "HR narzeka, że nie widzi efektu pracy"
• Brief: "Zbudujmy dashboard z metrykami dla HR"
• Discovery: rozmowa z HR managerem Anna -> "czarna dziura po onboardingu"
• Głębiej: rozmowa z sales managerem -> "handlowcy zdają testy na 100%, ale nie radzą sobie w rozmowach"
• Prawdziwa hipoteza: Sales Readiness Score zamiast dashboardu z metrykami

Feedback z wywiadów -- praktyczne wskazówki

Sebastian (Couple Room) o prowadzeniu wywiadów jako inżynier:

"Jest to na pewno wyjście poza strefę komfortu. Ale to co mi dało wiatr w żagle to to, że już po pierwszych paru zdaniach zazwyczaj widziałem, że ludzie są strasznie zajarani tym produktem. Aplikacja stała się dla nich niemalże rutyna."

Ważne uwagi:

• Wywiady = pozytywny bias -- ludzie chcą pomoc, mówią mile rzeczy
• Store reviews = negatywny bias -- ludzie piszą głównie jak są zli
• Notebook LM balansuje oba -- daje pełniejszy obraz

Narzędzia do transkrypcji wywiadów:

• Fireflies.ai -- najlepszy do wywiadów (agent dołącza się do calla)
• Granola -- nagrywa + tworzy transkrypt + zapisuje notatki
• Google Meets -- wbudowana transkrypcja (po angielsku)

"Firefliesa korzystam tylko do transkrypcji wywiadów. Do spotkań statusowych potem się na to nie patrzy, za dużo tekstu." -- Piotr (eksperci)

Jak to wdrożyć

• Stworzyć Notebook LM per klient z feedbackiem: tickety support, opinie w store, notatki z callov
• Wdrożyć syntetycznego użytkownika w ChatGPT dla każdego nowego projektu e-commerce (persona klienta sklepu)
• Anonimizować dane przed wrzuceniem do AI (usunąć imiona, firmy, dane kontaktowe)
• Wprowadzić rutynę kwartalnej syntezy feedbacku z Notebook LM dla każdego projektu
• Zbudować template promptów do analizy feedbacku: sentyment, powtarzające się problemy, cross-check z danymi rynkowymi
• Walidować każda nowa funkcjonalność prototypem PRZED budowaniem (Lovable/Figma Make)
• Wdrożyć PostHog do AB testowania wdrażanych featureów

Narzędzia i komendy

Template prompta do Notebook LM

1. Wrzuć źródła:
 - Transkrypty wywiadów (Markdown/PDF)
 - Opinie z App Store/Google Store (link lub copy-paste)
 - Tickety supportu (eksport CSV/tekst)
 - Notatki z callov (Google Docs)

2. Pierwsze pytanie:
 "Jaki ogólny sentyment użytkowników? 
 Zacytuj dwa najbardziej pozytywne i dwa najbardziej negatywne."

3. Drugie pytanie:
 "Jakie problemy powtarzają się wśród większości użytkowników?"

4. Trzecie pytanie:
 "Przygotuj syntezę problemów i skross-czekuj 
 z danymi branżowymi [wrzuconymi wcześniej]."

5. Formatowanie:
 - Fiszki do szybkiego przeglądu
 - Mapa myśli do eksploracji
 - Prezentacja w stylu wrzuconej templateki

Powiązane tematy

• 01-ai-product-sprint -- Pełny workflow, w którym feedback jest kluczowym etapem
• 02-product-engineering -- Skill "Notebook LM do feedbacku" w kontekście Product Engineera
• 04-no-code-dla-biznesu -- Prototypowanie dla osób nietechnicznych
• notebook-lm -- Szczegółowy przewodnik po Notebook LM
• discovery -- Proces Discovery w zespołach produktowych