Jak mierzę widoczność w AI

Krok 1 · Pytania

Wybór i kategorie pytań

Podstawą pomiaru jest zestaw około 20 pytań na markę. Nie generuję ich hurtowo — ustalam je z klientem na podstawie zapytań, które jego klienci naprawdę zadają: fraz z wyszukiwarki, pytań z maili i rozmów handlowych. Zestaw po zatwierdzeniu zostaje stały, bo tylko stała lista pytań pozwala porównywać wyniki w czasie.

Krok 2 · Systemy

Badane systemy AI

Ten sam zestaw pytań zadaję w pięciu systemach. Wersje modeli zmieniają się w czasie, dlatego każdy raport zawiera datę pomiaru — porównuję trend, nie pojedyncze odpowiedzi konkretnej wersji.

Standardowy pomiar obejmuje te pięć systemów — i tylko one wchodzą do metryk w raporcie. Inne narzędzia, na przykład Microsoft Copilot czy Grok, mogę dołączyć na życzenie klienta, ale nie robię tego domyślnie: każdy dodatkowy system to pełny komplet dodatkowych zapytań i powtórzeń, czyli dłuższy pomiar. Zakres ustalamy przed pierwszym pomiarem i trzymam go stały, żeby kolejne miesiące dało się porównać.

Krok 3 · Kontekst

Język, kraj i data pomiaru

• pytania zadaję po polsku — tak, jak pytają klienci moich klientów
• lokalizacja pomiaru: Polska
• każda publikacja wyniku ma datę pomiaru — bez daty wynik nie znaczy nic, bo systemy AI zmieniają się z tygodnia na tydzień

Krok 4 · Warunki

Warunki pomiaru

Systemy AI dopasowują odpowiedzi do użytkownika. Żeby wynik mówił o widoczności marki, a nie o moich nawykach, każdy pomiar wykonuję w kontrolowanych warunkach:

• czysta sesja — bez historii czatów i wcześniejszych rozmów
• bez personalizacji i zapamiętanych preferencji konta
• bez zalogowanych ustawień, które mogłyby podpowiadać systemowi „właściwą” odpowiedź
• cały pomiar dla marki wykonuję tego samego dnia — wyniki z różnych dni nie trafiają do jednego zestawienia

Krok 5 · Powtórzenia

Liczba powtórzeń

Ta sama odpowiedź zadana dwa razy może wyglądać inaczej — to natura systemów generatywnych. Dlatego każde pytanie zadaję 3 razy, w osobnych czystych sesjach. Marka liczy się jako obecna w danym pytaniu, jeśli pojawia się w większości powtórzeń, czyli w co najmniej 2 z 3 odpowiedzi. Pojedyncze trafienie to za mało, żeby mówić o widoczności.

Definicje

Co liczę jako wzmiankę, cytowanie i rekomendację

Wzory

Metryki i ich wzory — bez ukrytych wag

„Poprawna odpowiedź” w każdym wzorze oznacza odpowiedź na temat — taką, w której system zrozumiał pytanie, nawet jeśli nie wymienił żadnej marki. Odpowiedzi błędne, wymijające lub odmowy nie wchodzą do mianownika.

Visibility Score — metryka łączna, jawna z definicji

Visibility Score nie zawiera żadnych ukrytych wag ani mnożników — to zwykły udział odpowiedzi z obecnością marki. Jeśli kiedykolwiek wprowadzę ważenie, wszystkie wagi zostaną opublikowane w tym miejscu, zanim pojawią się w jakimkolwiek raporcie.

Konkurencja

Porównanie z konkurencją

Widoczność ma sens tylko na tle rynku. Dlatego ten sam zestaw pytań, w tych samych systemach i warunkach, mierzę równolegle dla 2–4 konkurentów wskazanych przez klienta. Dzięki temu widać nie tylko, czy marka jest obecna w odpowiedziach, ale też kto zajmuje miejsce, o które gra.

Dowody

Archiwizacja odpowiedzi

Każdą zmierzoną odpowiedź archiwizuję w dwóch formach: jako zrzut ekranu i jako surowy tekst odpowiedzi, oba z datą pomiaru. Klient dostaje komplet — może samodzielnie sprawdzić każdą liczbę z raportu i wrócić do dowolnej odpowiedzi po miesiącach. Wynik bez dowodu nie wchodzi do raportu.

Ograniczenia

Czego ta metoda nie obiecuje

Systemy AI są niedeterministyczne: to samo pytanie może dostać różne odpowiedzi w różnych sesjach, na różnych kontach i w różne dni. Tego nie da się wyeliminować — da się to kontrolować. Właśnie dlatego stosuję powtórzenia, jawne warunki pomiaru i patrzę na trend z kilku pomiarów zamiast na pojedynczy wynik.

• pojedynczy pomiar to migawka, nie wyrok — znaczenie ma kierunek zmian między pomiarami
• wynik u innego użytkownika, w innym kraju lub na spersonalizowanym koncie może wyglądać inaczej
• zmiany wersji modeli mogą przesuwać wyniki niezależnie od działań na stronie — dlatego każdy wynik ma datę
• wyniki pomiaru nie są gwarancją: nie obiecuję pozycji ani obecności w odpowiedziach, obiecuję uczciwy pomiar tego, co jest

Zastosowanie

Jak ta metodologia wygląda w praktyce

Format raportu zbudowanego według tych zasad możesz obejrzeć bez podawania jakichkolwiek danych: przykładowy raport widoczności w AI (PDF). Liczby w nim są danymi demonstracyjnymi — pokazują metodę, nie wyniki klienta. Pierwszy pomiar wykonany tą metodą tworzy punkt startowy marki — czym on jest i po co się go robi, opisuję na stronie Baseline PROUD.

Dlaczego to publikuję

Uczciwość, którą da się zweryfikować

Pomiar widoczności w AI nie ma jeszcze branżowego standardu — łatwo pokazać klientowi wykres, którego nikt nie umie sprawdzić. Publikuję pełną metodologię, żeby każdy mój wynik dało się zweryfikować i powtórzyć: te same pytania, systemy i warunki może odtworzyć każdy, także konkurencja. Jeśli metoda się zmieni, opiszę zmianę na tej stronie z datą. Deklaracja „mierzę uczciwie” jest tania — sprawdzalna metoda nie jest.