Metodologia ocen

Jak liczymy ocenę narzędzia, jak korygujemy oceny zewnętrzne, jak oznaczamy afiliacje i dlaczego afiliacja nigdy nie wpływa na wynik.

Zaktualizowano:

Ta strona opisuje, jak dokładnie oceniamy narzędzia w katalogu. Jawnie, bo zaufanie jest u nas produktem, a nie dodatkiem. Jeśli coś tu jest niejasne, chcemy o tym wiedzieć.

Jak liczymy ocenę

Każde przetestowane narzędzie dostaje ocenę od 1 do 5 (z połówkami). To nie jest przeczucie, tylko średnia arytmetyczna czterech filarów, z których każdy oceniamy osobno w skali 1-5:

  1. Jakość wyników - czy to, co narzędzie realnie produkuje, trzyma poziom.
  2. Cena do wartości - ile dostajesz za to, co płacisz, i czy darmowy plan jest do czegokolwiek.
  3. Łatwość startu - jak szybko osoba nietechniczna dochodzi do pierwszego sensownego wyniku.
  4. Świeżość rozwoju - czy narzędzie żyje: aktualizacje, changelog, reakcja na rynek.

Wynik to suma tych czterech ocen podzielona przez cztery. Nic więcej się w nim nie chowa: żadnej tajnej wagi, żadnej premii za afiliację. Cztery liczby, które widzisz na karcie, dają piątą, którą też widzisz.

Przykład z życia: ElevenLabs dostał u nas 5 za jakość, 4 za cenę do wartości, 5 za łatwość startu i 4 za świeżość. Średnia z 5, 4, 5 i 4 to 4,5 - i to jest ocena na karcie. Możesz ją sobie policzyć samodzielnie, o to chodzi.

Co znaczy każdy stopień

Skala 1-5 nie jest umowna, każdy stopień ma konkretne znaczenie:

  • 5 - najlepsze w kategorii, sami użylibyśmy tego do poważnej pracy bez zastrzeżeń.
  • 4 - bardzo dobre, z drobnymi kompromisami (limit, cena, brak polskiego), ale polecamy.
  • 3 - solidny środek, działa, lecz ma realną konkurencję lepszą w czymś ważnym.
  • 2 - używalne tylko w wąskim scenariuszu, dla większości więcej minusów niż plusów.
  • 1 - odradzamy, bo istnieje lepsza lub tańsza alternatywa, którą wskazujemy na karcie.

Jak traktujemy oceny zewnętrzne

Kiedy patrzymy na oceny z zewnątrz (G2, Trustpilot, App Store i podobne), nie bierzemy ich wprost. Problem jest prosty: trzy recenzje po 5/5 wyglądają na “lepsze” niż trzy tysiące recenzji po 4,6/5, choć ta pierwsza liczba nie znaczy prawie nic. Mała próbka potrafi pokazać cokolwiek - wystarczy troje zadowolonych znajomych albo troje rozczarowanych.

Dlatego stosujemy korektę bayesowską, wyjaśnioną po ludzku. Zaczynamy od rozsądnego punktu odniesienia (prioru), czyli typowej oceny dla danej kategorii narzędzi. Ocena, którą pokazujemy, to średnia ważona między tym punktem odniesienia a surową oceną narzędzia. O wadze decyduje liczba recenzji: im więcej opinii, tym mocniej liczy się własny wynik narzędzia; im mniej, tym bliżej zostaje średniej kategorii.

W praktyce działa to jak doważanie milczącym tłem. Narzędzie z trzema recenzjami startuje blisko średniej swojej kategorii i musi te opinie realnie odpracować, żeby się od niej oderwać. Narzędzie z tysiącami recenzji prawie w ogóle nie jest ruszane, bo za jego liczbą stoi duża próbka, której po prostu ufamy. Nowe pochwały przesuwają ocenę tym mniej, im więcej opinii już się uzbierało.

Efekt jest taki, jaki powinien być: świeże narzędzie z garstką entuzjastycznych opinii nie przeskakuje w kolejce sprawdzonego weterana tylko dlatego, że ktoś napisał trzy zachwyty. Korekta chroni przed hałasem małych liczb, nie karząc przy tym niczego, co naprawdę jest dobre.

Na koniec rzecz najważniejsza: oceny zewnętrzne są u nas wyłącznie tłem. Nie zastępują naszego własnego testu, tylko go uzupełniają. Decydująca waga leży na tym, co sami sprawdziliśmy, uruchamiając narzędzie i opisując wynik w czterech filarach powyżej. Zewnętrzne gwiazdki mówią, co myśli tłum; nasza ocena mówi, co się wydarzyło, gdy sami usiedliśmy i faktycznie tego użyliśmy.

Przejrzystość cennika

Przejrzysty cennik jest częścią oceny, a nie drobiazgiem. Jeśli narzędzie chowa ceny za “Contact sales” bez żadnych widełek, obniża to jego przejrzystość, a przez to filar “cena do wartości”. To nie jest neutralne.

Powód jest praktyczny: dla naszych odbiorców, czyli osób prywatnych, freelancerów i małych zespołów, “zadzwoń do nas” najczęściej znaczy “drogo i nieoczywiście”, a brak widełek uniemożliwia świadomą decyzję. Narzędzie z uczciwą, nawet wyższą ceną wygrywa u nas z takim, które cenę ukrywa. Na karcie widzisz to wprost jako znacznik przejrzystości.

Testujemy, zanim polecimy

Nasza podstawowa zasada brzmi: testujemy, zanim polecimy. Badge “testowane przez nas” i pełną ocenę dostaje wyłącznie narzędzie, które sami realnie odpaliliśmy, z widoczną datą testu. Nie oceniamy z prezentacji sprzedażowych.

Wpisy, których jeszcze nie sprawdziliśmy, są wizualnie oddzielone i oznaczone jako “wpis katalogowy, jeszcze nietestowany”. To uczciwa granica między “wiemy, bo sprawdziliśmy” a “wiemy, bo istnieje”.

Nasze afiliacje

Część naszych przychodów pochodzi z linków afiliacyjnych. Jeśli przejdziesz do narzędzia przez nasz link i coś kupisz, możemy dostać prowizję. Obowiązują nas przy tym trzy żelazne reguły:

  1. Każdy link afiliacyjny ma widoczną etykietę “link afiliacyjny” tuż przy przycisku, a nie drobnym drukiem w stopce.
  2. Każdy wpis sponsorowany (płatny featured) dostaje baner “wpis sponsorowany” i jest wizualnie oddzieloną sekcją, nigdy nie miesza się z rankingiem organicznym.
  3. Afiliacja nigdy nie wpływa na ocenę. Wynik bierze się wyłącznie z czterech filarów i naszego testu. Narzędzie, na którym zarabiamy, i takie, na którym nie zarabiamy, mierzymy tą samą miarą.

To nie tylko kwestia dobrych obyczajów, to prawo. W Polsce i w Unii Europejskiej ukrywanie handlowego charakteru rekomendacji jest nieuczciwą praktyką rynkową (ustawa o przeciwdziałaniu nieuczciwym praktykom rynkowym, wdrażająca dyrektywę 2005/29/WE o nieuczciwych praktykach handlowych), a pilnuje tego UOKiK. To ta sama zasada co amerykańskie FTC, które cytują inne katalogi, ale nas wiąże prawo unijne i polskie. Taniej i uczciwiej oznaczyć afiliację od pierwszego dnia niż odbudowywać zaufanie po fakcie.

Zgłoś nieaktualność

Ceny, plany i same narzędzia zmieniają się szybko. Jeśli widzisz cenę, która już się nie zgadza, martwy link albo narzędzie, które zmieniło właściciela, daj nam znać. Każda karta ma odnośnik “Zgłoś nieaktualność”. Zgłoszenie trafia do naszej poniedziałkowej kolejki przeglądu, weryfikujemy je i aktualizujemy datę sprawdzenia.

To system dwukierunkowy: automatyczny monitoring łapie większość zmian sam, a ty pomagasz nam wychwycić resztę.