Jak rozpoznać, że AI zmyśla: halucynacje i jak je ograniczyć
AI odpowiada na wszystko z tą samą pewnością siebie. Problem w tym, że tę samą pewność ma, gdy zna odpowiedź, i gdy właśnie ją wymyśla.
To zjawisko ma nazwę: halucynacja.
To najczęstszy powód, dla którego ludzie tracą zaufanie do AI. Ale halucynacje da się nauczyć rozpoznawać i mocno je ograniczyć. Oto jak.
Dlaczego AI w ogóle zmyśla
Model językowy nie sięga do bazy prawd. On przewiduje, jakie słowo najprawdopodobniej pasuje jako następne. Zwykle daje to trafne odpowiedzi, bo prawdziwe informacje są w danych, na których się uczył. Ale kiedy model czegoś nie wie, nie milknie. Dokleja najbardziej prawdopodobnie brzmiącą treść, nawet jeśli nie jest prawdziwa. Dla modelu - brzmi wiarygodnie i jest prawdziwe to nie to samo.
5 sygnałów, że AI właśnie zmyśla
- Podaje bardzo konkretny szczegół bez źródła: dokładną datę, liczbę albo cytat, których nie sposób sprawdzić.
- Odpowiedź brzmi zbyt gładko i pewnie przy trudnym, niszowym pytaniu.
- Podaje link, tytuł książki albo nazwisko, które nie istnieją lub nie pasują.
- Zmienia odpowiedź, gdy dopytasz „na pewno?”. To znak, że zgadywał.
- Miesza fakty z różnych źródeł w jedną, pozornie spójną całość.
Jak ograniczyć halucynacje
Dobra wiadomość: sposób, w jaki pytasz, mocno wpływa na to, ile model zmyśla. Kilka technik, które realnie działają:
- Poproś o źródła i o szczerość. Dopisz: podaj źródła i wyraźnie zaznacz, czego nie jesteś pewien.
- Daj prawo do niewiedzy. Napisz: jeśli nie znasz odpowiedzi, powiedz wprost, że nie wiesz, nie zgaduj. To jedno zdanie wycina większość zmyśleń.
- Nakarm model materiałem. Zamiast pytać z pamięci, wklej dokument albo dane i każ odpowiadać wyłącznie na ich podstawie.
- Przy logice każ rozumować krok po kroku. Modele mniej zmyślają, gdy pokazują tok rozumowania.
- Weryfikuj to, co policzalne. Liczby, daty, cytaty i nazwiska sprawdzaj zawsze, nawet gdy brzmią pewnie.
Czego nie bierz na wiarę bez sprawdzenia
Nawet dobry prompt nie daje stuprocentowej pewności. Te rzeczy sprawdzaj zawsze u źródła: konkretne liczby i statystyki, cytaty i to, komu je przypisano, linki oraz tytuły książek i artykułów, świeże wydarzenia sprzed chwili, a także wszelkie porady prawne, medyczne i finansowe.
Czujność zamiast nieufności
Halucynacje nie znikną, bo wynikają z tego, jak działa AI. Ale przestają być groźne, gdy wiesz, kiedy być czujnym. Traktuj AI jak bardzo oczytanego rozmówcę, który czasem konfabuluje: świetne źródło pomysłów, słabsze źródło ostatecznej prawdy.
Pojęcie halucynacji i inne terminy wyjaśnia bez żargonu Słownik AI. A jeśli chcesz gotowe prompty, które od razu wymuszają na modelu źródła i szczerość, znajdziesz je w Biblii Promptów Gatsby'ego.