Anthillo /blog
← Wszystkie wpisy

Po wyszukiwaniu zaczyna się wybór

Mikołaj Wojciuk

Software and Data Engineer ·

Każdy z nas słyszał zapewne enigmatycznie brzmiący skrót – RAG. Retrieval-Augmented Generation szturmem podbił domenę systemów opartych na AI przeznaczonych do pracy z naszymi dokumentami. Jest ku temu kilka dobrych powodów, z których najważniejszy to ten, że podejście wykorzystujące semantyczne podobieństwo tekstów potrafi bardzo skutecznie odnajdywać fragmenty powiązane z pytaniami użytkowników.

Problem w tym, że „związane z pytaniem” wcale nie oznacza „najlepiej na nie odpowiadające”. W prawdziwym systemie znalezienie dobrych kandydatów to dopiero pierwszy etap – później trzeba zdecydować, którym z nich rzeczywiście warto zaufać. Zastanówmy się więc, gdzie leży problem i, co ważniejsze, jak go rozwiązać.

Pierwszy ranking to dopiero propozycja

Załóżmy, że użytkownik zadaje pytanie do bazy zawierającej kilka tysięcy stron dokumentacji. Wyszukiwarka wektorowa wykonuje swoje zadanie i po chwili zwraca dziesięć fragmentów. Wszystkie wyglądają sensownie: dotyczą właściwego produktu, używają podobnej terminologii i krążą wokół dokładnie tego samego zagadnienia.

Na pierwszy rzut oka wszystko działa.

W przypadku wyszukiwania semantycznego każdy fragment dokumentu reprezentowany jest przez wektor, który próbuje opisać jego znaczenie w wielowymiarowej przestrzeni. Zapytanie użytkownika przechodzi dokładnie ten sam proces, a algorytm porównuje wektory za pomocą wybranej metryki – najczęściej podobieństwa kosinusowego. W dużym uproszczeniu: im bliżej siebie znaczeniowo znajdują się dwa teksty, tym wyższy wynik otrzymują i tym wyżej dany fragment ląduje w rankingu. Haczyk polega na tym, że taka liczba opisuje przede wszystkim podobieństwo semantyczne, a nie to, czy dokument zawiera najlepszą odpowiedź na zadane pytanie.

Dopiero kiedy przyjrzymy się wynikom z bliska, okazuje się, że pierwszy fragment opisuje starszą wersję systemu, drugi zaledwie wspomina interesujący nas parametr, a dopiero trzeci zawiera dokładną odpowiedź.

Kolejność ma tu fundamentalne znaczenie. W praktycznym systemie nie przekażemy modelowi językowemu wszystkich znalezionych fragmentów. Byłoby to powolne, kosztowne i błyskawicznie wyczerpałoby dostępne okno kontekstowe. Z kilkudziesięciu czy kilkuset kandydatów wybieramy zaledwie kilku najlepszych – na przykład Top 5 – i dopiero oni trafiają do promptu.

Oznacza to, że z punktu widzenia modelu poprawna odpowiedź znajdująca się na 30. pozycji równie dobrze mogłaby nie istnieć. Retriever ją znalazł, ale system i tak jej nie wykorzysta. Pojawia się tu jedna z mniej oczywistych cech wyszukiwania: samo odnalezienie właściwej informacji nie wystarcza – musi się ona jeszcze znaleźć odpowiednio wysoko na liście.

Pierwszy etap wyszukiwania musi działać szybko. Jego celem jest przesianie ogromnego zbioru i stworzenie sensownej listy kandydatów. Zwrócony ranking warto więc traktować raczej jako pierwszą propozycję niż ostateczny werdykt. Szczególnie wtedy, gdy różnica między poprawną a błędną odpowiedzią nie kryje się w głównym temacie, lecz w drobnym szczególe: wersji produktu, dacie, warunku, wyjątku czy pojedynczym parametrze.

Właśnie to rodzi potrzebę drugiego spojrzenia na wyniki.

Podobieństwo semantyczne a faktyczna trafność

Wyszukiwanie wektorowe świetnie odpowiada na pytanie: „Które fragmenty mówią o podobnych rzeczach?”. Znacznie gorzej radzi sobie jednak z pytaniem: „Który z tych fragmentów najlepiej odpowiada na dokładnie to, o co zapytał użytkownik?”. To subtelna, ale kluczowa różnica.

W tym miejscu musimy wprowadzić pojęcie relevance, czyli faktycznej trafności wyniku względem konkretnego zapytania. Dwa dokumenty mogą być bardzo podobne semantycznie, ale pod kątem relevance różnić się diametralnie. Jeśli pytamy o konfigurację systemu w wersji 2.3, dokumentacja wersji 2.1 może tematycznie wyglądać jak brat bliźniak, ale nadal pozostaje bezużyteczną odpowiedzią.

Z takimi przypadkami zderzamy się w praktyce cały czas. W dokumentacji technicznej procedury często różnią się jedynie modelem urządzenia. W e-commerce dwa produkty mogą należeć do tej samej kategorii i mieć zbliżony opis, ale tylko jeden z nich spełnia konkretne wymaganie użytkownika. Dla modelu embeddingowego oba wyniki leżą tuż obok siebie. Dla człowieka różnica jest zasadnicza.

Jeszcze bardziej zdradliwe potrafią być negacje i wyjątki:

„Funkcja X jest obsługiwana w wersji 3.2.”
„Funkcja X nie jest obsługiwana w wersji 3.2.”

Semantycznie te zdania są niemal identyczne. Z punktu widzenia odpowiedzi – leżą na dwóch biegunach.

Dlatego similarity score nie jest miarą poprawności. Wynik 0.86 nie oznacza, że dokument jest „w 86% właściwy”. Opisuje jedynie matematyczną relację tekstów. Skoro pierwszy etap wyszukiwania nie potrafi ocenić trafności wystarczająco precyzyjnie, potrzebujemy mechanizmu, który ułoży znalezionych kandydatów według innego kryterium.

Taki mechanizm nazywamy rerankerem.

Retriever szuka szeroko, reranker ocenia dokładnie

Podział obowiązków jest tu bardzo naturalny. Retriever (moduł wyszukujący) ma działać błyskawicznie i przede wszystkim nie przegapić niczego przydatnego. Jego zadaniem nie jest idealne sortowanie, lecz wyłowienie dobrego zestawu kandydatów spośród milionów fragmentów.

Warto tu przypomnieć dwie klasyczne metryki: recall (kompletność) i precision (precyzję). Recall mówi nam, jaką część wszystkich istotnych wyników z bazy udało się odnaleźć. Precision z kolei odpowiada na pytanie, jaka część zwróconych wyników faktycznie trafia w punkt.

Jeśli w bazie istnieje pięć fragmentów mogących odpowiedzieć na pytanie, a retriever znajdzie cztery z nich – osiągamy wysoki recall. Jeżeli jednak do tych czterech dorzuci kilkadziesiąt zupełnie nietrafionych, precision tej listy będzie fatalna.

Na pierwszym etapie możemy sobie na to pozwolić. Najważniejsze to złapać właściwą informację do sieci – jeśli zabraknie jej teraz, reranker nie będzie miał później czego wyciągać na szczyt listy.

Zadanie rerankera jest inne. Nie przeszukuje już całej bazy. Otrzymuje gotową krótką listę i precyzyjnie ocenia relację między pytaniem a każdym z kandydatów z osobna. Jego celem jest podbicie precyzji na samym szczycie rankingu.

W skrócie. Retriever przeszukuje dużą bazę i buduje szeroką pulę kandydatów, dbając przede wszystkim o wysoki recall. Reranker pracuje już na tej ograniczonej puli i poprawia precision na jej szczycie, zanim wybrane fragmenty trafią do kontekstu LLM-a.

Model językowy nie dysponuje magiczną mocą odtwarzania informacji, których mu nie podano. Jeśli do promptu trafi pięć świetnych fragmentów, model ma solidną bazę do wnioskowania. Jeśli dostanie materiał nieaktualny lub błędny, wygeneruje równie słabą odpowiedź. Działa tu odwieczna zasada inżynierii danych: garbage in, garbage out.

Reranking nie jest więc tylko „kosmetyką”. Bezpośrednio wpływa na jakość danych, które zobaczy LLM, a tym samym na użyteczność całego systemu. Dzięki zawężeniu puli kandydatów możemy na tym etapie użyć wolniejszego, ale znacznie dokładniejszego modelu. Wymuszenie takiej precyzji na całej bazie po prostu sparaliżowałoby system.

To klasyczny kompromis architektoniczny: pierwszy etap walczy o recall, drugi podnosi precision tam, gdzie ma to największe znaczenie.

Jak z Top 100 zrobić Top 5

Wdrożenie rerankingu zaczyna się od kluczowej decyzji: ile wyników chcemy dopuścić do drugiego etapu? Retriever może zwrócić np. top_k = 100, tworząc w ten sposób pulę kandydatów – zbiór obiecujących fragmentów.

Parametr top_k na etapie wyszukiwania nie jest tym samym, co finalna liczba dokumentów wysyłanych do LLM-a. Pierwszy może wynosić 100 czy 200, podczas gdy do promptu trafia zaledwie 5.

Przepływ wygląda następująco:

Zapytanie (Query) – trafia do wyszukiwarki.
Wyszukiwanie – zwraca np. 100 kandydatów.
Reranking – oblicza nowy wynik trafności (relevance score) dla każdego kandydata.
Sortowanie – układa listę ponownie według nowych ocen.
Top 5 – trafia jako kontekst do LLM.

Na etapie rerankingu każdy kandydat jest ponownie, niezależnie oceniany względem zapytania:

Przykładowe oceny trafności
fragment_1    0.91
fragment_2    0.37
fragment_3    0.84

Po tej operacji wcześniejsza kolejność ląduje w koszu. Fragment, który u retrievera był na 34. miejscu, może wskoczyć na pozycję wicelidera, jeśli dokładniejszy model uzna, że idealnie odpowiada na intencję użytkownika.

Pojawia się tu pojęcie okno rerankingu (rerank window) – to liczba kandydatów przepuszczanych przez drugi model. Im szersze okno, tym większa szansa na wyłowienie ukrytej perły. Pamiętajmy jednak, że każda dodatkowa para to koszt obliczeniowy.

Ustawienie top_k = 5 bezpośrednio na retrieverze to błąd początkujących. Jeśli właściwa odpowiedź znalazłaby się na 17. miejscu, ucięlibyśmy ją, zanim reranker w ogóle miałby szansę na nią spojrzeć. Znacznie bezpieczniej jest zarzucać szeroką sieć i dopiero potem starannie przebierać połów.

Jak można wybierać: reguły, modele i LLM-y

Zanim przyjrzymy się samym rerankerom, trzeba wyraźnie oddzielić je od wyszukiwania hybrydowego (hybrid search). To dwa odrębne byty, choć często pracują ramię w ramię.

Wyszukiwanie hybrydowe to wciąż etap wyszukiwania. Uruchamiamy w nim równolegle wyszukiwanie leksykalne (np. BM25, idealne do wyłapywania konkretnych ID czy nazw własnych) oraz wektorowe (łapiące kontekst). Problem pojawia się przy łączeniu obu list. Surowe wyniki obu algorytmów operują na zupełnie innych skalach. Z pomocą przychodzi tu RRF (Reciprocal Rank Fusion) – algorytm, który ignoruje same wartości punktowe, a skupia się na pozycjach dokumentów na obu listach. Im wyżej dany wynik punktuje w obu rankingach, tym wyżej ląduje w połączonym zbiorze.

Dopiero w tym momencie, mając wyselekcjonowanych kandydatów, wkracza reranker. Jakich technologii możemy użyć?

Cross-encodery. W klasycznym wyszukiwaniu wektorowym pytanie i dokument kodowane są osobno. Cross-encoder dostaje oba teksty jednocześnie i zwraca wynik trafności. Dzięki temu model widzi zależności: konkretne liczby, negacje czy zgodność nazw. Przykłady to modele ms-marco czy BGE Reranker. Są drogie obliczeniowo, ale doskonałe na etapie zawężonej listy.

Learning to Rank (LtR). Zamiast analizować sam tekst, model ocenia zestaw konkretnych cech: wynik BM25, podobieństwo wektorowe, datę publikacji, dokładne dopasowanie, autorytet źródła. Algorytmy takie jak LambdaMART uczą się łączyć te sygnały na podstawie danych treningowych (np. kliknięć użytkowników).

Ocena przez LLM. Model językowy może dostać listę kandydatów i samodzielnie ich posortować. To daje największą elastyczność – możemy w prompcie poinstruować go: “Preferuj aktualną wersję procedury i odrzucaj dokumenty o starszych urządzeniach”. Płacimy za to jednak czasem, zużyciem tokenów i kosztem inferencji.

Nie istnieje jeden uniwersalny reranker. Wybór zależy od wymagań konkretnego projektu.

Jakość kontra opóźnienia i koszt

Reranking podnosi jakość, ale pobiera myto przy każdym zapytaniu. Retriever przeszukuje bazę w ułamkach sekund, bazując na zoptymalizowanych indeksach. Reranker zmusza system do wykonania ciężkiej pracy na żywo.

Kompromis jest oczywisty: zbyt małe okno rerankingu ogranicza potencjał systemu, zbyt duże drastycznie zwiększa opóźnienia. Lekki cross-encoder może działać szybko (zwłaszcza przy batchowaniu), ale potężny LLM analizujący wyniki dołoży zauważalne sekundy do czasu odpowiedzi.

Właśnie dlatego warto myśleć w kategoriach budżetu opóźnienia (latency budget) – maksymalnego czasu, w którym system musi zareagować, by użytkownik nie stracił cierpliwości. Część budżetu zjada wyszukiwanie, część sortowanie, a resztę generacja tekstu. W wyszukiwarkach e-commerce dodatkowe 300 milisekund to potężny narzut; w korporacyjnym asystencie analitycznym – zupełnie akceptowalny koszt za pewność danych.

W zaawansowanych rozwiązaniach stosuje się podejścia kaskadowe: najpierw szeroki retriever, następnie lekki, szybki reranker redukujący pulę np. do 10 wyników, a ciężki LLM uruchamiany jest tylko dla najbardziej skomplikowanych zapytań.

Reranking nie jest darmowym „ulepszeniem” – to inwestycja, która musi się architektonicznie kalkulować.

Dobry ranking jest częścią architektury

Reranker nie jest magiczną różdżką. Jeśli właściwego pliku nie ma w puli kandydatów, najlepszy algorytm na świecie go stamtąd nie wyczaruje.

Jakość systemu RAG trzeba oceniać holistycznie. Retriever dba o recall, reranker podbija precyzję, a LLM zgrabnie syntetyzuje to, co mu przekażemy. To również powód, dla którego benchmark pojedynczego modelu wektorowego mówi tak niewiele o finalnym systemie. Najlepszy LLM i wybitny cross-encoder polegną, jeśli zapomnimy o dobrym podziale dokumentów na fragmenty (chunkingu) i czyszczeniu danych.

W praktycznych projektach kluczem do sukcesu nie jest znalezienie „modelu ostatecznego”, lecz orkiestracja całego potoku przetwarzania. Ranking to pełnoprawna część architektury, decydująca o tym, na jakim paliwie ostatecznie pojedzie sztuczna inteligencja. W dobrze zaprojektowanym systemie żaden element nie musi być idealny – wystarczy, że każdy z nich wykonuje swoje zadanie wystarczająco rzetelnie, by ułatwić pracę kolejnemu.

← Wszystkie wpisy