Anthillo /blog
← Wszystkie wpisy

Agent musi wiedzieć, gdzie szukać

Mikołaj Wojciuk

Software and Data Engineer ·

Wyszukiwanie informacji wydaje się na pierwszy rzut oka całkiem prostym zadaniem. Użytkownik zadaje pytanie, system przeszukuje dostępne dane i zwraca wyniki, które najlepiej do niego pasują. Im lepiej przygotowana baza wiedzy, tym łatwiejsze powinno być całe zadanie.

W praktyce różne pytania potrafią jednak wymagać zupełnie innego podejścia. Czasem szukamy konkretnej nazwy, numeru urządzenia albo dokładnego parametru. Innym razem użytkownik opisuje problem własnymi słowami i oczekuje, że system odnajdzie dokument mówiący o tym samym, nawet jeśli używa zupełnie innego słownictwa.

Oba przypadki dotyczą tej samej bazy wiedzy, ale niekoniecznie tego samego sposobu szukania. Zamiast więc zastanawiać się, która metoda wyszukiwania jest „najlepsza”, znacznie sensowniej zapytać, jak wykorzystać kilka z nich jednocześnie i sprawić, żeby wzajemnie się uzupełniały.

BM25 i wyszukiwanie wektorowe widzą inne rzeczy

Najprościej zobaczyć tę różnicę na zwykłym przykładzie zakupowym. Załóżmy, że użytkownik wpisuje nazwę konkretnego telefonu, na przykład iPhone 17 Pro. W takim przypadku nie potrzebujemy szczególnie głębokiego rozumienia języka – zależy nam przede wszystkim na znalezieniu dokładnie tego modelu.

Tutaj bardzo dobrze sprawdza się klasyczne wyszukiwanie leksykalne. Jednym z najbardziej znanych algorytmów tego typu jest BM25, który rozwija mechanizm starszej metody TF-IDF.

TF-IDF ocenia dopasowanie tekstu na podstawie dwóch informacji: jak często dane słowo pojawia się w konkretnym dokumencie oraz jak rzadkie jest w całej kolekcji. Słowo występujące niemal w każdym dokumencie niesie niewiele informacji, natomiast rzadkie określenie – na przykład dokładna nazwa modelu – jest bardzo silnym sygnałem.

Reprezentację wektorową dokumentów opartą na TF-IDF możemy zbudować dosłownie w kilku liniach:

from sklearn.feature_extraction.text import TfidfVectorizer

documents = [
    "iPhone 17 Pro 256 GB aparat nocny",
    "iPhone 17 128 GB wydajna bateria",
    "Galaxy S26 Ultra aparat i stabilizacja obrazu",
]

vectorizer = TfidfVectorizer()
document_vectors = vectorizer.fit_transform(documents)

W efekcie każdy dokument zostaje opisany rzadkim wektorem, którego poszczególne pozycje odpowiadają słowom występującym w kolekcji. Możemy później porównywać zapytanie z dokumentami i wybierać te, które mają z nim najwięcej wspólnych, istotnych terminów.

BM25 rozwija podobną intuicję. Sama liczba wystąpień słowa nie rośnie w nim jednak w nieskończoność razem z wynikiem. Jeśli termin pojawił się w dokumencie dziesięć razy, nie oznacza automatycznie, że dokument jest dziesięciokrotnie lepszy od tego, w którym wystąpił raz. BM25 uwzględnia takie nasycenie częstotliwości, a dodatkowo bierze pod uwagę długość dokumentu. Dzięki temu długi tekst nie wygrywa rankingu wyłącznie dlatego, że miał więcej okazji do użycia poszukiwanych słów.

TF-IDF i BM25 nie wyczerpują oczywiście wszystkich możliwości klasycznego wyszukiwania. Istnieją również inne statystyczne modele rankingu. Najważniejsze jest jednak wspólne założenie: podstawowym sygnałem pozostaje obecność konkretnych terminów w dokumentach.

Zupełnie inaczej wygląda pytanie: „Jaki telefon dobrze sprawdzi się do zdjęć nocnych?”. W opisie produktu nie musi wcale pojawić się fraza „zdjęcia nocne”. Zamiast tego możemy znaleźć informacje o jasnym obiektywie, stabilizacji obrazu, dużej matrycy czy dedykowanym trybie fotografowania po zmroku.

Dla wyszukiwania opartego wyłącznie na słowach taki fragment może nie wyglądać jak idealne dopasowanie. Wyszukiwanie wektorowe patrzy natomiast na relację pomiędzy znaczeniem pytania i dokumentu. Oba teksty zostają przekształcone przez model embeddingowy do reprezentacji numerycznej, a następnie porównane za pomocą wybranej metryki podobieństwa.

Dzięki temu pytanie i dokument nie muszą używać identycznych sformułowań, żeby znaleźć się blisko siebie w przestrzeni embeddingów.

Nie oznacza to jednak, że wyszukiwanie wektorowe automatycznie zastępuje klasyczne podejście. W katalogach produktów pełno jest elementów, których nie chcemy interpretować zbyt swobodnie: nazw modeli, pojemności pamięci, numerów wersji czy konkretnych oznaczeń. iPhone 17 i iPhone 17 Pro są semantycznie bardzo blisko siebie, ale dla użytkownika mogą oznaczać dwa zupełnie różne wybory.

W praktyce dostajemy więc dwa różne rodzaje sygnału. BM25 świetnie odpowiada na pytanie „gdzie występują właśnie te słowa?”, a wyszukiwanie wektorowe – „gdzie znajduje się treść o podobnym znaczeniu?”. I dopiero połączenie obu perspektyw pozwala zacząć mówić o wyszukiwaniu hybrydowym.

Hybrydowe wyszukiwanie – dwa sygnały, jeden ranking

Skoro wyszukiwanie leksykalne i wektorowe dobrze radzą sobie z różnymi rodzajami zapytań, naturalnym krokiem jest uruchomienie obu metod jednocześnie. Na tym właśnie opiera się wyszukiwanie hybrydowe.

Dla jednego zapytania możemy więc otrzymać dwa rankingi. Pierwszy powstaje na podstawie dopasowania słów, drugi na podstawie podobieństwa semantycznego. Ten sam dokument może znaleźć się bardzo wysoko na jednej liście, a znacznie niżej na drugiej.

Załóżmy dla przykładu, że otrzymaliśmy takie wyniki:

Wyszukiwanie leksykalne:

1. Dokument A
2. Dokument B
3. Dokument C

Wyszukiwanie wektorowe:

1. Dokument C
2. Dokument A
3. Dokument D

Dokument A świetnie wypada w obu metodach, choć żadna z nich nie musi uważać go za bezdyskusyjnego zwycięzcę. C jest najlepszy semantycznie, ale dopiero trzeci pod względem dopasowania słów. B pojawia się wysoko tylko w wyszukiwaniu leksykalnym, a D tylko w semantycznym.

Teraz trzeba z tych dwóch list stworzyć jeden ranking.

Pierwszym pomysłem może być zwykłe połączenie wartości zwracanych przez oba algorytmy. Załóżmy jednak, że BM25 zwrócił dla dokumentu wynik 12.7, a podobieństwo wektorowe wynosi 0.84. Nie oznacza to, że pierwszy sygnał jest piętnaście razy ważniejszy. Te liczby opisują zupełnie inne rzeczy i funkcjonują na innych skalach.

Możemy próbować je wcześniej normalizować, a następnie nadać poszczególnym metodom odpowiednie wagi. Przykładowo 40% końcowej oceny może pochodzić z wyszukiwania leksykalnego, a 60% z semantycznego. Takie rozwiązanie daje dużą kontrolę, ale jednocześnie wprowadza parametry, które trzeba dobrać na podstawie rzeczywistych danych i później utrzymywać.

Inną metodą jest Reciprocal Rank Fusion, czyli RRF. Zamiast interesować się surowymi wynikami, patrzy on na pozycję dokumentu na każdej liście.

W uproszczeniu im wyżej dokument znajduje się w danym rankingu, tym większy wkład otrzymuje. Jeśli występuje wysoko w kilku rankingach jednocześnie, jego wkłady są sumowane.

Prostą wersję takiego mechanizmu możemy zapisać samodzielnie:

def reciprocal_rank_fusion(*rankings, k=60):
    scores = {}

    for ranking in rankings:
        for position, document_id in enumerate(ranking, start=1):
            score = 1 / (k + position)
            scores[document_id] = scores.get(document_id, 0) + score

    return sorted(
        scores.items(),
        key=lambda item: item[1],
        reverse=True,
    )


lexical = ["A", "B", "C"]
semantic = ["C", "A", "D"]

print(reciprocal_rank_fusion(lexical, semantic))

Dla naszego przykładu wynik będzie wyglądał mniej więcej tak:

A   0.03252
C   0.03227
B   0.01613
D   0.01587

Dokument A wygrywa, ponieważ pojawił się bardzo wysoko na obu listach. C jest tuż za nim – był pierwszy semantycznie i trzeci leksykalnie. B i D dostały punkty tylko z jednego rankingu.

Sama wartość 0.03252 nie mówi nam przy tym, że dokument jest „w 3,2% trafny”. To techniczny wynik służący do uporządkowania listy. W RRF znaczenie ma przede wszystkim wzajemna kolejność dokumentów.

Ważna jest tutaj również granica między wyszukiwaniem hybrydowym a rerankingiem. RRF nadal jest częścią retrievalu. Nie analizuje ponownie treści dokumentu i pytania za pomocą dokładniejszego modelu. Łączy rankingi uzyskane wcześniej różnymi metodami.

Dopiero później możemy wziąć powstałą pulę wyników i poddać ją dokładniejszej ocenie – na przykład cross-encoderem. To jest już reranking, któremu poświęciliśmy osobny wpis.

W praktyce wyszukiwanie hybrydowe można więc przedstawić bardzo prosto:

lexical_results = lexical_search(query, top_k=50)
semantic_results = vector_search(query, top_k=50)

results = reciprocal_rank_fusion(
    lexical_results,
    semantic_results,
)

To nadal może być jedna wyszukiwarka, jedna baza i jedno zapytanie użytkownika. „Hybrydowość” nie musi oznaczać wielu osobnych systemów – chodzi o wykorzystanie kilku niezależnych sygnałów podczas budowania końcowej listy wyników.

Nie wszystko powinno być wyszukiwane tak samo

Do tej pory zakładaliśmy, że przeszukujemy jeden zbiór tekstów. W rzeczywistym systemie wiedza rzadko jest jednak aż tak jednorodna. Obok dokumentacji możemy mieć katalog produktów, tabele z parametrami, historię zgłoszeń, konfigurację systemu czy dane pobierane na bieżąco z zewnętrznego API.

Każde z tych źródeł odpowiada na trochę inne pytania.

Jeżeli użytkownik chce dowiedzieć się, jak przebiega procedura reklamacyjna, naturalnym miejscem do szukania będzie dokument opisujący cały proces. Jeśli natomiast pyta o aktualny stan zamówienia, przeszukiwanie fragmentów dokumentacji za pomocą embeddingów nie ma większego sensu – interesująca nas informacja znajduje się w konkretnym rekordzie i najlepiej pobrać ją bezpośrednio z systemu, który ją przechowuje.

Podobnie wygląda sytuacja z danymi strukturalnymi. Pytanie o produkt kosztujący mniej niż 3000 zł, mający 256 GB pamięci i dostępny obecnie w magazynie można oczywiście próbować interpretować semantycznie. Znacznie rozsądniej jest jednak część tego zapytania przełożyć na zwykłe warunki:

filters = {
    "price": {"lt": 3000},
    "storage_gb": 256,
    "in_stock": True,
}

Wyszukiwanie semantyczne może wtedy odpowiadać za mniej precyzyjną część pytania – na przykład „dobry telefon do zdjęć” – podczas gdy konkretne wymagania zostaną obsłużone przez filtry.

To dość istotna różnica. Embedding świetnie nadaje się do reprezentowania znaczenia tekstu, ale nie ma powodu, żeby prosić go o rozstrzyganie każdego warunku logicznego. Jeśli użytkownik powiedział wprost, że cena ma być niższa niż 3000 zł, system może potraktować to po prostu jako fakt.

Właśnie dlatego metadane są tak istotną częścią dobrze przygotowanej bazy wiedzy. Informacje o źródle dokumentu, dacie, wersji, typie produktu czy kategorii pozwalają ograniczyć obszar wyszukiwania jeszcze zanim zaczniemy porównywać znaczenie tekstów.

Ten sam fragment wiedzy może więc być odnajdywany na kilku poziomach. Treść odpowiada za podobieństwo semantyczne, wyszukiwanie leksykalne pozwala znaleźć konkretne określenia, a metadane zawężają wyniki do rekordów, które w ogóle mają sens w danym kontekście.

Nie każdą informację warto też kopiować do bazy wektorowej. Dane często zmieniające się – stan magazynowy, bieżący status procesu czy aktualna cena – znacznie lepiej pobierać z systemu źródłowego w momencie wykonywania zapytania.

Baza wiedzy może przechowywać opis produktu czy dokumentację, ale nie musi stawać się kolejną kopią każdego systemu w organizacji.

W efekcie coraz mniej przypomina ona jeden wielki zbiór fragmentów tekstu. Staje się raczej warstwą dostępu do różnych rodzajów informacji, w której sposób wyszukiwania zależy zarówno od pytania użytkownika, jak i od charakteru samych danych.

Agent musi dobrać sposób wyszukiwania do pytania

Skoro różne rodzaje informacji wymagają różnych metod dostępu, pojawia się kolejna decyzja: skąd system ma wiedzieć, której z nich użyć?

Użytkownik nie powinien przecież określać, że jego pytanie należy wysłać do wyszukiwania wektorowego, bazy SQL albo zewnętrznego API. Z jego perspektywy nadal jest to po prostu jedno pytanie.

Tę decyzję może podjąć sam agent. Zanim rozpocznie właściwe wyszukiwanie, analizuje zapytanie i wybiera odpowiednią ścieżkę. Pytanie o znaczenie procedury może skierować do bazy dokumentów, prośbę o konkretny produkt do wyszukiwania hybrydowego z filtrami, a pytanie o aktualny status zamówienia bezpośrednio do systemu transakcyjnego.

Co ważne, takie kierowanie zapytań (query routing) nie musi oznaczać uruchamiania dużego modelu językowego przy każdej decyzji.

Jeżeli część przypadków jest jednoznaczna, możemy obsłużyć je zwykłymi regułami:

def route_query(query):
    if contains_order_number(query):
        return "orders_api"

    if contains_product_filters(query):
        return "product_search"

    return "knowledge_base"

Nie ma większego sensu pytać LLM-a, czy ciąg wyglądający jak numer zamówienia powinien trafić do systemu zamówień, jeśli możemy rozpoznać to deterministycznie, taniej i przewidywalniej.

Model językowy staje się przydatniejszy wtedy, kiedy intencja nie wynika już z prostych cech zapytania. Użytkownik może na przykład napisać:

„Telefon, który oglądałem wczoraj, nadal jest dostępny i czy nada się do fotografowania koncertów?”

Takie pytanie może wymagać kilku kroków. Najpierw trzeba ustalić, o jaki produkt chodzi. Następnie pobrać aktualną dostępność z systemu produktowego, a parametry aparatu lub opis możliwości znaleźć w bazie wiedzy.

Wybór nie zawsze kończy się więc na jednej ścieżce. Agent może korzystać z kilku źródeł w ramach jednego zadania i dopiero na końcu połączyć uzyskane informacje.

Zaczyna wtedy pełnić rolę czegoś więcej niż tylko interfejsu do wyszukiwarki. Musi ustalić, jakiej wiedzy potrzebuje, gdzie jej szukać i które wyniki ze sobą połączyć. Sam retrieval staje się jednym z dostępnych narzędzi, a nie całą logiką systemu.

Ma to również ciekawą konsekwencję dla architektury bazy wiedzy. Nie musimy na siłę sprowadzać wszystkich danych do jednej reprezentacji tylko po to, aby agent potrafił z nich korzystać. Dokumentacja może pozostać w indeksie przystosowanym do wyszukiwania tekstowego i wektorowego, dane strukturalne w bazie danych, a informacje zmieniające się w czasie – w systemie, który jest ich rzeczywistym źródłem.

W takim układzie najważniejsza staje się nie jedna metoda wyszukiwania, lecz umiejętność dobrania właściwej metody do pytania. Agent nie musi wiedzieć wszystkiego. Musi wiedzieć, jak dotrzeć do informacji, której właśnie potrzebuje.

Baza wiedzy żyje

Nawet najlepiej zaprojektowane wyszukiwanie traci sens, jeśli pracuje na nieaktualnych danych. Dokumenty dostają nowe wersje, produkty zmieniają parametry, procedury są poprawiane, a część informacji po prostu przestaje obowiązywać.

Baza wiedzy nie jest więc czymś, co budujemy raz i zostawiamy w spokoju.

Widać to szczególnie dobrze wtedy, gdy do indeksu trafiają dokumenty wersjonowane. Jeśli przechowujemy jednocześnie instrukcję dla wersji 2.1 i 2.3, obie mogą być bardzo podobne semantycznie i zawierać niemal identyczne słownictwo. Z punktu widzenia wyszukiwarki są świetnymi kandydatami. Z punktu widzenia użytkownika jedna z nich może być już całkowicie nieaktualna.

Dlatego podczas przetwarzania danych warto zachować informacje pozwalające później rozróżnić nie tylko co zawiera dany fragment, ale również skąd pochodzi, kiedy powstał i czego dokładnie dotyczy.

Numer wersji, data aktualizacji, identyfikator źródłowego dokumentu czy status jego obowiązywania potrafią być równie ważne jak sam embedding.

Aktualizacja takiej wiedzy nie powinna też polegać wyłącznie na dokładaniu kolejnych fragmentów do indeksu. Jeśli dokument został zastąpiony nową wersją, musimy wiedzieć, co zrobić z jego poprzednią reprezentacją. Czasem wystarczy oznaczyć ją jako archiwalną i wykluczyć z domyślnego wyszukiwania. Innym razem stary materiał powinien zostać całkowicie usunięty.

Podobnie wygląda sprawa z embeddingami. Jeżeli zmieniła się treść fragmentu, jego poprzednia reprezentacja wektorowa również przestaje opisywać aktualną zawartość. Aktualizacja dokumentu może więc oznaczać ponowne wykonanie całego fragmentu procesu: ekstrakcji treści, podziału na fragmenty, aktualizacji metadanych i wygenerowania nowych embeddingów.

W praktyce przydaje się więc możliwość jednoznacznego powiązania rekordu z jego źródłem. Jeśli wiemy, że fragmenty A1, A2 i A3 powstały z konkretnej wersji dokumentu, po jego zmianie możemy zaktualizować właśnie tę część indeksu zamiast przebudowywać całą bazę wiedzy.

Im więcej źródeł danych wykorzystuje system, tym ważniejsze staje się również określenie źródła prawdy. Jeśli tę samą informację znajdziemy w dokumentacji, bazie danych i systemie operacyjnym, agent powinien wiedzieć, któremu źródłu zaufać w przypadku rozbieżności.

Dla opisu sposobu działania może być nim dokumentacja, ale dla aktualnego statusu zamówienia – system transakcyjny.

Zarządzanie bazą wiedzy zaczyna więc przypominać klasyczną inżynierię danych znacznie bardziej niż jednorazowe „wrzucenie dokumentów do vector store”. Potrzebujemy procesów aktualizacji, kontroli wersji, identyfikacji źródeł i sposobu usuwania informacji, które nie powinny już pojawiać się w wynikach.

Dobre wyszukiwanie potrafi znaleźć tylko to, co mu udostępnimy. Jeśli baza wiedzy nie odzwierciedla rzeczywistego stanu systemu, nawet najlepszy algorytm bardzo skutecznie odnajdzie nam… nieaktualną odpowiedź.

Retrieval jest warstwą architektury, nie pojedynczym algorytmem

Kiedy spojrzymy na cały proces z szerszej perspektywy, wyszukiwanie przestaje przypominać pojedyncze zapytanie do jednej bazy. Coraz bardziej staje się osobną warstwą systemu, która decyduje, gdzie szukać, jak szukać i które informacje warto przekazać dalej.

W jednym przypadku wystarczy klasyczne dopasowanie słów. W innym lepiej sprawdzi się wyszukiwanie semantyczne. Czasem oba mechanizmy uruchomimy równolegle, dołożymy filtrowanie po metadanych i połączymy dwa rankingi. Przy innym pytaniu najlepszym rozwiązaniem będzie całkowite pominięcie wyszukiwarki dokumentów i wykonanie bezpośredniego zapytania do API albo bazy danych.

Nie oznacza to, że każdy system potrzebuje od razu wszystkich tych elementów. Wręcz przeciwnie – architektura powinna rosnąć razem z rzeczywistymi potrzebami. Jeśli proste wyszukiwanie wektorowe daje dobre wyniki, dokładanie routingu, kilku indeksów i kolejnych algorytmów tylko dlatego, że są dostępne, nie wnosi większej wartości.

Wraz ze wzrostem liczby źródeł i różnorodności pytań granice prostego podejścia stają się jednak coraz bardziej widoczne. Wtedy jakość przestaje zależeć wyłącznie od modelu embeddingowego czy parametrów wyszukiwarki.

Liczy się sposób przygotowania danych, metadane, aktualność informacji, dobór metody wyszukiwania, filtrowanie, łączenie rankingów i decyzja o tym, z którego źródła w ogóle skorzystać.

To dobrze uzupełnia obraz bazy wiedzy jako czegoś więcej niż zestawu dokumentów zapisanych w nowym formacie. Sama reprezentacja wiedzy jest dopiero połową zadania. Druga połowa polega na stworzeniu mechanizmu, który potrafi do tej wiedzy dotrzeć w sposób adekwatny do pytania.

W praktyce właśnie dlatego dobrze zaprojektowany system RAG czy agentowy nie ma jednej „magicznej” metody wyszukiwania. Ma za to zestaw prostszych mechanizmów, z których każdy odpowiada za określony rodzaj informacji, oraz logikę pozwalającą wykorzystać je we właściwym momencie.

I być może to jest najważniejszy wniosek z całego tematu: dobra baza wiedzy nie polega wyłącznie na tym, co przechowujemy. Równie ważne jest to, jak potrafimy tę wiedzę odnaleźć.

← Wszystkie wpisy