Dokumenty tekstowe, prezentacje czy arkusze od zawsze powstawały z myślą o jednym odbiorcy – człowieku. Dzisiaj jednak coraz częściej te same materiały stają się źródłem wiedzy dla asystentów AI, które mają je analizować czy przeszukiwać. Zanim jednak plik trafi do bazy wiedzy takiego agenta, musi zostać „przetłumaczony” do formatu zrozumiałego dla komputera. I tu zaczynają się problemy – okazuje się bowiem, że rzeczy, nad którymi nasz mózg w ogóle się nie zastanawia podczas czytania, dla komputera potrafią być przeszkodą trudną do pokonania.
Dokument jest interfejsem dla człowieka
Kiedy patrzymy na dokument, rzadko zastanawiamy się nad tym, ile informacji odczytujemy, zanim przeczytamy choćby jedno słowo. Wiemy, gdzie zaczyna się nowa sekcja, co jest nagłówkiem, a co przypisem, która liczba należy do którego wiersza tabeli i którego wykresu dotyczy dany opis. Część znaczenia wynika więc nie z samych słów, ale z tego, jak zostały umieszczone na stronie.
Oczywiście nie jest to kwestią przypadku, a wielu lat praktyki. Dokumenty tworzone są tak, by człowiek mógł jak najszybciej zorientować się w ich strukturze. Wielkość tekstu, pozycja na stronie, kolory, odstępy, kolumny czy nawet obramowania tabel pełnią rolę wskazówek, których często – nawet świadomie – nie zauważamy. Dla nas tabela jest tabelą, bo widzimy wiersze i kolumny. Podpis pod obrazkiem odnosi się do obrazka, bo znajduje się tuż pod nim. Nagłówek rozpoczyna rozdział, bo wygląda inaczej niż reszta tekstu.
W pewnym sensie dokument jest trochę jak interfejs użytkownika. Nie przechowuje wyłącznie treści, ale również podpowiada, jak tę treść czytać. Kiedy pozbawimy go wizualnej warstwy, zachowamy co prawda wszystkie surowe dane, ale utracimy płynącą z nich informację. I właśnie dlatego coś, co dla człowieka jest zupełnie oczywiste, po „spłaszczeniu” do samego tekstu staje się dla algorytmu zupełnie nieczytelne.
Komputer nie dostaje tego samego dokumentu
Tu dochodzimy do pierwszego problemu. To, co dla nas jest dokumentem, dla komputera wcale nie musi nim być. My otwieramy plik PDF i widzimy spójny raport. Program widzi zbiór fragmentów tekstu rzuconych w konkretne miejsca na stronie, osobne obrazy, luźne linie i masę informacji technicznych. Dopiero z tego chaosu musi odtworzyć to, co dla nas było jasne od pierwszego spojrzenia.
Wiele zależy też od samego formatu. Dokument Worda przechowuje strukturę akapitów i nagłówków, a arkusz kalkulacyjny naturalnie dzieli się na komórki, wiersze i kolumny. Pliki PDF z kolei to często tylko zbiór instrukcji określających, gdzie i jak wyświetlić na ekranie dany znak. Z naszego, ludzkiego punktu widzenia wszystkie te pliki mogą zawierać dokładnie tę samą tabelę, ale sposób, w jaki komputer musi ją z nich wydobyć, będzie za każdym razem zupełnie inny.
Dlatego zanim taki materiał stanie się użyteczny dla asystenta AI, musi przejść przez dodatkową warstwę – warstwę wyciągającą tekst, rozpoznającą poszczególne elementy graficzne i nadającą im nową strukturę. Na tym etapie pojawia się trudne pytanie: co właściwie powinniśmy z danego dokumentu zachować?
Możemy przecież wyciągnąć z niego cały tekst i technicznie nie zgubić ani jednego słowa, a mimo to bezpowrotnie stracić informację i zmienić narrację w płaski strumień znaków. To trochę jak wsypanie ułożonych puzzli z powrotem do pudełka – znika logika, relacje między danymi i ta „nawigacja”, która kierowała naszym wzrokiem. Teoretycznie wszystkie puzzle nadal tam są, ale bądźmy szczerzy – ułożone cieszą oko dużo bardziej.
Wniosek. Możemy wyciągnąć z dokumentu cały tekst i technicznie nie zgubić ani jednego słowa, a mimo to bezpowrotnie stracić informację.
Informacja ukryta jest również w strukturze
Co może nie być do końca oczywiste, dwa dokumenty wyglądające na ekranie niemal identycznie mogą być dla komputera zupełnie różnymi światami. Wszystko zależy od tego, czy struktura, którą widzimy, rzeczywiście istnieje w pliku, czy została jedynie wizualnie zasymulowana.
Weźmy dla przykładu zwykły nagłówek. W edytorze tekstu może być on oznaczony właściwym stylem, na przykład Heading 2. Równie dobrze jednak ktoś mógł po prostu napisać nowy akapit, zwiększyć czcionkę i pogrubić tekst. Efekt? Dla człowieka praktycznie ten sam. Z perspektywy komputera różnica jest jednak ogromna: w pierwszym przypadku otrzymuje on twardą informację – „to jest tytuł sekcji na pewnym poziomie hierarchii” – w drugim widzi tylko zestaw cech wizualnych, z których tę rolę musi dopiero odgadnąć.
Podobnie jest z tabelami. Jedna może być prawdziwą siatką powiązanych komórek, a inna może być po prostu wklejonym obrazkiem. Na ekranie prezentować się będą identycznie, ale z punktu widzenia przetwarzania danych to zupełnie inne wyzwania.
Jeszcze dobitniej widać to w arkuszach kalkulacyjnych. My zobaczymy w pewnej komórce wartość 42, a tymczasem wewnątrz pliku może kryć się stała liczba, tekst, skomplikowana formuła czy nawet wynik pobierany na żywo z zewnętrznego źródła. To, co widzimy, jest tylko końcową reprezentacją czegoś znacznie bogatszego.
Z perspektywy algorytmu to, co kryje się „pod maską”, bywa więc znacznie cenniejsze niż sam obraz na ekranie. Format pliku, znaczniki semantyczne czy wbudowane formuły podają komputerowi gotowe odpowiedzi, uwalniając go od konieczności zgadywania struktury z układu tekstu.
I tu zaczyna się robić naprawdę ciekawie. Okazuje się bowiem, że nie każdy sposób „czytania” dokumentu potrafi po tę ukrytą wiedzę sięgnąć.
Parser i model multimodalny patrzą inaczej
Dotychczas wychodziliśmy z założenia, że aby komputer mógł pracować z dokumentem, trzeba go najpierw rozebrać na czynniki pierwsze. I faktycznie, parser właśnie to robi: wyciąga z wnętrza pliku surowy tekst, współrzędne i znaczniki, a potem próbuje złożyć z nich logiczną strukturę.
Modele multimodalne otworzyły jednak zupełnie inne drzwi. Zamiast analizować kod pliku, możemy wygenerować obraz strony i kazać maszynie po prostu na nią „spojrzeć”. Wracamy tu do naszej metafory interfejsu: dla modelu wizyjnego duży tekst znów pełni funkcję nagłówka, a siatka linii ewidentnie oznacza tabelę. System nie musi już zgadywać struktury z ukrytych tagów, bo odczytuje ją bezpośrednio z układu graficznego.
Nie jest jednak tak, że „wzrok” wygrywa tu z parsowaniem. Parser dostarcza przewidywalne dane, które łatwo ułożyć w bazie i szybko przeszukać. Model multimodalny z kolei zachowuje to, co parserowi umyka – czysty kontekst wizualny. Mamy więc dwa różne podejścia: jedno analizuje strukturę, drugie interpretuje obraz.
Rodzi to jednak nową pułapkę. Nawet jeśli potężny model wizyjny świetnie poradzi sobie z analizą pojedynczej strony, przeczyta tabelę i odpowie na nasze pytanie, to wciąż za mało, by mówić o zbudowaniu bazy wiedzy. Zrozumienie jednej strony nie oznacza jeszcze, że system będzie potrafił z danym dokumentem pracować na szerszą skalę.
„Widzieć” nie oznacza „mieć wiedzę”
Gdy model multimodalny dostaje obraz jednej strony, potrafi powiązać wykres z podpisem i precyzyjnie odpowiedzieć na pytanie, na którym klasyczny parser zwyczajnie by poległ. Kuszący wydaje się więc wniosek: skoro AI umie „patrzeć” na dokumenty, po prostu przekazujmy mu kolejne ich strony.
Problemem jest jednak skala. O ile krótką instrukcję możemy w całości wrzucić do modelu, o tyle przy tysiącach stron i dynamicznie rosnącej bazie wiedzy staje się to bardzo trudne. Nie możemy przy każdym pytaniu zmuszać systemu do „czytania” gigantycznego archiwum od nowa, w nadziei, że odnajdzie właściwy fragment.
Zdolność do jednorazowego przeanalizowania obrazu to jedno, ale zbudowanie systemu, który potrafi z tych danych trwale korzystać – to zupełnie inna bajka. Aby móc błyskawicznie przeszukiwać bazę, podawać dokładne źródła czy aktualizować pojedyncze pliki, treść musi zostać trwale wyekstrahowana i uporządkowana.
Możemy tutaj wpaść w pewną pułapkę: zachwyt nad zdolnościami dzisiejszego „AI” może przyćmić nam fundamenty inżynierii danych. Wciąż przecież musimy zdecydować, co dokładnie zapisujemy w bazie, jak oznaczamy relacje między informacjami i jak algorytmy mają z tych danych później korzystać.
Zdolność „widzenia” pozwala modelowi zinterpretować dokument w danej sekundzie. Ale dopiero przekształcenie tego w uporządkowaną reprezentację tworzy bazę wiedzy z prawdziwego zdarzenia.
Od dokumentu do reprezentacji
W praktyce rzadko musimy zmuszać się do wyboru między parserem a VLM-em, czyli modelem wizyjnym. Najpotężniejsze systemy hybrydowe biorą to, co najlepsze z obu światów. Parser błyskawicznie i tanio wyciąga tekst i podstawową strukturę tam, gdzie kod pliku na to pozwala. Model wizyjny z kolei wkracza jako ekspert od wykresów, skomplikowanych tabel i zagnieżdżonych układów, których nie da się odczytać bez „spojrzenia” na stronę.
Wynikiem takiego procesu absolutnie nie jest już jednak wizualnie ładny dokument, lecz surowa reprezentacja zoptymalizowana pod kątem maszyn. W najprostszej wersji są to tzw. chunki – fragmenty tekstu – obudowane metadanymi: informacjami o pliku, stronie czy typie nagłówka. W systemach zaawansowanych struktura ta może przechowywać również relacje między danymi, strukturę tabel czy wygenerowane opisy obrazów.
{
"text": "Model multimodalny może analizować układ dokumentu...",
"source": "raport-techniczny.pdf",
"page": 14,
"section": "Modele multimodalne",
"type": "paragraph"
}Sprawia to, że z perspektywy systemów RAG dokument przestaje istnieć jako spójny plik. Staje się bazą niezależnych rekordów: każdy zawiera porcję wiedzy, metadane oraz reprezentację wektorową. Dzięki temu takie „atomy wiedzy” można niezależnie przeszukiwać, aktualizować i przekazywać do modelu językowego jako precyzyjny kontekst.
I tu iluzja prostego „wczytania PDF-a” ostatecznie pęka, ustępując miejsca twardej architekturze systemów AI. Musimy zdecydować o mnóstwie rzeczy: jak optymalnie dzielić tekst na fragmenty? Jak radzić sobie z tabelami łamiącymi się na krawędziach stron? Czy zachowywać zrzuty ekranu konkretnych sekcji? Jak łączyć wyszukiwanie semantyczne – wektorowe – z filtrowaniem po metadanych?
Na szczęście nie musimy odpowiadać na wszystkie te pytania w jednym wpisie. W kolejnych częściach przyjrzymy się bliżej narzędziom do przetwarzania najtrudniejszych dokumentów, sposobom budowania użytecznej reprezentacji wiedzy i temu, jak tę wiedzę później skutecznie odnajdywać – zarówno w klasycznych systemach RAG, jak i w nowoczesnych architekturach asystentów AI.
Czytelne nie znaczy użyteczne
Wracamy więc do punktu wyjścia. Dokument może być świetnie ułożony, przejrzysty i po prostu wygodny w czytaniu, a dla systemu AI nadal stanowić spory problem. I to nie jest wina źle przygotowanego pliku. Po prostu przez lata projektowaliśmy dokumenty pod zupełnie innego odbiorcę.
Dla nas „czytelny” to synonim dobrego układu, jasnej hierarchii i sensownych tabel. Dla maszyny „użyteczny” to uporządkowany zbiór danych, z którego da się wyciągnąć powiązania i zapisać je tak, by ułatwić późniejsze wyszukiwanie.
Oczywiście nie znaczy to, że od jutra mamy pisać raporty w plikach JSON i rezygnować z wykresów, żeby ułatwić życie algorytmom. Dokument nadal musi służyć człowiekowi. Jeśli jednak chcemy, by stał się źródłem wiedzy dla sztucznej inteligencji, potrzebujemy warstwy, która przetłumaczy ten wizualny układ na język danych.
Wniosek. Fakt, że nowoczesny model potrafi odczytać PDF-a, nie oznacza jeszcze, że mamy gotową bazę wiedzy. Rozpoznanie tekstu to zaledwie pierwszy krok. Dopiero świadoma decyzja o tym, co dokładnie wyekstrahować i jak to zapisać, nadaje tym informacjom realną wartość.
Projektowanie takich mechanizmów to praca znacznie mniej spektakularna niż dema pokazujące AI odpowiadające na pytania z dokumentu. Ale prawda jest taka, że to właśnie na tych mało widowiskowych, inżynieryjnych fundamentach opiera się każdy dobrze działający asystent.