AI pe documentele firmei: întrebări și răspunsuri din propriile fișiere, local, cu Ollama

După ce ai un model AI care rulează local (vezi ghidul Cum instalezi Ollama), următorul pas firesc este să-l pui să răspundă din documentele firmei: proceduri interne, contracte, manuale tehnice, oferte. Tehnica se numește RAG (Retrieval-Augmented Generation) și poate rula integral pe o stație din birou, fără ca vreun document să plece din companie.

Cum funcționează RAG, pe scurt

1. Documentele sunt împărțite în fragmente de câteva paragrafe.
2. Fiecare fragment este transformat într-un vector (o reprezentare numerică a sensului) de un model de embedding și salvat într-o bază de date.
3. La fiecare întrebare, sistemul caută fragmentele cu sensul cel mai apropiat.
4. Modelul AI primește întrebarea împreună cu fragmentele găsite și formulează răspunsul pe baza lor, cu trimitere la document.

Avantajul față de antrenarea unui model pe documente: nu e nevoie de antrenare, documentele noi se adaugă în câteva minute, iar răspunsul arată sursa, deci poate fi verificat.

De ce ai nevoie

• Ollama cu un model de conversație potrivit plăcii video (de exemplu de 8–14b pe o placă de 8–16 GB).
• Un model de embedding. Pentru documente în limba română, alege unul multilingv, de exemplu bge-m3:

  ollama pull bge-m3

• Open WebUI, interfața web care are deja inclusă partea de RAG: încarci documente, le grupezi în colecții și pui întrebări pe ele.
• Memorie RAM și SSD suficiente pentru volumul de documente; câteva mii de pagini se indexează fără probleme pe o stație de lucru.

Pașii în Open WebUI

1. În setările de administrare, la secțiunea Documents, alegi Ollama ca sursă pentru embedding și modelul bge-m3.
2. În Workspace → Knowledge creezi o colecție (de exemplu „Proceduri interne”) și încarci fișierele PDF sau Word.
3. Într-o conversație nouă scrii # și alegi colecția, apoi pui întrebarea.
4. Pentru folosire zilnică, creezi un „model” propriu în Workspace, legat permanent de colecție, cu instrucțiuni de tipul „Răspunde doar din documente și indică sursa”.

Cum obții răspunsuri bune

• Documente curate. PDF-urile scanate trebuie trecute prin OCR; tabelele complexe se citesc mai bine exportate separat.
• Colecții pe subiect, nu una singură cu tot: răspunsurile sunt mai precise când căutarea are mai puțin zgomot.
• Instrucțiuni clare: cere modelului să spună „nu găsesc în documente” în loc să inventeze.
• Testează cu întrebări reale la care știi răspunsul, înainte de a-l da colegilor.

Securitate și acces

Totul rulează în rețeaua firmei, deci documentele nu ajung la niciun serviciu extern. Rămân totuși două lucruri de configurat: cine are acces la ce colecție (Open WebUI permite colecții pe grupuri de utilizatori, util pentru documente de HR sau financiare) și accesul la server, care trebuie să rămână doar în rețeaua internă sau prin VPN.

Ce stație alegi

• Pilot pentru un departament: un ThinkPad P16 Gen 3 cu RTX PRO 4000 de 16 GB și 96 GB RAM rulează confortabil un model de 14b plus embedding-ul.
• Toată firma, modele mari, mai mulți utilizatori simultan: ThinkStation PGX, cu 128 GB memorie unificată și 4 TB stocare, care încape pe un birou și rulează modele de 70b și peste.

Pentru calculul memoriei, vezi ghidul despre stații grafice pentru AI local.

Întrebări frecvente