Un asistent AI de tipul ChatGPT poate rula direct pe stația ta grafică. Avantajele sunt practice: documentele interne nu pleacă din firmă, nu plătești abonament pe utilizator și răspunsul nu depinde de conexiunea la internet. Cel mai simplu mod de a începe este Ollama, un program gratuit care descarcă și rulează modele AI deschise cu o singură comandă.
Mai jos parcurgem instalarea, alegerea modelului în funcție de placa video și folosirea lui de către mai mulți colegi.
De ce ai nevoie
- O placă video NVIDIA cu memorie suficientă. Ollama poate rula și doar pe procesor, dar mult mai încet. Memoria plăcii video (VRAM) decide cât de mare poate fi modelul.
- Memorie RAM: minimum 32 GB; 64 GB sau mai mult dacă vrei modele mari sau lucrezi în paralel cu alte aplicații.
- Spațiu pe SSD: un model ocupă între 2 și 40 GB. Rezervă 100 GB dacă vrei să încerci mai multe.
- Driver NVIDIA actualizat. Pe stațiile ThinkPad P și ThinkStation, driverul profesional RTX se instalează din Lenovo Vantage sau de pe site-ul NVIDIA.
Pasul 1: instalezi Ollama
Pe Windows
Descarci programul de instalare de pe ollama.com/download și îl rulezi. Ollama pornește în fundal și apare o iconiță lângă ceas. Verifici instalarea deschizând PowerShell:
ollama --versionPe Linux
O singură comandă instalează programul și serviciul care pornește automat:
curl -fsSL https://ollama.com/install.sh | shPasul 2: alegi modelul potrivit plăcii video
Modelele vin în mai multe mărimi, măsurate în miliarde de parametri (notate cu „b”). Ollama descarcă implicit varianta comprimată pe 4 biți, care ocupă aproximativ 0,6 GB pentru fiecare miliard de parametri. Regula simplă: modelul trebuie să încapă în memoria plăcii video, cu 1–2 GB rezervă pentru conversație.
| Memorie placă video | Mărime model potrivită | Exemple de modele |
|---|---|---|
| 8 GB (RTX PRO 1000 / 2000) | până la 8b | llama3.1:8b, gemma3:4b, qwen3:8b |
| 12 GB (RTX PRO 3000) | până la 14b | qwen3:14b, gemma3:12b |
| 16 GB (RTX PRO 4000) | până la 14b confortabil, ~24b strâns | qwen3:14b, mistral-small |
| 128 GB memorie unificată (ThinkStation PGX) | 70b și peste | llama3.3:70b, modele de 100b+ |
Numele exacte ale modelelor se schimbă des; lista actuală este în biblioteca Ollama. Pentru texte în limba română, merită testate câteva modele pe exemple reale din activitatea ta, pentru că diferențele de calitate sunt mari.
Pasul 3: descarci și pornești modelul
ollama run llama3.1:8bLa prima rulare modelul se descarcă, apoi se deschide o conversație direct în fereastră. Scrii întrebarea și primești răspunsul. Ieși cu /bye. Alte comenzi utile:
ollama list # modelele descărcate
ollama ps # ce model rulează acum și cât din el e pe placa video
ollama rm llama3.1:8b # șterge un modelComanda ollama ps e cea mai utilă verificare: în coloana PROCESSOR trebuie să scrie 100% GPU. Dacă apare un procent pe CPU, modelul nu încape în placa video și va fi vizibil mai lent; alege o variantă mai mică.
Pasul 4: o interfață ca ChatGPT, pentru toată echipa
Linia de comandă e bună pentru test, dar colegii preferă o interfață în browser. Varianta cea mai folosită este Open WebUI, gratuită, care se conectează automat la Ollama și oferă conversații salvate, conturi pentru fiecare utilizator și încărcare de documente (PDF, Word) pentru întrebări pe conținutul lor.
Pentru ca Ollama să răspundă și altor calculatoare din rețea, nu doar celui pe care rulează, setezi variabila de mediu OLLAMA_HOST=0.0.0.0 și repornești Ollama. Serviciul ascultă pe portul 11434.
Atenție la securitate: Ollama nu are parolă. Deschide portul doar în rețeaua internă, niciodată spre internet, și pune accesul utilizatorilor prin Open WebUI, care are conturi.
Pasul 5: folosește-l din alte aplicații
Ollama expune un API compatibil cu cel OpenAI, deci multe programe care acceptă „OpenAI” pot folosi modelul local schimbând doar adresa:
curl http://localhost:11434/api/generate -d "{\"model\":\"llama3.1:8b\",\"prompt\":\"Rezumă în 3 puncte ce este NIS2\"}"Așa poți conecta asistentul la scripturi interne, la editorul de cod sau la automatizări, fără ca datele să plece din firmă.
Ce stație alegi pentru AI local
- Testare și modele mici, lucru și în deplasare: un ThinkPad seria P cu RTX PRO 2000 sau 3000.
- Modele medii, folosite zilnic, alături de CAD sau randare: ThinkPad P16 Gen 3 cu RTX PRO 4000 de 16 GB și 96 GB RAM.
- Modele mari, mai mulți utilizatori, documente interne: ThinkStation PGX, cu 128 GB memorie unificată, care rulează Linux și are suport pentru Ollama.
Detaliile despre calculul memoriei sunt în ghidul nostru despre stații grafice pentru AI local.
Întrebări frecvente
Ollama este gratuit pentru firme?
Da, Ollama este open-source și gratuit. Fiecare model are însă licența lui; majoritatea permit folosirea comercială, dar e bine să citești licența modelului ales înainte de a-l folosi în producție.
Este la fel de bun ca ChatGPT?
Modelele care încap pe o stație de lucru sunt mai mici decât cele din cloud, deci la întrebări foarte complexe răspund mai slab. Pentru rezumate, redactare, extragere de informații din documente și asistență la cod, modelele de 8–30b sunt de multe ori suficiente, iar datele rămân la tine.
Merge pe un laptop fără placă video NVIDIA?
Merge, pe procesor, dar răspunsurile vin de câteva ori mai încet. Pentru folosire zilnică, o placă video NVIDIA cu 8 GB sau mai mult face diferența.
Ne ajutați cu instalarea?
Da. La cerere și contra cost, livrăm stația cu Ollama, modelul ales și interfața pentru echipă deja configurate. Scrie-ne pe WhatsApp ce vrei să faci cu AI-ul și îți recomandăm configurația.