Pomagamy dobrać i wdrożyć RAG lub fine-tuning modeli AI dla firm, które potrzebują odpowiedzi opartych na własnej wiedzy, dokumentach i terminologii. Zaczynamy od problemu biznesowego i typu danych, a dopiero potem wybieramy technologię, która ma sens kosztowo i operacyjnie.
Na pierwszej rozmowie omawiamy typ danych, oczekiwaną jakość odpowiedzi i to, czy zacząć od RAG, fine-tuningu czy szybkiego proof of concept.
Gdy model ogólny nie zna dokumentacji, procedur, słownictwa lub formatu odpowiedzi wymaganych przez firmę. Najczęściej problemem nie jest sam brak inteligencji modelu, tylko brak dostępu do właściwej wiedzy albo brak konsekwencji w sposobie odpowiadania.
Jeśli ważny jest także wybór bezpiecznego modelu wdrożenia, zobacz również bezpieczeństwo danych i RODO w AI.
Oceniamy, czy problem dotyczy wiedzy, formatu odpowiedzi czy zachowania modelu.
Budujemy szybki prototyp i testujemy jakość odpowiedzi na realnych pytaniach biznesowych.
Uruchamiamy pipeline, bazę wiedzy, ewaluację i integrację z istniejącym procesem lub aplikacją.
Mierzymy jakość, poprawiamy retrieval, dane treningowe i koszt działania rozwiązania.
Szybka ocena use case’u i rekomendacja kierunku technicznego.
Ograniczony zakres, który pokazuje jakość na realnych danych i pytaniach.
Uruchomienie rozwiązania opartego na bazie wiedzy i retrievalu.
Przygotowanie danych, trening adapterów i wdrożenie modelu dopasowanego do zadania.
Rozwój bazy wiedzy, ewaluacja jakości i dalsze strojenie rozwiązania.
Ustalamy, czego dokładnie ma nauczyć się model i jakie dane będą do tego potrzebne.
Decydujemy, czy zaczynać od RAG, fine-tuningu czy połączenia obu technik.
Budujemy prototyp, mierzymy jakość odpowiedzi i oceniamy sens dalszego wdrożenia.
Uruchamiamy rozwiązanie w produkcji i porządkujemy sposób jego utrzymania oraz ewaluacji.
Najlepsze efekty daje rozpoczęcie od jednego, jasno opisanego use case’u i jakości mierzonej na realnych pytaniach.
Firma posiadająca rozbudowaną dokumentację wewnętrzną i powtarzalne pytania od pracowników lub klientów.
Model ogólny nie znał procedur firmy, a odpowiedzi były zbyt ogólne i trudne do zaufania.
Proof of concept RAG na dokumentacji firmowej z ewaluacją jakości oraz rekomendacją dalszego rozwoju.
Zespół szybciej znajduje informacje, a firma wie, czy następny krok to rozwój RAG, fine-tuning czy integracja z aplikacją.
RAG nie modyfikuje modelu - dynamicznie dokłada wiedzę z zewnętrznych dokumentów do kontekstu każdego zapytania. Fine-tuning zmienia wagi samego modelu, ucząc go nowych zachowań lub wiedzy. RAG jest tańszy, łatwiejszy do aktualizacji i bezpieczniejszy. Fine-tuning daje głębszą specjalizację, ale wymaga retrenowania przy zmianie danych. W praktyce najczęściej łączymy oba podejścia.
Podstawowe wdrożenie RAG (indeksowanie dokumentów, baza wektorowa, integracja z modelem) to projekt na 2-4 tygodnie. Koszty infrastruktury są niskie - bazy wektorowe jak Qdrant czy pgvector można uruchomić na standardowym serwerze. Przy wdrożeniu on-premise (bez chmury) koszty to głównie praca inżynierska. Całość można uruchomić na serwerze za kilka tysięcy złotych miesięcznie.
Tak - QLoRA pozwala trenować modele 7-13B parametrów na pojedynczej karcie GPU z 24GB VRAM (np. RTX 3090, RTX 4090). Narzędzia takie jak Unsloth dodatkowo redukują wymagania i przyspieszają trening 2x. Dla większych modeli (30-70B) potrzeba kilku kart GPU lub chmurowego klastra (AWS, GCP).
Do LoRA fine-tuningu zazwyczaj wystarczy 500-5000 par pytanie-odpowiedź wysokiej jakości. Kluczowa jest jakość, nie ilość - 1000 dobrze przygotowanych przykładów da lepsze wyniki niż 10 000 przypadkowych. Pomagamy w przygotowaniu i walidacji datasetu.
Tak - cały pipeline RAG (baza wektorowa, embeddingi, model generujący) można uruchomić on-premise lub air-gapped. Używamy lokalnych modeli embeddingów (BGE, E5), baz wektorowych na własnym serwerze (Qdrant, pgvector) i modeli open-source (Llama, Mistral) do generowania. Dane nigdy nie opuszczają infrastruktury firmy.
Zdecydowanie RAG. Aktualizacja wiedzy w RAG to podmiana dokumentów w bazie wektorowej - minuta pracy. Aktualizacja w fine-tuningu to retrenowanie modelu - godziny pracy i koszty GPU. RAG jest stworzony do danych, które się zmieniają. Fine-tuning uzupełnia RAG tam, gdzie potrzebujesz zmienić zachowanie modelu, nie jego wiedzę.
Pomożemy ocenić dane, jakość oczekiwanych odpowiedzi i sensowny kierunek: RAG, fine-tuning albo połączenie obu.
Porozmawiaj o RAG lub fine-tuninguPo kontakcie wracamy z rekomendacją zakresu proof of concept lub wdrożenia.