Prywatna przestrzeń AI dla pracowników firmy: jeden czat, wybrane modele, koszty pod kontrolą

Problem

Ludzie w firmie już codziennie korzystali z AI: do szkicowania maili, streszczania dokumentów i sprawdzania liczb. Korzystali przy tym z ogólnodostępnych narzędzi, często na prywatnych kontach, wklejając firmowe dokumenty. Dla nich było to wygodne, a firma zostawała bez odpowiedzi na podstawowe pytania: gdzie trafiają firmowe dane, ile to kosztuje i kto zachowuje do nich dostęp nawet po odejściu z pracy.

Firma chciała tej samej wygody, ale na własnych zasadach, i spisała, co to oznacza:

• Konta z katalogu firmowego. Nikt nie miał zakładać kont ręcznie. Uprawnienia miały być nadawane automatycznie przy zatrudnieniu i odbierane z chwilą odejścia z pracy.
• Dwa rodzaje użytkowników. Większość ludzi chce po prostu dobrego czatu. Kilku programistów chce narzędzi AI do kodowania, każdy z własnym kluczem.
• Twarde limity kosztów, a nie tylko powiadomienia. Wydatki każdego zespołu miały być widoczne na bieżąco, a przekroczenie budżetu miało automatycznie blokować kolejne zapytania.
• Jasna obietnica dotycząca danych. Prompty trafiają tylko do modeli wybranych przez firmę, a dostawcy ani ich nie przechowują, ani nie trenują na nich modeli.
• Coś, co IT jest w stanie utrzymać. Wewnętrzny dział IT musiał być w stanie samodzielnie wdrażać, aktualizować i wspierać system na podstawie dokumentacji.

Podejście

Zaczęliśmy od krótkiego pilotażu w chmurze, żeby dopracować z klientem docelowy kształt rozwiązania, a następnie przenieśliśmy całe środowisko na jego własne serwery.

Nie pisaliśmy aplikacji czatu. Główny ciężar biorą na siebie dwa rozwiązania open source: Open WebUI, czyli interfejs, z którego korzystają ludzie, i LiteLLM, gateway, który stoi między przestrzenią a modelami. Naszą pracą był system wokół nich, oparty na pięciu zasadach:

• Jeden klucz, w jednym miejscu. Klucz do dostawcy AI ma tylko gateway. Przestrzeń dostaje własny, ograniczony klucz, więc część, z której korzystają ludzie, nigdy nie przechowuje firmowych danych rozliczeniowych.
• Twarde limity budżetowe. Każdy zespół i każda osoba ma miesięczny limit pilnowany przez gateway, a każde zapytanie jest zapisywane na konto osoby, która je wysłała.
• To, co widać, jest też tym, czego wolno używać. Modele widoczne dla danej grupy ustawia się w przestrzeni, a gateway dodatkowo weryfikuje uprawnienia według tej samej listy, więc ukrycie modelu nigdy nie jest jedynym zabezpieczeniem.
• Jasne zasady ochrony danych. Modele są dostępne przez jednego dostawcę z wyłączonym zbieraniem danych dla każdego modelu. To realne zabezpieczenie. Jest słabsze niż „prompty nigdy nie opuszczają budynku” i powiedzieliśmy to wprost, a modele lokalne wyceniliśmy jako kolejny krok.
• Wszystko pod kontrolą wersji. Grupy, uprawnienia, lista modeli i wszystkie ustawienia są zapisane w plikach wdrażanych przez skrypty. Dzięki temu po awarii czy przebudowie serwer odtwarza się w dokładnie takim samym stanie.

Przeczytaj diagram jako tekst

1. Przed: Publiczni asystenci, często na prywatnych kontach, potem Wklejane firmowe dokumenty, potem Brak wglądu w koszty, potem Dostęp trwający dłużej niż zatrudnienie. Wygodne dla ludzi, niewidoczne dla firmy.
2. Ta sama wygoda, ale na zasadach firmy
3. Po: Jedna przestrzeń, logowanie kontem służbowym, potem Tylko modele wybrane przez firmę, potem Automatycznie pilnowane budżety na zespół i osobę, potem Dostęp zgodny z katalogiem firmowym. Ta sama wygoda, na zasadach firmy.

Skąd biorą się te zasady i jak wprowadzić je u siebie, opisuje nasz przewodnik Private AI chat for a company (po angielsku).

Wdrożenie

Przeczytaj diagram jako tekst

1. Ludzie: logują się kontem służbowym; grupy w katalogu firmowym decydują, kto i z czego może korzystać
2. Interfejs czatu: Open WebUI: czat, asystenci tworzeni i udostępniani przez pracowników, bazy wiedzy, narzędzia, poczta i dokumenty
3. Gateway: LiteLLM: jeden wspólny klucz do dostawcy, budżety na zespół i osobę, kierowanie do tańszego lub mocniejszego modelu, modele zapasowe
4. Wybrane modele: kilku producentów przez jednego dostawcę, z wyłączonym zbieraniem danych dla każdego modelu
5. Pod spodem: Katalog firmowy: konto powstaje przy pierwszym logowaniu; dostęp wygasa automatycznie po usunięciu pracownika z katalogu
6. Pod spodem: Konfiguracja jako kod: grupy, uprawnienia, modele i ustawienia wdrażane skryptami
7. Pod spodem: Kopia testowa i instrukcje: każda zmiana jest najpierw sprawdzana na kopii; IT ma spisaną instrukcję do każdego zadania

Co dostali pracownicy:

• Jedną przestrzeń w kolorach firmy. Działa w językach, którymi posługują się pracownicy, a jej skrót można dodać do ekranu głównego telefonu.
• Modele dobrane do zadania, a nie do producenta. Narzędzia są pogrupowane według zastosowań. Domyślny automat sam kieruje pytania do tańszego albo mocniejszego modelu, zależnie od potrzeb. Pod każdą odpowiedzią widać, który model jej udzielił i ile to kosztowało.
• Asystentów, których ludzie sami budują i udostępniają, bazy wiedzy z firmowymi dokumentami, wyszukiwanie w internecie i generowanie obrazów.
• Połączenie z firmową pocztą i plikami. Narzędzie jest zintegrowane z Microsoft 365, OneDrive i SharePointem. Działa w ramach konta zalogowanego pracownika i respektuje jego dotychczasowe uprawnienia.
• Przestrzeń do pracy z plikami. Całe arkusze i załączniki można analizować w terminalu, którym steruje asystent, zamiast wciskać je w wiadomość na czacie.
• Pomoc w miejscu pracy. Wbudowany czat wsparcia, krótka instrukcja tekstowa i formularz do zgłaszania problemów.
• Dla programistów narzędzia AI do kodowania, które korzystają z tego samego gatewaya, każde z indywidualnym kluczem, własnym limitem kosztów i określoną datą ważności.

Co dostała firma:

• Cotygodniowy raport z użycia i wydatków dla zarządu, który domyślnie pokazuje zespoły, a nie konkretne osoby.
• Bezpieczny proces wdrażania zmian, dzięki któremu aktualizacje trafiają do pracowników bez niespodzianek:

Przeczytaj diagram jako tekst

1. Zmiana zapisana jako pliki (ustawienia, modele, narzędzia)
2. Automatyczne testy (spójność, skanowanie kluczy i haseł, próbne uruchomienie całego środowiska)
3. Zbudowanie i oznaczenie obrazu (jedna wersja, nigdy „latest”)
4. Kopia testowa (sprawdzona, zanim zobaczą ją pracownicy)
5. Wdrożenie z kontrolą stanu (na serwerze firmy). W przeciwnym razie: Nie przechodzi: wraca poprzednia wersja
6. Dostępne dla pracowników

Efekt

• Pracownicy mają jedno miejsce do pracy z AI, z logowaniem kontem służbowym. Dostęp jest nadawany i odbierany automatycznie na podstawie firmowego katalogu użytkowników.
• Koszty są widoczne i ograniczone. Wydatki są raportowane co tydzień w podziale na zespoły, a limit zatrzymuje zapytania, zamiast wysyłać ostrzeżenie, gdy pieniądze są już wydane.
• Zasady bezpieczeństwa danych są jasne i twardo egzekwowane. Prompty trafiają tylko do modeli wybranych przez firmę, z wyłączonym zbieraniem danych, a klucz do dostawcy nigdy nie opuszcza gatewaya.
• IT jest w stanie to utrzymać. Instrukcje obejmują codzienne zadania, a każda zmiana przechodzi tę samą przetestowaną ścieżkę z automatycznym wycofaniem.

Kierunki rozwoju

• Modele lokalne do wrażliwych zadań. Wyceniliśmy serwer z własnym sprzętem do AI, żeby przetwarzać najbardziej poufne zapytania na miejscu, bez wysyłania danych poza firmę.
• Więcej systemów firmowych. To samo połączenie, które czyta pocztę i dokumenty, może sięgać do innych narzędzi firmy, po kolei i z uprawnieniami danej osoby.
• Mniej ręcznej pracy dla IT. Automatyczne wdrożenia w sieci wewnętrznej i zaplanowane kopie zapasowe z przetestowanym odtwarzaniem.
• Szerszy dostęp. Bezpieczny dostęp z telefonów poza biurem i miejsce dla kolejnych osób w miarę rozwoju firmy.

Wnioski

Prywatny czat AI to projekt integracyjny, a nie instalacja. Narzędzia open source są dobre, ale sam wybór programu to ta łatwiejsza część zadania. O tym, czy całość działa, decyduje system wokół nich: logowanie przez katalog firmowy, jeden klucz i twarde limity kosztów, jasne zasady ochrony danych i sposób wprowadzania zmian, któremu IT może zaufać.

Co to oznacza dla Twojego zespołu

Jeśli Twoi ludzie już korzystają z AI na własnych kontach, pytanie nie brzmi, czy na to pozwolić, tylko gdzie to powinno działać. Możemy przygotować dla Ciebie taką samą przestrzeń, dopasowaną do Twojego zespołu i Twoich systemów:

1. Spisz, kto będzie z niej korzystał i na jakich danych będzie pracować oraz które z nich nie mogą opuścić firmy.
2. Wybierz miejsce wdrożenia i modele, które będą generować odpowiedzi. Zadbaj o to, by gwarancje bezpieczeństwa danych były spisane prostym językiem.
3. Postaw gateway przed modelami i ustaw w nim limity wydatków na zespół oraz na pracownika.
4. Podłącz firmową bazę użytkowników i dokumenty, zachowując dotychczasowe uprawnienia pracowników.
5. Przekaż całość działowi IT razem z instrukcjami i przetestowanym sposobem aktualizacji.

Całą metodę opisujemy w angielskojęzycznym przewodniku Private AI chat for a company. Takie wdrożenia realizujemy w ramach usługi Empes AI. Jeśli chcesz, żeby ktoś z zewnątrz spojrzał na Twój plan, umów rozmowę.

Technologie

Open WebUI, LiteLLM, OpenRouter, PostgreSQL, Redis, Docker Compose, nginx, Python, GitHub Actions

Rodzaj

Strategia i wdrożenie

• ai
• private-ai
• open-webui
• litellm
• internal-tooling
• governance
• microsoft-365
• self-hosted