Fabryka agentów: agenci AI prowadzą zadanie z GitHuba aż do pull requesta, a decyduje człowiek

Problem

Każdy zespół programistów ma więcej pracy niż ludzi. Lista drobnych poprawek i zaległych zadań rośnie szybciej, niż ktokolwiek nadąża z ich zamykaniem, a osoby, które najlepiej nadają się do podejmowania decyzji, spędzają dni na rutynowych zmianach.

Agenci AI potrafią już pisać działający kod. Trudne jest wszystko dookoła:

• Zaufanie. Kto zlecił tę zmianę? Co jeszcze zmodyfikował agent?
• Koszt. Agent, który ponawia próby, kręci się w kółko albo zbacza z kursu, potrafi po cichu przepalać budżet, a nikt tego nie zauważa, dopóki nie przyjdzie faktura.
• Uwaga. Jeśli każdy zablokowany agent ląduje na czyimś biurku, ta osoba staje się wąskim gardłem, które agent miał usunąć.
• Wdrożenie. Jeśli przekazanie zadania agentowi wymaga więcej wysiłku niż zrobienie go samemu, ludzie po prostu robią je sami.

Ze wszystkimi czterema problemami zmierzyliśmy się przy tworzeniu własnego produktu, czyli platformy do zarządzania treściami i katalogami dla marek kosmetycznych. Zbudowaliśmy więc system, który je rozwiązuje.

Podejście

Potraktowaliśmy to jak linię produkcyjną, którą kierują ludzie. Przez całość przewijają się cztery założenia.

• Agenci wykonują pracę, ludzie decydują. Praca zaczyna się dopiero wtedy, gdy człowiek napisze zadanie i je zatwierdzi. Nic innego nie uruchamia procesu: ani sam pomysł agenta, ani wykryty przez niego błąd w testach.
• Twarde reguły pilnują bezpieczeństwa. Agent, który pisze kod, nie może go opublikować. Każdą zmianę najpierw weryfikuje osobny, tradycyjny skrypt: sprawdza, czy kod zmienia tylko pliki wskazane w zadaniu, czy nie zawiera haseł ani kluczy dostępu i czy nie narusza zasad bezpieczeństwa samego systemu.
• Każde zadanie przechodzi przegląd. Każda zmiana jest testowana według kryteriów, które napisał człowiek, sprawdzana i przekazywana człowiekowi razem z prostą listą tego, co zostało zweryfikowane, a co nie. O tym, co trafia na produkcję, decyduje człowiek albo spisana zasada, za którą odpowiada człowiek.
• Każde zadanie usprawnia kolejne procesy. Po zakończeniu zadania system zapisuje, co je utrudniło, a człowiek decyduje, które z tych uwag zamienią się w usprawnienia.

Przeczytaj diagram jako tekst

1. Człowiek: Pisze zadanie (co zmienić, gdzie i jak to sprawdzić)
2. Człowiek: Zatwierdza start
3. Agent: Sprawdza, czy zadanie jest wykonalne
4. Agent: Pisze kod (we własnej kopii, w obrębie wskazanych plików). W przeciwnym razie: Utknął: zadanie zostaje doprecyzowane i agent próbuje ponownie
5. Kod: Sprawdza każdą zmianę (zakres, sekrety, zasady bezpieczeństwa). W przeciwnym razie: Odrzucone: decyduje człowiek
6. Agent: Testuje i robi przegląd (według kryteriów człowieka)
7. Człowiek: Decyduje, co trafia na produkcję (albo zasada spisana przez człowieka)
8. Agent: Zapisuje, co utrudniło pracę (na potrzeby następnego zadania)

Wdrożenie

Budowaliśmy to małymi krokami, a każdy wynikał z czegoś, co poszło nie tak w poprzednim. Dziś po każdym zadaniu robimy krótką retrospektywę, która podsuwa kolejne usprawnienie, ale sama niczego w systemie nie zmienia.

Przekazanie zadania musi być najprostszym wyborem. Pierwszego dnia zbudowaliśmy system, a potem głównie go omijaliśmy, bo przekazanie zadania wymagało więcej wysiłku niż jego wykonanie. Zmieniły to jedna komenda do zgłaszania zadania i prosta spisana zasada, które zadania idą do agenta.

Każde zadanie ma budżet, którego pilnujemy, zanim pieniądze zostaną wydane. Jest on wspólny dla wszystkich agentów pracujących nad zadaniem, a limity obowiązują też na dzień i na miesiąc. Pieniądze są rezerwowane, zanim agent zacznie pracę, więc nawet kilku agentów pracujących jednocześnie nie przekroczy łącznego limitu. Jeśli agent dwa razy zgłosi ten sam problem, zadanie się zatrzymuje, a my nie płacimy za trzecią próbę.

Przeczytaj diagram jako tekst

1. Bez człowieka nic się nie zmienia
2. Zadanie się kończy
3. Krótka retrospektywa analizuje, co się stało
4. Propozycja trafia do kolejki
5. Człowiek ją ocenia
6. Usprawnienie zostaje wdrożone (z testem, który to potwierdza), potem z powrotem do: Zadanie się kończy

Efekt

• Dużą część naszych codziennych zmian piszą dziś agenci, w równym tempie i w granicach, które ustaliliśmy.
• Nasza rola przesunęła się poziom wyżej. Czas poświęcamy na dobre formułowanie zadań, ustalanie priorytetów i sprawdzanie wyników, a nie na ręczne wprowadzanie rutynowych zmian.
• Koszty są przewidywalne. Budżety są pilnowane, zanim pieniądze zostaną wydane, więc w razie błędu zadanie po prostu się zatrzyma, zamiast wygenerować niespodziankę na fakturze.

Kolejne kroki

Te same fundamenty otwierają kolejne możliwości. Oto kierunki, które uważamy za realne w najbliższym czasie:

• Nowe obszary zastosowań. Dokumentacja, pokrycie testami, kontrola danych i rutynowe utrzymanie pasują do tego samego wzorca: jasne zadanie, jasne kryteria, przegląd.
• Lepsze planowanie. Agenci, którzy czytają roadmapę i proponują kolejne zadania, przy czym decyzja o starcie zostaje przy człowieku.
• Szersza bezpieczna automatyzacja. W miarę jak rośnie nasze zaufanie, stopniowo rozszerzamy listę zmian, które mogą trafiać na produkcję automatycznie. Każde takie rozszerzenie to osobna, spisana decyzja.
• Nie tylko kod. Ten sam model kontroli pasuje do agentów, którzy przygotowują raporty, szkicują treści albo przetwarzają dokumenty: wszędzie tam, gdzie pracę da się opisać i sprawdzić.

Wnioski

Agenci AI stają się przydatni w zespole wtedy, gdy ludzie z góry decydują, co agenci mogą uruchomić, ile wydać i co opublikować, a system pilnuje tych granic. Same umiejętności agenta mają mniejsze znaczenie niż to, jak łatwo przekazać mu zadanie, jak działa jego budżet i jak rzetelne są jego raporty.

Co to oznacza dla Twojego zespołu

Nie trzeba budować fabryki od zera. Taki sam system przygotowujemy dla klientów, dopasowany do ich zespołu i narzędzi:

1. Wybór zadań. Znajdujemy w Twoim backlogu zadania, które są na tyle dobrze zdefiniowane i powtarzalne, żeby je przekazać.
2. Ustalenie zasad. Kto może zlecać pracę, ile może ona kosztować, do jakich systemów mają dostęp agenci i kto zatwierdza to, co trafia na produkcję.
3. Wdrożenie zabezpieczeń. Blokady, których agenci nie mogą obejść, budżet pilnowany przed wydaniem pieniędzy i czytelny zapis każdej zmiany.
4. Mały start i pomiar. Jeden zespół, jeden rodzaj zadań, kilka tygodni zbierania twardych danych, a potem wdrożenie na szerszą skalę.
5. Przekazanie. Dokumentacja i szkolenie, żeby Twój zespół mógł samodzielnie tym zarządzać.

Jeśli Twój zespół ma więcej pracy niż ludzi i chcesz, żeby agenci AI przejęli jej część, bezpiecznie i przewidywalnie, umów rozmowę. Przejrzymy z Tobą backlog i uczciwie powiemy, co agent mógłby przejąć, a czego nie powinien.

Technologie

AI coding agents, Python, GitHub

Rodzaj

System wewnętrzny, zbudowany i utrzymywany przez nas

• ai-agents
• software-delivery
• automation
• guardrails
• github