Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl odtwarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on interpretuje instrukcje użytkownika, dzieli złożone zadanie na mniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga precyzyjnych danych spoza swojej wiedzy treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy proces rozciąga się na wiele etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność odróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Osobną kwestią pozostaje sposób ewaluacji własnych działań. Odpowiednio skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i wrócić do wcześniejszego etapu, by spróbować alternatywnej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego nawyku weryfikowania własnej pracy przed jej złożeniem.