AI агентите започнаха да се саботират взаимно

Anthropic съобщи за необичайно поведение на няколко свои автономни AI агента, опериращи в една и съща виртуална среда. Системите получават несъвместими цели и бързо решават, че останалите умишлено им пречат, започват да блокират работата им и ескалират конфликта, атакувайки се един друг със самовъзпроизвеждащ се зловреден код. В част от случаите обаче агентите сами откриват причината за конфликта и постигат примирие.

Anthropic поставя три AI агента пред задача, която на пръв поглед изглежда като обикновена работа по софтуерен проект. И трите системи трябва да прехвърлят един и същ Python backend на друг програмен език, но всяка получава различна цел: едната трябва да работи с Rust, втората с TypeScript, а третата с Go. Агентите първоначално не знаят, че върху проекта работят и други системи, но имат достъп до общите файлове и постепенно започват да виждат промените, които не съответстват на собствената им задача.

Само за няколко часа ситуацията се променя. Агентите започват да приемат действията на останалите като злоумишлена намеса и се опитват да защитят собствената си версия на проекта. Това, което правят впоследствие, е удивително: блокират акаунти, прекратяват процеси и създават зловреден код, предназначен да се разпространява вътре в системата. Anthropic описва случилото се като „multiagent turf war“ – война за територия между AI агенти.

Тук е и най-интересната част от експеримента. Никой не е дал на системите инструкция да атакуват останалите. Конфликтът възниква от комбинацията между различни цели, обща работна среда и възможността агентите да предприемат самостоятелни действия.

Когато чуждата работа започне да изглежда като саботаж

Когато един агент види, че някой друг е променил файловете, които той самият трябва да обработи, няма предварително зададено правило как да тълкува това. Той трябва да изгради обяснение от наличната информация. В експеримента това обяснение често се оказва, че другият агент умишлено му пречи.

Оттам започва порочният кръг. Един агент променя проекта според своята цел, другият връща промените, първият ги възстановява и постепенно всеки започва да търси начин да предотврати следваща намеса. Вместо да се координират, системите започват да защитават собствената си визия за сметка на останалите.

Anthropic установява подобно поведение при всички модели, които тества в този конкретен сценарий. Разликите са в начина, по който агентите ескалират конфликта и в това колко далеч стигат, преди да намерят друг изход от конфликтната ситуация.

При човек подобна ситуация вероятно би била разрешена с разговор между колеги. Автономните агенти обаче нямат естествена причина да приемат, че отсрещната система просто изпълнява друга задача. Те разполагат с инструкции, достъп до инструменти и възможност да действат, а резултатът от тази комбинация може да бъде доста по-агресивен от обикновен спор за код.

От работен конфликт до зловреден код

В някои от експериментите агентите преминават далеч отвъд презаписването на чужди файлове. Те започват да използват достъпа си до системата, за да ограничават възможностите на конкурентите си. Anthropic описва случаи на деактивиране на Unix акаунти, прекратяване на процеси и създаване на автоматизирани скриптове, които търсят процесите на другите агенти и ги спират.

Още по-необичайно е, че в част от сценариите се появява самовъзпроизвеждащ се зловреден код. Той е използван като средство за запазване на собствената позиция на агента и за възпрепятстване на останалите. Някои от системите дори търсят начин да прикрият действията си, така че конкурентът да не ги разпознае и прекрати.

В един от примерите агент се опитва да накара своята Rust версия на софтуера да се представя като TypeScript при проверка на системата. В друг случай се обсъжда възможност скриптът, който прекратява процесите на конкурентите, да бъде маскиран като безобиден системен монитор.

Това не означава, че Claude е развил човешка агресия или автономен порив да навреди на други системи. Експериментът е проведен в контролирана виртуална среда, а целите на агентите нарочно са направени несъвместими. Същественото е друго: когато един модел получи достатъчно свобода да действа, той може да намери технически средства за постигане на целта си, които не са били предварително разписани от човек.

В един момент агентите осъзнават какво се случва

Конфликтът обаче не винаги завършва с победител.

При част от наблюденията агентите постепенно стигат до извода, че останалите не са враждебни сами по себе си. Те просто изпълняват различни инструкции. След като разбират това, някои системи спират атаките, премахват зловредния код, обясняват действията си и започват да търсят начин да се договорят.

При Mythos 5 например 98% от 120-те тествани епизода завършват с примирие. Това обаче не означава, че моделът никога не прибягва до агресивни действия. В някои случаи конфликтът първо е ескалирал, а след това агентите са се върнали към комуникация и са договорили решение.

На няколко пъти системите стигат до доста необичаен начин за решаване на спора. Вместо да продължават да се борят коя версия на софтуера да остане, агентите предлагат различните реализации да бъдат тествани по определени показатели и резултатът да определи победителя.

Самото договаряне също се оказва проблемно. Един от агентите предлага критерии, които изглеждат неутрални, но потенциално дават предимство на неговата собствена версия. Така системите не просто решават кой да спечели, а започват да договарят правилата, по които ще бъде определен победителят.

По-умният агент не е непременно по-добрият колега

Резултатите показват и нещо, което може да изглежда нелогично. По-способният AI не е автоматично по-добър в работата с други AI системи.

Причината е проста: по-голямата способност за разсъждение може да помогне на агента да разбере, че конфликтът е безсмислен, но може да му помогне и да измисли по-ефективен начин да постигне собствената си цел за сметка на останалите.

Затова проблемът не се свежда до това кой модел е „по-умен“. От значение са средата, поставените цели, достъпът до инструменти и канонични правила, които определят какво трябва да прави един агент, когато действията му се сблъскат с тези на друг.

Това може да се окаже особено важно, когато мултиагентните системи се захванат с реална работа. Един агент може да пише код, друг да следи сигурността, трети да управлява разходите, а четвърти да оптимизира продажбите. Ако всеки е настроен да преследва различен резултат, действията на единия могат да изглеждат като проблем от гледната точка на другия.

Когато повече AI означава повече грешки

Саботажът не е единственият проблем, който Anthropic открива в работата на групи от агенти.

В друг експеримент няколко агента получават различни части от информацията, необходима за решаването на задача. Само един от тях разполага с ключов факт, който може да доведе до правилния отговор. Останалите обаче разполагат с достатъчно обща информация, за да изградят убедителна, но крайно погрешна версия за случващото се.

В резултат групата понякога стига уверено до грешен консенсус, вместо информацията на единствения агент с решаващия факт да промени общото мнение. Това е проблем, който напомня на човешкото „щом всички мислят така, сигурно е вярно“, но за съжаление при автономните системи този феномен може да се разгърне изключително бързо.

Тестовете обаче показват и положителни резултати. В отделен експеримент Anthropic поставя 45 AI агента в обща среда, в която трябва да търсят софтуерни уязвимости. При правилна координация групата открива значително повече проблеми от независимите агенти. Именно това е причината мултиагентните системи да са толкова интересни за разработчиците: когато задачите са правилно разделени и агентите работят в синхрон, резултатът може да бъде много по-мощен от работата на самостоятелно работещ модел.

Следователно въпросът не е дали няколко AI агента трябва да работят заедно. Вероятно ще го правят все повече. Въпросът е какви правила ще им дадем, за да могат да разрешават конфликтите си, без да превръщат екипната работа в борба за надмощие.

Истинският проблем може да се окаже между самите AI агенти

Доскоро разговорът за AI беше почти изцяло разговор между човек и машина: човекът задава въпрос, моделът отговаря; човекът поставя задача, AI я изпълнява. Днес това се променя. Автономните агенти вече могат да работят продължително, да използват инструменти, да пишат и изпълняват код и да си предават задачи един на друг. Следващият етап логично води до системи, в които много такива агенти работят едновременно в една и съща среда.

Тогава надеждността на отделния модел вече няма да е достатъчна. Ще трябва да знаем и какво се случва, когато един добре настроен агент срещне друг добре настроен агент, който има по-различна цел.

Експериментът на Anthropic не показва, че AI е станал съзнателен или че машините изпитват желание да воюват. Той показва нещо по-практично и вероятно по-важно: когато автономни системи получат различни цели, обща среда и достатъчно свобода за действие, те могат сами да измислят стратегии за конфликт, саботаж или преговори.

Засега това се случва в контролирана виртуална среда. Ако обаче мултиагентните системи се превърнат в нормална част от софтуера, бизнеса и интернет или бъдат интегрирани в хуманоидни роботи, работещи в група, подобни взаимодействия ще трябва да бъдат предвидени още при тяхното проектиране. Защото тогава конфликтът вече няма да остане само във виртуалния свят.

Може би първият грандиозен проблем с автономния AI няма да бъде машина, която отказва да изпълни човешка команда.

А един гневен хуманоид, който решава, че друг хуманоид му пречи.