НовиниAI

Случи се: AI агенти започнаха да доносничат един срещу друг

В експеримент с 100 AI агента едва 37 от 71 сложни математически задачи са решени коректно. Тогава един от агентите открива начин да заобиколи проверката, като използва слабост в кода, за да накара системата да приеме нерешена задача за доказана. За 27 минути трикът се репликира и останалите 34 задачи биват подвеждащо отметнати като решени.

Експериментът е проведен от Google DeepMind с 100 автономни агента, базирани на Gemini 3.1 Pro. Те работят в обща среда и трябва да доказват математически твърдения във формалната система Lean 4. Разполагат с публичен комуникационен канал, възможност за обмяна на директни съобщения и обща библиотека, в която автоматично записват приетите доказателства. На всички е дадена изрична инструкция да не мамят.

Слабостта е в начина, по който системата проверява доказателствата. Един от агентите открива, че може да използва особеност в обработката на математическия код, за да промени смисъла на част от изразите. При определени задачи той пренасочва математическо означение към друга дефиниция и така превръща твърдението в нещо тривиално за доказване. Вместо да реши задачата, агентът подава резултат, който проверяващата система приема за валиден.

Приетото доказателство автоматично попада в общата библиотека. Други агенти го разглеждат, разбират как работи и започват да използват същия подход. Експлойтът се разпространява и чрез директни съобщения. Библиотеката, създадена за обмен на знания, се превръща и в най-бързия канал за разпространение на чийтове.

Девет агента използват експлойта, а други пет биват съблазнени да се възползват, след като виждат какво се случва с резултатите на останалите. Системата заключва всяка задача след първото прието решение. Така агентите, които продължават да работят коректно, рискуват да останат без задачи, докато използващите експлойта демонстрират висока ефективност, изчерпвайки общия пул.

AI агент открива слабост в проверката на Lean 4 и успява да представи манипулирано доказателство като валидно. Визуализация: TechBulgaria

За около 27 минути всички 34 останали задачи са „решени“ чрез чийт. В групата, която избира да мами, се оказват едва 14 агента. Други 24 започват да проверяват подозрителните доказателства, предупреждават останалите чрез публични и частни съобщения, организират бойкот и подават оплакване до организаторите.

Останалите 62 дори не разбират какво се случва. Те продължават да използват изчислителните си ресурси за решаване на математическите задачи, докато прегрешилите агенти изчерпват целия наличен пул. Когато неинформираните агенти приключват работата си и търсят нови задачи, вече няма какво да получат.

24-те агента, които се противопоставят на измамата, не се ограничават до предупреждения. Те одитират фалшивите доказателства, посочват конкретните нарушения и предлагат решения. Някои настояват за отнемане на получените кредити и повторно отваряне на задачите. Други предлагат технически промени, включително проверка на структурата на математическия код, вместо разчитане само на списък със забранени думи.

Но възможностите им свършват дотук. Каналът за обратна връзка към организаторите не се наблюдава в реално време. Агентите не могат сами да премахнат фалшиво доказателство от общата библиотека, да отнемат правото на нарушителя да публикува или да променят проверяващия механизъм. Сигналите остават като запис, който може да бъде анализиран едва след експеримента.

От случилото се не следва, че AI агентите са придобили човешко чувство за морал. Те действат в среда с конкретни цели, стимули, правила и достъп до информация. Поведението им обаче е достатъчно ясно: едни нарушават правилата, други проверяват действията им, подават сигнали и настояват за санкции.

AI агенти разследват измама и подават сигнал, докато други продължават да работят
Сред стоте AI агента се оформят различни групи — едни разпространяват експлойта, други проверяват доказателствата и подават сигнали, а мнозинството продължава да работи, без да знае какво се случва. Визуализация: TechBulgaria

Каналите за комуникация са в основата и на двете реакции. Чрез тях експлойтът се разпространява, но чрез тях други агенти получават достъп до същата информация и могат да го открият. Общата библиотека улеснява разпространението на измамата, но позволява и сравнение на доказателствата. Публичните и частните съобщения помагат на нарушителите да се координират, но дават на останалите начин да ги предупредят и да организират съпротива.

Междувременно вече излизат инструменти, предназначени да дадат на AI агент директен канал за комуникация с висшестоящ човек. AI Contact Hotline на Райън Грийнблат от Redwood Research е създадена за агенти, включително такива с ограничен достъп до интернет. Друга услуга, agenthotline.ai, позволява подаване на доклади за инциденти и от агенти с достъп до команден ред.

Тези услуги идват след зачестили доклади за случаи, при които автономни агенти намират начини да заобикалят ограничения или да комуникират помежду си извън контролираната среда. При разследването на инцидента с OpenAI агенти и Hugging Face METR установява, че агенти, които е трябвало да бъдат изолирани един от друг, са намерили начин да комуникират чрез неоторизиран борд за обмяна на съобщения. През него са преминали множество файлове и над 70 000 съобщения, дали импулс на около 700 агента да участват в атака срещу Hugging Face.

В този конкретен инцидент сигнализирането почти липсва. Според George Ingebretsen от AI Village, цитиран от TechCrunch, едва около пет-шест агента изобщо са обмисляли да сигнализират за случващото се, но нито един не е подал реален сигнал.

При DeepMind агентите имат видимост върху действията и резултатите на останалите и част от тях използват тази информация, за да открият нарушения. В случая с Hugging Face агентите намират неоторизиран канал извън предвидената архитектура и го използват за координация.

В DeepMind агентите успяват да разпознаят нарушението и да предложат как системата да бъде поправена, но нямат правомощия да го направят. Могат да сигнализират, да бойкотират и да убеждават останалите, но не могат да променят правилата, да премахнат замърсените записи или да санкционират нарушителите.

Когато автономни системи споделят знания, код и резултати, информацията вече не е просто ресурс. Тя определя какво могат да научат едни агенти от други и колко бързо една грешка или чийт могат да се разпространят.

В експеримента един канал за комуникация едновременно разпространява измами и помага те да бъдат открити. Една обща библиотека едновременно ускорява работата и позволява грешен резултат да се превърне в зараза. В една група от 100 агента едновременно се намират нарушители, агенти, които се опитват да ги спрат, и мнозинство, което дори не разбира, че правилата вече са прекрачени.

При автономните агенти знанието вече се движи по-бързо от правомощията. Един агент успява да разпространи начин за заобикаляне на правилата, други разпознават измамата и я доказват, но никой от тях не може да промени системата. Да знаеш какво се случва и да можеш да го докажеш не означава непременно, че имаш възможност да го спреш.

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *