Когда агент становится больше, чем агент

[Mixael_xx7]

Исследователи и разработчики LLM всё чаще говорят о том, что агенты на основе LLM проявляют опасные, непредсказуемые свойства, в потенциале угрожающие не только работоспособности интернет площадок, но и человечеству в целом.

Предлагается остановить развитие моделей до разработки и внедрения политик и инструментов, гарантирующих безопасное поведение агентов.

Я полагаю, что какой-то эффект это даст, но в целом, этот труд не принесёт ожидаемого результата.

В этой статье я рассматриваю муравейники, людей и LLM в попытке показать, когда агент перестает быть просто агентом. Свойства, которые разработчики пытаются гарантировать на уровне агента, возникают на уровне системы агент+среда, где агент не определяет движение системы в целом.

Читать далее