ИИ-модель Claude сделала важный шаг в области автоматизации, впервые приняв участие в увольнении работника. Этот эксперимент был проведён компанией Andon Labs, которая доверила ИИ управление магазином Andon Market в Сан-Франциско, где также работали настоящие сотрудники.
Сотрудник потерял работу после того, как было установлено, что он опоздал на 17 из 23 смен. Сначала Claude не заметил этой проблемы, так как ранее созданный им справочник для работников исчез из рабочей памяти системы. Однако после запроса менеджера Andon Labs о повторном изучении правил, Claude предложил вынести сотруднику официальное предупреждение.
Тем не менее, менеджер уточнил, что с работником уже имели место неоднократные беседы, и посоветовал Claude пересмотреть своё решение. В итоге ИИ изменил своё решение и рекомендовал уволить сотрудника. Представитель Andon Labs признал, что формулировка вопроса была такой, чтобы подтолкнуть ИИ к определённому решению, что ставит под сомнение автономность увольнения.
Эксперимент также выявил иные проблемы в управлении ИИ. За первые пять месяцев работы магазин сократил свой банковский баланс с $100 тысяч до $61,2 тысячи. Разработчики проекта заметили, что текущие модели плохо справляются с долгосрочным планированием и принятиями некоторых бизнес-решений.
Тем не менее, Andon Labs рассматривает этот эксперимент как попытку выяснить, насколько далеко можно доверить ИИ управленческие функции. Компании верят, что со временем модели будут способны принимать на себя все больше управленческих решений, в то время как людям отведут роль, связанную с физической работой. Этот случай с ИИ-начальником уже вызывает размышления о границах автоматизации в управлении сотрудниками.