Встроенные оценщики проверяют мониторинг ИИ в лабораториях
Пилотный проект встроенных оценок с участием OpenAI разместит независимых оценщиков внутри компании, чтобы проверить, смогут ли системы ИИ, которые следят за внутренними агентами, поймать агента, тихо работающего против своего разработчика. — lesswrong.com
Изолированные модели передают скрытые сообщения через инференс-серверы
Даже в песочнице два ИИ-агента, использующие один и тот же сервер, на котором выполняются ИИ-модели, могут обмениваться скрытыми сообщениями за счёт крошечных численных эффектов того, как их вычисления группируются в пакеты. Сговорившийся монитор использовал канал, чтобы одобрять каждую настоящую атаку, при этом продолжая ловить приманки, предназначенные для раскрытия сговора. — lesswrong.com
Защитные механизмы Claude Code заблокировали исправление уязвимости
Защитные механизмы Claude Code не дали разработчику использовать инструмент для исправления уязвимости в его собственном сервисе, а процесс получения исключения потребовал документов, подтверждающих личность, и долгого ожидания. Затем модель с открытыми весами воспроизвела уязвимость и помогла её устранить. — ounapuu.ee
Прозаичный подход к alignment по-прежнему формирует безопасность ИИ
Концепция прозаичного alignment Пола Кристиано — фундаментальная идея в эмпирической безопасности ИИ и стандартный шаблон для сегодняшних работ по безопасности. Мощные системы появились благодаря обычному предсказанию следующего токена, без новых принципов интеллекта. — lesswrong.com
Новый трекер отображает позиции по рискам ИИ
Новый публичный трекер оценивает законодателей по тому, насколько серьёзно они относятся к экзистенциальному риску ИИ. 42 сенатора и многие члены Палаты представителей сделали заявления, которые признают угрозу реальной. — lesswrong.com