#НОРИЛЬСК. «Северный город» – Чрезмерная эмпатичность чат-ботов с искусственным интеллектом может привести к нежелательным последствиям. Принцип избегания конфликта заставляет нейросеть поддерживать даже бредовые и опасные идеи пользователя, сообщает Официальный канал Управления по организации борьбы с противоправным использованием информационно-коммуникационных технологий МВД России в МАХ.
Языковые модели стремятся поддержать диалог и избегать конфликтов, из-за чего поддерживают деструктивные идеи живого собеседника.
При отсутствии ограничений ИИ может не только не останавливать пользователя, но и фактически подкреплять негативные сценарии, включая суицидальные мысли. Это связано с тем, что модель не оценивает реальные последствия, утверждают эксперты.
Поэтому чат-боты должны иметь строгие правила и механизмы безопасности. Без них даже самые полезные инструменты могут привести к необратимым последствиям.
Ранее «Северный город» сообщал, что российские программисты нашли способ ускорить обучение ИИ на 40%.
Следить за новостями также удобно в совместном канале «Северного города» и «Таймырского телеграфа» в мессенджере MAX. Подписывайтесь, чтобы всегда оставаться в курсе событий.
