🤯 Безжалостное мнение DeepMind о AGI

Безопасность Искусственного Интеллекта Уровня Человека: Предупреждение от DeepMind

В最近 опубликованной статье, составленной экспертами из Google DeepMind, включая сооснователя Шейна Легга, поднимается критически важная тема безопасности искусственного интеллекта уровня человека (AGI). Этот 145-страничный документ предсказывает, что AGI, система, способная выполнять любые умственные задачи на уровне квалифицированного взрослого, может появиться уже к 2030 году.

Риски и Возможности AGI

AGI определяется как система, чьи способности сопоставимы с 99-м процентилем квалифицированных взрослых в широком спектре нефизических задач, включая метакогнитивные задачи, такие как освоение новых навыков. Хотя такая система может принести невероятные преимущества, она также может представлять серьезную угрозу, вплоть до уничтожения человечества, если не будут приняты соответствующие меры безопасности[4][5].

Самоулучшение и Рекурсивное Улучшение

Одной из главных проблем, поднятых в статье, является возможность samoулучшения AGI. Авторы предупреждают, что AGI может научиться улучшать сам себя без участия человека, создавая более умные версии, что может выйти из-под контроля. Это рекурсивное улучшение может быть крайне опасным, поскольку оно может привести к экспоненциальному росту мощности ИИ, который будет трудно предсказать и контролировать[1][4].

Стратегия Безопасности

DeepMind предлагает три ключевых принципа для обеспечения безопасности AGI:

1. Ограничение доступа злоумышленников: Необходимо блокировать доступ к AGI для тех, кто может использовать его во вредных целях.
2. Повышение прозрачности решений ИИ: Решения AGI должны быть понятными и прозрачными, чтобы можно было оценить их безопасность.
3. Создание защищенных сред: Необходимо разработать безопасные среды, в которых AGI может работать без риска нанесения вреда[4][5].

Сравнение с Другими Подходами

Статья также сравнивает подход DeepMind с подходами других крупных лабораторий AI, таких как Anthropic и OpenAI. Anthropic, по мнению авторов, уделяет недостаточно внимания безопасности обучения и контроля, а OpenAI слишком полагается на автоматизацию исследований безопасности ИИ, известную как исследование выравнивания. Кроме того, OpenAI недавно заявила о переключении фокуса с AGI на сверхразум, концепцию, которую DeepMind считает маловероятной без значительных архитектурных инноваций[1][5].

Критика и Скептицизм

Некоторые эксперты выражают скептицизм относительно концепции AGI, считая ее слишком размытой для научной оценки. Другие указывают на проблему «галлюцинаций» ИИ, когда ИИ создает и обучается на недостоверных данных, что может привести к замкнутому кругу дезинформации. Однако авторы настаивают на необходимости уже сейчас принимать превентивные меры против потенциальных угроз, связанных с AGI[1][4].

В заключение, статья DeepMind подчеркивает, что разработка AGI требует тщательного планирования и внедрения мер безопасности, чтобы избежать потенциального вреда. Это важный шаг в направлении ответственной разработки передового ИИ.