Робот

План побега от ИИ: как разработчики Anthropic готовились к концу света

Gabriele Malaspina / Unsplash

Основатели Anthropic планировали приобрести земельные участки в отдаленной местности на случай катастрофы, связанной с искусственным интеллектом?

За кулисами индустрии искусственного интеллекта разворачивается параноидальный сценарий: инженеры, стоящие за наиболее передовыми алгоритмами планеты, готовятся к гипотетическому коллапсу цивилизации из-за собственных изобретений. Материал издания Wall Street Journal раскрыл малоизвестные факты о корпоративной культуре компании Anthropic, сотрудники которой на заре ее основания серьезно планировали приобретение земельных участков в глухих уголках США для спасения от потенциального «бунта машин», сообщает «Дивогляд».

Конфликт с OpenAI, побег в глушь и компромиссы с рынком

История Anthropic началась в 2021 году с громкого раскола внутри OpenAI. Брат и сестра Dario и Daniela Amodei покинули проект из-за категорического несогласия с агрессивной коммерциализацией и пренебрежением мерами безопасности. Хотя эта ситуация напоминает последующий демарш ученого Ilya Sutskever, основатели Anthropic проявили более гибкий подход, пытаясь сбалансировать этические соображения с жесткими запросами инвесторов.

Страх перед экзистенциальной угрозой оказался настолько глубоким, что в первые годы существования компании специалисты прорабатывали реальные сценарии эвакуации:

  • Земля для изоляции: в компании обсуждали покупку участков в штатах с низкой плотностью населения, где разработчики могли бы переждать критический сбой или неконтролируемое поведение технологии;

  • Философский фундамент: ключевой основой для подобных настроений стало движение Effective Altruism, пропагандирующее математический расчет благотворительности и защиту человечества от катастроф в будущем;

  • Репутационная тень FTX: доверие к данному движению понесло значительный урон после финансовых махинаций основателя биржи FTX по имени Sam Bankman-Fried, который также активно финансировал идеи Effective Altruism.

Этическая система Constitutional AI и неизбежная ловушка гонки

Стремясь стать моральным ориентиром в противовес конкурентам, Anthropic выбрала путь создания сложных предохранителей. В то время как OpenAI активно продвигала массовые продуктовые решения, а Google внедряла систему Gemini непосредственно в свои операционные системы, Anthropic разработала собственную архитектуру под названием Constitutional AI. Этот подход опирается на обширные этические своды и алгоритмы, которые обязывают модель Claude соблюдать стандарты безопасности даже в нестандартных ситуациях.

Тем не менее борьба за безопасность создала для компании замкнутый круг:

  1. Потребность в лидерстве: чтобы иметь возможность задавать этические тренды всей отрасли, Anthropic вынуждена создавать все более мощные модели;

  2. Ускорение угрозы: наращивание скорости и масштабов разработки автоматически раздувает технологическую гонку вооружений с другими гигантами;

  3. Неизменность рынка: страх перед потенциальным «технологическим армагеддоном» оказался бессилен против законов капитализма и рыночного соперничества.

Ранее «Дивогляд» рассказывал, как Anthropic заблокировала злоупотребления искусственным интеллектом для биооружия и кибершпионажа.

Причудливые истории из Украины, котики, скандалы мировых звезд, юмор и чуть-чуть дикого трэша из московских болот – читайте первыми в Telegram Дивогляд 5.UA.

Прокомментируйте

МАТЕРІАЛИ ЗА ТЕМОЮ