by Переход ASI: наивный или наивный в квадрате?
Виталик Бутерин прочитал план по выживанию при суперинтеллекте, прочитал его критиков и отказался вставать на чью-либо сторону — потому что, по его словам, честно говоря, никто не знает, в каком мире мы живём. Этот отказ — самое полезное, что кто-либо сказал об ИИ за этот месяц, и он указывает на то, чем на самом деле стоит владеть.
- Виталик Бутерин отказался вставать на любую из сторон в споре о выживании при сверхразуме, заявив, что никто честно не знает, живём ли мы в мире «обычной технологии» или в том, где ASI приходит к 2030 году.
- Спор поднял AI 2040: Plan A от Дэниела Кокотайло и Илая Лифланда (авторов прогноза AI 2027), где в каждом сценарии сверхразум приходит к 2040 году, если только экстраординарные скоординированные усилия его не остановят.
- Предложение Виталика по мотивам Робина Хэнсона: заранее договориться о конкретных триггерах (суперпандемия, безработица выше 25%), которые двигают всех к замедлению, — сделка, которую обе стороны подписывают по противоположным причинам.
- Оба лагеря — и алармисты, и скептики — сходятся на одном и том же режиме отказа: концентрация контроля над ИИ, будь то машина или совет директоров.
- Капитал уже движется: Винсент Вайссер поднял $130M при оценке $1B на открытый стек сверхразума — на тезисе, что обучение с подкреплением вновь размыкает концентрацию, созданную предобучением.
- Позиция TT desk: не торговать таймлайн, торговать инвариант — анти-концентрационную инфраструктуру (верифицируемый компьют, открытые веса моделей, формальная верификация, криптографическая аттестация, децентрализованное обучение), которая платит в обоих мирах.
- За чем следить: реально ли серьёзные лаборатории или государства заранее свяжут себя триггерами замедления Виталика — если никто их не назовёт, значит, гонка и есть единственный план.
@VitalikButerin · @DKokotajlo · @eli_lifland · @binarybits · @adi_baradwaj · @RyanGreenblatt · @banteg · @ylecun · @zooko
Цепочка аргументов
Даниэль Кокотайло и Эли Лифланд — авторы прогноза AI 2027, предсказавшего захват власти ИИ или необратимую концентрацию власти, — вместо очередного предупреждения опубликовали AI 2040: Plan A, план международной координации ради хорошего исхода. В каждом его сценарии суперинтеллект появляется к 2040 году, если только его не остановят экстраординарные усилия.
Критики появились быстро. Тимоти Б. Ли назвал всё это настолько неправдоподобным, что не знал, с чего начать, и обозначил настоящую проблему: эпистемическую пропасть между теми, кто считает, что суперинтеллект означает почти всемогущество, и теми, кто так не считает. Ади Барадвадж заострил это до конкретного обвинения — подмены понятий (motte-and-bailey) между «Суперинтеллектом с большой буквы», всемогущим по определению, и «суперинтеллектом с маленькой буквы», правдоподобным итогом текущих исследований. banteg сформулировал то же возражение так, как оно того заслуживает: проведи линию вверх по графику масштабирования, линия упирается в небеса — вывод: капитализм заканчивается в 2031 году.
Ход Виталика — отказаться от самой рамки. Он замечает, что критики скептичны несимметрично: они называют план наивным в части человеческой координации, но не видят наивности в допущении, что переход к ASI по умолчанию пройдёт гладко, — ни риска концентрации власти в самом ASI, ни проблемы в том, что жёсткая сила человечества сойдёт к нулю. Такая позиция непротиворечива в мире, где ИИ — обычная технология. И она несостоятельна в мире, где суперинтеллект появляется к 2030 году. А в каком из миров мы живём, он, по его словам, не знает.
Но пока я не вижу ни одного плана перехода к ASI, который не был бы наивным. Возможно, человечество застряло перед выбором между наивным и наивным в квадрате.
Две стороны
Те, кто предсказывал захват власти, теперь публикуют не предупреждение, а позитивный план — и он предписывает open source и распределяет kill-switch между несколькими игроками, а не отдаёт одному.
@DKokotajloПлан нужен, чтобы вытащить альтернативы на свет: отнестись к суперинтеллекту с должной серьёзностью и дать конкурирующим планам соревноваться.
@eli_liflandРаботает асимметрия. Если ИИ — просто обычная технология, издержки Plan A невелики и большая их часть может подождать. Если же ASI к 2040 году хотя бы правдоподобен, выигрыш перевешивает. Уверенность не нужна — нужно, чтобы ставка была несимметричной.
@RyanGreenblattВсё решает определение: если машина выполняет любую задачу лучше, чем человек вместе с машиной, платить человеку нет экономического смысла. Сказать «рабочие места всё равно останутся» — это не оптимизм по поводу ASI, а неверие в ASI.
@VitalikButerinПлан настолько неправдоподобен, что непонятно, с чего вообще начинать. Спор не о политике — это эпистемическая пропасть о том, вообще ли суперинтеллект означает почти всемогущество.
@binarybitsЗдесь идёт подмена понятий (motte-and-bailey) между двумя разными словами. «Суперинтеллект с большой буквы» всемогущ по определению; «суперинтеллект с маленькой буквы» — то, к чему могут привести нынешние исследования. Аргумент работает, только если их тихо подменить.
@adi_baradwajВся логика — это график масштабирования, экстраполированный до эсхатологии, теми же людьми, что десять лет объясняли, почему централизованное планирование не работает — кроме случаев, когда планировщики они сами.
@bantegТретья позиция, отвергающая обе: опасность не в машине, а в горстке компаний, владеющих проприетарными ассистентами. Ответ — open-source foundation-модели, а не скоординированная пауза, которая отдаёт рубильник тем же компаниям.
@ylecunСпор — их же словами
Что на самом деле предлагает Виталик и почему это не компромисс
То, что пересказали как «Виталик предлагает сделку о паузе», на деле тоньше. Опираясь на Робина Хансона, он утверждает: выигрышная сделка — та, которую оба лагеря примут исходя из своих нынешних убеждений, но по противоположным причинам. Заранее договориться о конкретных триггерах — суперпандемия, безработица выше 25%, что-то с боевыми роботами-убийцами — и заранее договориться, что их пересечение двигает всех к замедлению. Скептики подписываются, потому что уверены: триггеры не сработают никогда. Обеспокоенные — потому что уверены, что сработают. Никого не нужно сначала переубеждать, а когда триггеры сработают или нет, одно из мировоззрений заслужит право на доверие.
Он проводит различие, которое почти никто не проводит: кнопки паузы не взаимозаменяемы. Механизм, позволяющий 2–5 игрокам запустить глобальную вычислительную зиму — останавливаются все, — категорически иной объект, чем тот, что позволяет 1–5 игрокам избирательно поражать в правах тех, кто им не нравится, освобождая при этом себя. Первое — предохранитель. Второе — трон. Plan A выбрал первое, и за это Виталик его хвалит.
А затем он нарочно бьёт по себе сам: возможно, и это наивно. Да что там, скорее всего, наивно. Вся сила эссе — в человеке, который отказывается делать вид, что разрешил неопределённость, которую не разрешил.
Почему это вопрос инвестиций, а не философский семинар
Потому что этот спор указывает на редкую вещь: набор активов, тезис по которым не зависит от того, кто победит.
Список d/acc Виталика — не настроение. Это список покупок: формальная верификация, криптография, безопасное и открытое железо, защитные биотехнологии, продовольственная и ресурсная безопасность, публичная эпистемика, физическая безопасность без концентрации власти. Он утверждает, что всё это стоит строить в обоих мирах. В мире обычных технологий это рядовая инфраструктура для общества, работающего на софте, который оно не может проверить. В мире ASI это единственное, что стоит между нами и единственным владельцем всего.
Заметьте: большая часть этого списка — то, что крипта десять лет строила плохо и наконец строит как надо: проверяемые вычисления, открытое железо, криптографическая аттестация, децентрализованное обучение, убедительная нейтральность как фича продукта. И капитал начал это замечать — Винсент Вайссер привлёк $130 млн при оценке $1 млрд, чтобы построить открытый стек суперинтеллекта, с прямым тезисом: предобучение сконцентрировало передовой ИИ в нескольких лабах, а reinforcement learning снова эту концентрацию вскрывает.
Два лагеря расходятся во времени. И, сами того не замечая, сходятся в сценарии провала: концентрация власти. Янн ЛеКун говорит, что главный риск — несколько компаний, владеющих ассистентами. Изначальный прогноз Кокотайло называл риском необратимую концентрацию. Виталик говорит, что ASI сам по себе — мощнейший концентратор власти. Думеры и скептики показывают на одно и то же с противоположных концов.
Мысли деска TT
Не торгуйте таймлайн. В этом вся мысль Виталика, и она верна: ни у кого — ни у Кокотайло, ни у ЛеКуна, ни у тех, кто высмеивает график масштабирования, — нет преимущества в том, когда и наступит ли ASI вообще; а любая позиция, размер которой завязан на дату 2030 года, — это позиция на подбрасывании монетки, которую вам выдали за прогноз.
Торгуйте инвариант. Единственное, с чем соглашаются оба лагеря: сбой — это концентрированный контроль над ИИ; расходятся они лишь в том, кто концентратор — машина или совет директоров. Именно поэтому инфраструктура против концентрации — редкая сделка, которая платит в обоих мирах, и это ровно список d/acc: проверяемый compute, открытые веса моделей и рельсы, чтобы их раздавать, формальная верификация, криптографическое подтверждение того, какая модель работала на каких данных, децентрализованное обучение. В обычном мире это покупают, потому что проверяемость становится требованием комплаенса. В мире ASI — потому что это последний рубеж. Чтобы этим владеть, не нужно знать, в каком мире вы находитесь, — и это единственная доступная здесь убеждённость.
За чем следить конкретно: успевают ли открытовесные передовые модели за закрытыми (тезис ЛеКуна живёт или умирает здесь); получают ли проекты verifiable-inference и аттестации реальное использование, а не аплодисменты в testnet; и решится ли кто-нибудь заранее связать себя триггерами Виталика. Последнее — показатель. Если серьёзные лаборатории и правительства начнут называть условия, при которых они замедлятся, мир координации реален и инфраструктуру начнут набирать. Если триггер не назовёт никто, честный вывод — что гонка и есть единственный план; и тогда владеть стоит тем, что переживёт гонку, а не тем, что рассчитывает на договор.
Читайте дальше
Зачем AI-агентам нужны крипторельсы · Новые технологии — полный фреймворк · Все статьи