Геополитическое конкурентное давление приводит к высокому допуску риска потери контроля.
Во время Холодной войны фраза "Лучше мертвым, чем красным" подразумевала, что проигрыш противнику считался хуже, чем риск ядерной войны. В будущей гонке ИИ подобное мышление могло бы подтолкнуть официальных лиц к терпимости к двузначному риску потери контроля, если альтернатива — отставание от соперника — кажется неприемлемой. Если выбор жесткий — рискнуть всеуничтожением или проиграть, — некоторые могут пойти на этот риск. Выполняемое несколькими конкурирующими державами, это равносильно глобальной русской рулетке и толкает человечество к тревожной вероятности уничтожения. В резком контрасте, после поражения нацистской Германии ученые Манхэттенского проекта опасались, что первое атомное устройство может поджечь атмосферу. Роберт Оппенгеймер спросил Артура Комптона, какой порог приемлем, и Комптон установил его на уровне трех на миллион (порог "6σ") — все, что выше, было слишком рискованным. Расчеты показали, что реальный риск был ниже порога Комптона, и тест был проведен. Мы должны стремиться к тому, чтобы наш допуск риска оставался близким к порогу Комптона, а не в двузначной зоне. Однако при отсутствии координации запуск рекурсии государствами зависит от их вероятности потери контроля. Перспектива потери контроля показывает, что в стремлении к разработке новых технологий "превосходство не синонимично безопасности" [18], но стремление к стратегической монополии может перевесить осторожность, потенциально отдавая окончательную победу не какому-либо государству, а самим ИИ....
В 1933 году ведущий ученый Эрнест Резерфорд назвал идею использования атомной энергии "чушью". На следующий день Лео Сцилард прочитал замечания Резерфорда и набросал идею ядерной цепной реакции, которая в конечном итоге породила ядерный век. Впоследствии такие фигуры, как Дж. Роберт Оппенгеймер, осознали двойную природу своей работы. Сегодня ИИ находится на схожей стадии. Ранее считавшийся научной фантастикой, ИИ достиг точки, где машины могут учиться, адаптироваться и потенциально превосходить человеческий интеллект в определенных областях. Эксперты по ИИ, включая Джеффри Хинтона и Йошуа Бенджио, пионеров глубокого обучения, выразили экзистенциальные опасения по поводу технологий, которые они помогли создать....
Примерно в это же время - США строят свои первые ядерные реакторы.
Вывозят всех физиков и математиков из Европы и дают паспорта всем беженцам из СССР.
Основывают в 1943 году Лос-Аламосскую национальную лабораторию.
Где Оппенгеймер с командой очень быстро делает первую Ядерную Бомбу -
Достаточное количество которых в связке с дальней авиацией - способны уничтожать целые страны и города.
И далее - 6 августа 1945 года в 08:15 по местному времени -
Америка бомбит Хиросиму и Нагасаки - по 20 килотонн на каждый город....