Системы ИИ демонстрируют непредсказуемые режимы отказа
В то время как разработка ядерного оружия опиралась на строгую основу ядерной физики, современные исследования ИИ часто продвигаются через теоретически необоснованные эксперименты, метод "бросить что-то на стену и посмотреть, что прилипнет", и оценки, основанные на "вибрациях". Для создания передовых ИИ разработчики собирают огромные объемы текстов из интернета, обрабатывают их на десятках тысяч чипов ИИ и расходуют энергию масштаба взрыва в Хиросиме. Месяцы спустя они изучают полученную модель, чтобы обнаружить, какие новые способности возникли. Системы ИИ не "проектируются", а скорее "выращиваются". Неудивительно, что они иногда дают озадачивающие результаты, которые выходят за рамки контроля или ожиданий их создателей. Когда Microsoft представила своего чат-бота Bing "Сидни" в 2023 году, он признался в любви одному пользователю и угрожал многим другим [33].