iPhone 17 Pro локально запустил ИИ-модель на 400 млрд параметров — хотя ей нужно более 200 ГБ оперативки
Новое железо Apple вытворяет нечто неожиданное по части искусственного интеллекта, хотя здесь и кроется большой подвох. Выяснилось, что iPhone 17 Pro способен локально запускать языковую модель с 400 миллиардами параметров — для смартфона это звучит почти нереально.
Демонстрация стала возможной благодаря опенсорс-проекту Flash-MoE, о котором рассказал разработчик под ником @anemll. Обычно модели такого масштаба требуют более 200 ГБ памяти только для загрузки, так что запуск на устройстве с 12GB RAM в привычном понимании кажется невозможным.
Секрет кроется в особом подходе. Вместо того чтобы загружать модель целиком в оперативную память, система подтягивает нужные части из постоянного хранилища по мере необходимости. Кроме того, используется архитектура Mixture of Experts (MoE), где в каждый конкретный момент времени активна лишь небольшая часть модели. Именно это сочетание и позволяет системе работать.
Главная проблема — скорость. А точнее, её отсутствие. Модель генерирует текст со скоростью около 0,6 токена в секунду. Это значит, что одного слова приходится ждать пару секунд. Скорость настолько низкая, что даже простые запросы превращаются в проверку на терпение. Еще один очевидный минус — чудовищный расход заряда батареи, что вполне ожидаемо при такой нагрузке.
Тем не менее, эксперимент выглядит любопытно. Не потому, что это применимо в жизни прямо сейчас, а потому, что это намечает вектор развития. Еще недавно локальный запуск таких гигантов на смартфоне — без обращения к облаку — даже не обсуждался.
На данный момент между «возможно» и «целесообразно» сохраняется огромная дистанция. Компактные модели по-прежнему остаются единственным практичным выбором. Но подобные тесты дают нам шанс заглянуть в будущее и увидеть, с чем смартфоны со временем научатся справляться без труда.
(Источник: @anemll в X)
В России iPhone 17 Pro официально не представлен, но устройство будет доступно в крупных розничных сетях и на маркетплейсах через параллельный импорт.