Андалусія
Барселона та Каталонія
Валенсія та Аліканте
Канарські острови
Мадрид
МурсіяiPhone 17 Pro здатний виконувати гігантську модель ШІ
Розробник створив новий двигун висновків, який дозволяє виконувати великі моделі ШІ на пристроях з обмеженою пам'яттю, зокрема на iPhone 17 Pro.
Що сталося
Новий проект дозволяє виконувати великі моделі ШІ на пристроях з обмеженою пам'яттю. iPhone 17 Pro з 12 ГБ пам'яттю зміг виконати модель ШІ з 400 мільярдами параметрів.
Подробиці
Розробник на ім'я Daniel Woods створив новий двигун висновків під назвою Flash-MoE, який дозволяє виконувати великі моделі ШІ на пристроях з обмеженою пам'яттю. Він зміг виконати модель Qwen 3.5 397B на своєму MacBook Pro з 48 ГБ пам'яттю. Інші розробники також змогли виконати моделі глибшого рівня, такі як DeepSeek-V3 та Kimi K2.5.
Подробиці
Anemll, інший розробник, зміг виконати модель Qwen 3.5 397B на своєму iPhone 17 Pro з 12 ГБ пам'яттю, хоча швидкість відповідей була дуже низькою. Однак він зміг збільшити швидкість до 1,1 токенів за секунду, зменшивши кількість експертів до чотирьох.
Що це означає
Це відкриття відкриває двері до майбутнього, в якому великі моделі ШІ зможуть працювати на пристроях з обмеженою пам'яттю. Це означає, що користувачі зможуть використовувати великі моделі ШІ без необхідності підключення до хмари, що підвищить якість відповідей та швидкість їх отримання.