Фахівці Швейцарської вищої технічної школи Лозанни (EPFL) презентували програмне забезпечення Anyway Systems, що дає змогу запускати великі мовні моделі штучного інтелекту в локальних мережах із кількох споживчих комп'ютерів без підключення до хмарних центрів обробки даних.Розробку створили дослідники Школи комп'ютерних і комунікаційних наук EPFL - Готьє Ворон, Джовані Різк і Рашид Геррауї. Програма розподіляє обчислювальне навантаження між кількома пристроями в локальній мережі та автоматично оптимізує використання доступного обладнання.
За даними розробників, для роботи моделі ChatGPT-120B, яку можна порівняти за можливостями з OpenAI o3 у завданнях програмування і математики, достатньо чотирьох комп'ютерів. Встановлення системи займає близько тридцяти хвилин. Програма підтримує моделі з сотнями мільярдів параметрів при використанні декількох графічних процесорів.
Керівник лабораторії DCL Рашид Геррауї зазначив, що система зберігає точність відповідей моделей, хоча час відгуку може бути дещо вищим, порівнюючи з хмарними рішеннями. Обробка даних відбувається локально, що виключає передачу інформації на зовнішні сервери.
Альтернативні рішення, зокрема Google AI Edge і локальні моделі на кшталт Llama, працюють на одному пристрої й обмежені його обчислювальними ресурсами. Для запуску ChatGPT-120B на одному комп'ютері потрібен графічний процесор nVidia H100 вартістю від сорока тисяч доларів, при цьому через дефіцит на вторинному ринку ціни перевищують дев'яносто тисяч доларів.
