Технології 4 хв читання Автор: Дарина Марцинюк
Llama для Windows дозволяє запускати локальні ШІ-моделі в один клік
Розробники llama.cpp та спільнота Hugging Face випустили безкоштовний застосунок Llama для Windows 11, який спрощує завантаження й запуск локальних мовних моделей без командного рядка.
Для Windows 11 випустили безкоштовний застосунок Llama, який дозволяє за кілька кліків завантажувати та запускати локальні мовні моделі. Програму створили розробники llama.cpp у співпраці зі спільнотою Hugging Face. Вона переносить на платформу Microsoft підхід, який раніше використовувався у версії Llama для macOS: користувач обирає модель зі списку, завантажує її та починає спілкуватися зі штучним інтелектом безпосередньо на своєму комп’ютері.
Головна перевага застосунку — автоматизація встановлення. Якщо на комп’ютері бракує необхідних компонентів llama.cpp, Llama може завантажити їх самостійно. Користувачеві не потрібно вручну шукати відповідну збірку, встановлювати додаткові інструменти або вводити команди в терміналі. Моделі можна вибирати та завантажувати безпосередньо з каталогу Hugging Face. Застосунок також показує інформацію про доступні варіанти контекстного вікна й орієнтовні вимоги до пам’яті, що допомагає підібрати модель відповідно до можливостей комп’ютера.
Програма інтегрується в системний трей Windows 11, звідки можна керувати моделями та запускати чат із ШІ. Для швидкого доступу передбачено комбінацію клавіш Alt + Space. Вона відкриває окреме вікно з вебінтерфейсом завантаженої моделі незалежно від того, у якій програмі зараз працює користувач. Таким чином, взаємодія з локальним ШІ стає доступною навіть тим, хто не має досвіду роботи з командним рядком.
На відміну від хмарних чат-ботів, локальні моделі виконують обчислення на пристрої користувача. Це дає змогу працювати з ними без постійного підключення до інтернету після завантаження необхідних компонентів і самої моделі. Локальний запуск також може бути корисним для тих, хто не хоче передавати свої запити зовнішнім ШІ-сервісам або оплачувати використання моделей через API. За описом розробників, запити та відповіді обробляються на комп’ютері, а сам застосунок поширюється безкоштовно з відкритим вихідним кодом.
Водночас продуктивність залежить від апаратного забезпечення. Великі моделі потребують значного обсягу оперативної пам’яті або відеопам’яті, а швидкість генерації відповідей визначається можливостями процесора та графічного прискорювача. Тож для комфортної роботи з потужними моделями все одно знадобиться комп’ютер із достатнім обсягом пам’яті.
Llama для Windows призначена не лише для спілкування з ШІ у власному інтерфейсі. Застосунок може запускати локальний сервер, до якого підключаються інші програми. Сумісність із API у форматі OpenAI дає змогу інтегрувати локальні моделі з інструментами для програмування, редакторами коду та власними скриптами. У такому разі застосунок може використовувати модель, запущену на комп’ютері, замість звернення до зовнішнього сервісу.
Ще одна особливість — спільне сховище моделей у кеші Hugging Face. Це дає змогу використовувати завантажені файли в інших сумісних інструментах, не зберігаючи окрему копію для кожної програми. Таким чином, Llama об’єднує завантаження моделей, їх запуск і доступ до локального API в одному інструменті.
Застосунок доступний безкоштовно для Windows 11. Завантажити його можна на офіційному сайті Llama або переглянути вихідний код і доступні збірки в репозиторії на GitHub. Раніше повідомлялося, що на компанію Meta подали до суду за масове піратство заради навчання Llama: нібито Марк Цукерберг особисто дав добро.
3
