IBM створила гігантський суперкомп’ютер зі штучним інтелектом у хмарі для навчання своїх масивних моделей штучного інтелекту

Багато уваги приділяється штучному інтелекту з тих пір, як OpenAI оприлюднив свою мовну модель ШІ під назвою ChatGPT. Інтерес громадськості зріс після того, як ми отримали безкоштовну пробну спробу ШІ. Відповідь була настільки великою, що Microsoft і Google були змушені швидко інтегрувати ШІ в інфраструктуру своїх пошукових систем. Випуск ChatGPT, ймовірно, стане поворотним моментом в еволюції ШІ.

IBM Research займає давню позицію лідера в області ШІ

OpenAI і Google не єдині компанії, які проводять масштабні дослідження ШІ. IBM має одну з найбільших і добре фінансованих дослідницьких програм AI у світі. Десятиліття роботи зі штучним інтелектом утримали компанію в авангарді передових досліджень ШІ.

Останнім часом IBM зосередилася на створенні моделей AI, які оптимізують роботу внутрішніх підрозділів IBM. Завдяки цій роботі IBM працює не тільки ефективніше, але й дозволяє її дослідникам отримати цінний досвід для подальшого вдосконалення технології. IBM також проводить інноваційні дослідження штучного інтелекту в таких життєво важливих сферах, як хімія, біологія, медицина та охорона здоров’я.

Значна частина останніх досліджень IBM була присвячена базовим моделям і генеративному ШІ. Ці моделі тренуються на великих обсягах немаркованих даних і можуть використовуватися для багатьох завдань лише з невеликими змінами. Основні моделі величезні, зазвичай із мільярдами параметрів. Моделі такого масштабу настільки великі, що їх можна навчити лише за допомогою суперкомп’ютерів.

На жаль, класичні суперкомп’ютери не були розроблені для обчислювальної складності, необхідної для оптимального навчання моделей ШІ. IBM зрозуміла, що створення суперкомп’ютера зі штучним інтелектом з архітектурою, розробленою для створення та навчання масивних моделей штучного інтелекту, буде корисним для її дослідницьких зусиль і, зрештою, для її клієнтів.

Рішення побудувати суперкомп’ютер зі штучним інтелектом було легким, однак після неабияких внутрішніх дебатів IBM вирішила, що його слід побудувати в хмарі.

За словами д-ра Талії Гершон, директора з досліджень хмарної інфраструктури, IBM протягом багатьох років займається розробкою високопродуктивної інфраструктури в хмарі, орієнтованої на ШІ.

«Ми в IBM Research дуже покладаємось на базові моделі, — сказав д-р Гершон. «Наші дослідження в цій галузі були чудовими та новаторськими. Завдяки продуктивності, яку забезпечують ці моделі, і здатності швидко адаптуватися за мінімальний час для досягнення цінності, IBM розглядає базові моделі як величезну та руйнівну можливість, якою ми сповнені рішучості скористатися».

IBM розробила низку генеративних моделей штучного інтелекту для різних важливих для життя та бізнес-сфер, таких як протимікробні засоби, хімія, матеріали та код. Ви можете прочитати більше інформації про цей конкретний клас моделей у моїй попередній статті на Forbes.com тут.

Побудова моделі

Доктор Гершон пояснив, чому розробка масивних базових моделей є складним і трудомістким завданням, яке часто вимагає роботи десятків або навіть сотень графічних процесорів протягом тижнів або місяців під час фази навчання.

Вона також пояснила, що для забезпечення ефективного робочого процесу побудови моделі необхідно приділяти особливу увагу кожному етапу процесу, від початкового збору та підготовки даних до перевірки та, зрештою, до введення в дію. Дані повинні бути очищені та підготовлені, а продуктивність моделі повинна бути підтверджена на різних наступних завданнях. І, нарешті, модель потрібно обслуговувати, але через її розмір це складне завдання, що потребує досвіду.

Цілі та міркування щодо хмарного суперкомп’ютера зі штучним інтелектом IBM

Дослідницька команда IBM, відповідальна за створення Vela, вирішила, що створення суперкомп’ютера зі штучним інтелектом у хмарі є найбільш ефективним і результативним способом досягнення поставлених цілей:

Хмара дозволяє дослідникам і клієнтам легко співпрацювати один з одним. Вона забезпечує доступ до різноманітних загальнодоступних хмарних служб для підвищення безпеки та конфіденційності. Програмне забезпечення можна налаштувати на кожному вузлі відповідно до потреб дослідницьких груп. Завдяки хмарі дослідники штучного інтелекту мали більшу гнучкість і незалежність у доступі до найновіших програмних засобів і бібліотек, необхідних для моделей. Висока надлишковість Cloud забезпечить продовження роботи системи в разі збою компонента.

Для належного функціонування інфраструктури ШІ потрібні вузли, що складаються з багатьох графічних процесорів. Вузли можна налаштувати одним із двох способів: або як фізичні машини (зазвичай їх називають «голим металом»), які максимізують продуктивність ШІ, або як віртуальні машини (VM), які надають командам підтримки гнучкість для налаштування інфраструктури та розподілу ресурсів між робочі навантаження.

Команда розробників суперкомп’ютерів зі штучним інтелектом використала розумну техніку, щоб поєднати переваги можливостей вузлів (таких як графічні процесори, центральні процесори, мережа та сховище) із гнучкістю віртуальних машин (ВМ). Це було досягнуто, налаштувавши хост для віртуалізації, але переконавшись, що всі пристрої та з’єднання були точно представлені всередині віртуальної машини. Це дало Vela twith можливість працювати на тому ж рівні продуктивності, що й фізична машина, а також пропонувати гнучкість віртуальної машини.

Vela: створено для продуктивності майже без металу

Платформа Vela побудована на OpenShift, що дозволяє її легко перенести в будь-яке хмарне або гібридне середовище. Це величезна багатовузлова система з кількома GPU, яка використовує NVlink для високошвидкісного зв’язку між GPU. NVSwitch використовується для підключення кількох NVLink для високошвидкісного зв’язку GPU між усіма в межах одного вузла. NVSwitch також розширює зв’язок між вузлами, створюючи безперебійний кластер GPU з високою пропускною здатністю, який складається з кількох вузлів, фактично формуючи GPU розміром з центр обробки даних.

Команда дизайнерів вирішила, що Vela потрібні власні хмарні технології. IBM вирішила не будувати систему InfiniBand, тому Ethernet було обрано для підвищеної гнучкості, масштабованості, простоти експлуатації та керування. Не менш важливо те, що Ethernet зробив систему сумісною з хмарною інфраструктурою IBM.

Хоча IBM відмовилася вказати точну кількість графічних процесорів Vela, щоб ефективно керувати ресурсами в системі з понад тисячею графічних процесорів, IBM розробила хмарну технологію пакетного планування, яка працює поверх Kubernetes. Ця технологія наразі використовується на робочому кластері OpenShift для ефективного чергування, пріоритезації та керування завданнями.

Підведенню

IBM Research виділила багато ресурсів для створення та навчання великих базових і генеративних моделей штучного інтелекту в багатьох областях і модальностях. IBM Research співпрацює з багатьма своїми внутрішніми бізнес-підрозділами, щоб зосередитися на швидшому та ефективнішому навчанні моделей світового класу, щоб запровадити моделі в дію та перетворити їх на бізнес-цінність. Оскільки навчання моделям штучного інтелекту потребує суттєво інших вимог до обчислень, ніж класичні суперкомп’ютери, IBM розробила та створила власний суперкомп’ютер зі штучним інтелектом і розгорнула його в хмарі в травні 2022 року.

Моделі штучного інтелекту потребують надзвичайної кількості обчислювальних ресурсів і часу для створення та навчання. Суперкомп’ютер IBM зі штучним інтелектом Vela був створений для ефективного та швидкого створення та навчання величезних моделей.

IBM виконала колосальний обсяг проектної та інженерної роботи, щоб обмежити накладні витрати на продуктивність Vela в межах кількох процентних пунктів від «голого металу». Весь його стек побудовано на основі OpenShift, що робить його переносимим у будь-яку хмару, будь-яке локальне чи публічне хмарне середовище, а також дає можливість працювати в гібридному хмарному середовищі.

Хоча IBM не оголосила про свій намір надавати хмарні суперкомп’ютери зі штучним інтелектом як послугу, Vela — це масивний суперкомп’ютер зі штучним інтелектом, який має всі можливості та функції, необхідні для такої пропозиції. Архітектура така, що для IBM було б просто взяти частину інфраструктури Vela та запропонувати її як послугу.

З огляду на все, я б не здивувався, якби на початку 2024 року побачив суперкомп’ютер зі штучним інтелектом як послугу. Це було б корисно як для IBM, так і для всієї екосистеми ШІ.