Особенности серверов для тренировки искусственного интеллекта

Требования к процессору

В задачи CPU входит в первую очередь распределение системных процессов и потоков информации. Он отвечает за включение и выключение модулей, а также за синхронизацию работы отдельных компонентов. Процессор занимается предварительной обработкой данных, что очень важно учитывать, так как для тренировок ИИ требуется форматирование больших объемов данных. Благодаря работе CPU по нормализации и систематизации информации снижается риск возникновения ошибок, в результате чего процесс обучения нейросетей значительно ускоряется и становится гораздо более эффективным.

Процессор обрабатывает любые операции, связанные с обращением к дисковым массивам и касающиеся считывания использующихся для тренировки AI данных. Некоторые вычисления, оптимизация гиперпараметров, а также прочие алгоритмы машинного обучения, также выполняются непосредственно CPU.

В связи с этим при выборе процессора следует обращать внимание на число ядер, потоков и тактовую частоту. Важен и объем кэш памяти. В качестве примера можно привести AMD EPYC 7F72 с 48-ю потоками, 24-мя ядрами с частотой от 3.2 до 3.7 ГГц и кэшем от 192 Мб.

Объем оперативной памяти

Этот параметр напрямую зависит от нейросети, которую планируется обучать – следует учитывать фреймворки, общий объем данных сложность самой структуры и многое другое. По этим признакам ИИ можно разделить на несколько основных уровней:

• Начальный. Предназначен для решения узкого круга задач. В таком случае вполне хватит 16 Gb RAM, но в идеале – 32.
• Средний. Такие нейросети занимаются обработкой изображений и текстового контента. Им необходимо не менее 32 Гб.
• Продвинутый. Это масштабные нейросети, работающие с большими объемами информации. В таком случае минимальный объем ОЗУ составляет 64 Gb RAM.

Если планируется использовать кластеризацию, потребности в оперативной памяти возрастают. В таком случае лучше не экономить и добавлять максимально возможный объем RAM. Хотя можно попробовать начать с необходимого минимума и постепенно масштабировать систему, добавляя оперативную память. Но следует учитывать, что с одной стороны, это позволит остановиться на оптимальном объеме, а с другой – отнимет больше времени.

Выбор видеокарты

Несмотря на то, что процессоры и оперативная память являются важными и неотъемлемыми компонентами сервера для ИИ, именно графические адаптеры в наибольшей степени определяют его производительность. Нагрузка приходится на встроенные в видеокарты потоковые процессоры (Cuda-ядра) или тензорные ядра, как в устройствах Nvidia.

Производитель предлагает графические карты, которые выпускаются специально для тренировок нейросетей, позволяющие значительно ускорить этот процесс. Хороший пример – NVIDIA H100 PCIe 80 GB с 456-мя тензорными ядрами 4-го поколения, 14592-мя потоковыми процессорами и 80 GB HBM2e видеопамятью.

Подбор платформы

Выбор платформы для сервера осуществляется на основе следующих критериев:

• Совместимость материнской платы с компонентами, которые планируется устанавливать – в первую очередь касается оперативной памяти и видеокарт.
• Число слотов. Даже если исходя из расчетов на текущий период, будет достаточно одного графического адаптера, желательно спрогнозировать предполагаемое развитие проекта и повышение его потребностей, чтобы можно было масштабировать сборку при необходимости, а не менять материнскую плату на новую.
• Охлаждение. Мощные GPU, которые используются в серверах для искусственного интеллекта, выделяют большое количество тепла, поэтому потребуются профессионально спроектированные жидкостные или воздушные системы охлаждения.
• Энергопотребление. Блок питания должен иметь достаточную мощность, чтобы обеспечить энергией все подключенные компоненты. В серверах практически никогда не используется 1 БП, поэтому необходимо рассчитать нагрузку исходя из их совокупных показателей.

Серверы с SFX и OAM модулями

На сегодняшний день такие серверы считаются наилучшим решением для обучения нейросетей. Скорость ресурсоемких вычислений очень высока, благодаря подключению графических ускорителей через специально разработанные для тренировок ИИ интерфейсы. 

Модули SXM служат для прямого соединения процессора с графическим адаптером, что обеспечивает максимально высокую скорость передачи данных между ними и минимизирует задержки. Модули OAM позволяют создавать гибкие и легко масштабируемые системы. В одном сервере может присутствовать сразу несколько модулей OAM, что позволяет получать гораздо более результаты тренировок ИИ.

В заключение

Независимо от сферы, практически любой бизнес зависит от современных технологий и зачастую ему требуется заказать серверное оборудование. То же самое касается и компаний, занимающихся обучением нейросетей.

Именно благодаря постоянному совершенствованию серверов, и GPU, в частности, стало возможным развитие искусственного интеллекта до того уровня, на котором он находится в настоящий момент. Компания Восточный Путь предлагает подобрать комплектующие для серверов под развитие нейросетей или готовые решения.