GPU для задач машинного обучения и работы с LLM
Одна из основных сфер применения GPU — разработка, обучение и тренировка моделей искусственного интеллекта (ИИ), а также их инференс — процесс работы уже обученной нейросети.
LLM в мире
Мощные вычислительные ресурсы GPU используются при создании больших языковых моделей (large language models, LLM). Такие генеративные нейронные сети, как ChatGPT от OpenAI и другие, обучаются на огромных корпусах данных, чтобы быстро решать разные задачи: генерировать и переводить статьи, писать код, делать краткие выжимки книг, отвечать на вопросы пользователей.
Известный предприниматель и инженер Илон Маск использует мощности GPU для развития проектов своей компании хAI — чат-бота Grok, который сможет поддержать любой разговор, и интегрированной среды разработки IDE для быстрого проектирования и применения возможностей LLM. В сентябре этого года предприниматель запустил суперкомпьютер Colossus для обучения ИИ. Кластер оснащен 100 тысячами графических процессоров Nvidia H100.
По прогнозу аналитического агентства Research and Markets, рынок LLM будет расти на 33% ежегодно и увеличится с $6,4 млрд в 2024 году до $36,1 млрд к 2030 году.
LLM в России
У крупных российских ИТ-холдингов тоже есть свои генеративные нейросети как для работы с текстами, так и для создания изображений и видео по текстовым запросам. Обученные модели
применяются в различных корпоративных сервисах, например, помогают составлять краткий пересказ входящих писем и делать отдельные элементы дизайна для ИТ-продуктов. На основе LLM
создаются диалоговые ассистенты и решения по речевой аналитике. Они помогают банкам и телеком-компаниям отвечать на звонки розничных клиентов, расшифровывать содержание разговора и в онлайн-режиме анализировать его тональность, тематику и результаты.
Входящее в Холдинг Т1 направление Т1 ИИ использует мощности GPU для создания и обучения LLM: чат-ботов, голосовых и визуальных помощников. Их разрабатывают как для холдинга, так и на заказ. Например, HR-бот помогает отвечать на вопросы сотрудников компании, консультирует по процессам закупок, помогает в оформлении заявлений, генерации контента, проверке документов, рассказал руководитель группы «Цифровые ассистенты» в Т1 ИИ Иван Тихонов.
Еще один вид ИИ-помощников — визуальные аватары. Аватар может присутствовать на корпоративной видеоконференции: отвечать на вопросы и записывать поручения, уточнил Иван Тихонов. В ближайшем будущем индивидуальные аватары сотрудников, которые используются для общения в Метавселенной, смогут заменить сотрудника и на видеоконференции. При этом такая ИИ-модель синхронизирует мимику, жесты и артикуляцию с произносимой речью.
В Холдинге Т1 используют LLM и для интеллектуального анализа документов, отметил директор по продуктам Т1 ИИ Дмитрий Попов. Нейросети помогают автоматически находить связи, влияния, расхождения, соответствие регуляторным требованиям в неструктурированных текстовых документах, технических заданиях и др. Для обучения таких LLM применяются вычислительные мощности GPU Nvidia H100.
GPU для задач Computer Vision
Методы машинного обучения, включая тренировку LLM, используются в проектах с применением технологий компьютерного зрения. Чем объемнее поток документов, изображений, аудио и видеофайлов и чем выше требования к качеству их распознавания, тем больше ИИ-системам нужно мощных вычислительных ресурсов.
Распознавание сканов документов и изображений
В крупных банках, финтех-стартапах и телеком-компаниях ИИ-модели помогают в реальном времени распознавать десятки тысяч бухгалтерских и кадровых документов, паспорта клиентов, сложные неструктурированные файлы, презентации, электронные письма и многое другое.
Например, технология распознавания графических данных в DLP-системе крупного ИБ-вендора
работает на серверах с GPU. Таким образом DLP за то же время обрабатывает в разы больше изображений, чем при использовании CPU. Это помогает клиентам ИБ-вендора — крупным компаниям, которые работают с большим потоком паспортов, банковских карт, технических чертежей и других конфиденциальных документов — защищать все ценные данные от утечек в формате сканов и фотографий.
Видеоаналитика в системах умного города
Камеры автоматической фото- и видеофиксации нарушений ПДД с каждым годом умеют распознавать все больше нарушений: разговоры по телефону за рулем, пересечение сплошных линий дорожной разметки, движение в запрещенном направлении, негорящие фары и многое другое. С помощью машинного зрения интеллектуальные системы, как, например, на ЦКАД,
анализируют видео с дорожных камер, распознают различные инциденты и при необходимости передают данные городским службам. С GPU эти процессы происходят максимально приближенно к реальному времени.
В Казани
система ИИ помогает управлять дорожным движением. Нейросеть обрабатывает данные с камер и датчиков, чтобы оптимизировать работу светофоров и улучшить пропускную способность дорог. Беспилотные трамваи, которые
тестируют в Москве и Санкт-Петербурге, выполняют 90% операций автоматически, через нейросети. Система камер, радаров и лидаров передает данные о местоположении трамвая искусственному интеллекту, а тот принимает решения о движении. Полученные данные используются и для постоянного обучения нейронной сети. Графические процессоры с их возможностями параллельной обработки данных хорошо подходят для этих задач.
Видеоаналитика на производстве
На строительных и производственных площадках, промышленных объектах и в сортировочных центрах технологии компьютерного зрения помогают отслеживать перемещение грузов, проверять качество продукции и следить за безопасностью условий труда.
Российская горно-металлургическая компания
использует интеллектуальную систему контроля, чтобы распознавать наличие спецодежды, очков, касок и других необходимых средств индивидуальной защиты (СИЗ) на сотрудниках. Для этого в реальном времени анализируется видеопоток с камер видеонаблюдения на промплощадках комбината.
Как рассказал руководитель проекта в Т1 ИИ Александр Ефремов, Холдинг Т1 использует мощности GPU для разработки решений по видеоаналитике на основе нейросетей. Среди самых востребованных клиентских кейсов — контроль трудовой дисциплины персонала, мониторинг производственной безопасности, а также визуальный контроль качества готовой продукции, в том числе, проверка этикеток и маркировки.
По словам Александра Ефремова, крупные клиенты чаще рассматривают размещение серверов с GPU в контуре своей организации. Тем не менее, облачные решения с применением мощных промышленных GPU незаменимы для обучения моделей компьютерного зрения на больших датасетах.
GPU для моделирования различных процессов в научных исследованиях
Благодаря вычислениям с помощью GPU время, необходимое для моделирования сложных физических процессов, сокращается с недель или месяцев до нескольких дней или часов.
Без высокопроизводительных видеокарт не обойтись при разработке 3D-моделей месторождений полезных ископаемых, в гидродинамическом моделировании при создании аэрокосмической и автомобильной техники, а также при моделировании поведения клеток во время исследований тяжелых заболеваний и создания вакцин. Например, в пандемию ученые из МГУ
искали потенциальное лекарство от коронавируса с помощью докинга — особого вида молекулярного моделирования. Для расчетов они использовали суперкомпьютер «Ломоносов». С ним поиск нужных молекул, дизайн новых и их докинг заняли несколько дней.
Центр космических полётов имени Годдарда — крупная исследовательская лаборатория NASA —
использует высокопроизводительные вычислительные системы на базе GPU, чтобы моделировать атмосферные процессы и повышать точность исследований в сфере изменения климата. Все больше графических процессоров
применяют для интеллектуального анализа больших объемов данных, поступающих во время экспериментов на Большом адронном коллайдере. Это позволяет не только ускорить расчеты, но и сократить количество энергии, нужное для работы серверов.