Разговор с экспертом(Денис Тимонин/Denis TImonin) из NVIDIA - Часть 1(Как и зачем обучать нейросети)

Введение

Обзор раздела: В этом разделе говорится о том, что участники собрались для обсуждения конкретной темы и представления своих знаний в области технологий.

Знакомство

Обзор раздела: Участники знакомятся друг с другом и рассказывают о своей работе и опыте в области технологий.

Представление участников

• Один из участников рассказывает о своей работе по помощи компаниям входить на международный рынок.

• Другой участник говорит о своем опыте работы с искусственным интеллектом, начиная с классического обучения до создания нейросетей для мобильных телефонов.

• Третий участник также имеет опыт работы с нейросетями, а также работал в крупных компаниях, помогая им использовать новые технологии.

Работа с нейросетями

Обзор раздела: Участники делятся своим опытом работы с нейросетями и рассказывают о проектах, в которых они участвовали.

Работа с нейросетями

• Один из участников рассказывает о своем опыте работы с нейросетями для компьютерного зрения, медицинских изображений и распознавания речи.

• Другой участник говорит о своем опыте работы в компании Huawei, где он разрабатывал быстрые и точные нейросети для мобильных телефонов.

• Третий участник помогал крупным компаниям в различных отраслях использовать новые технологии, такие как финансы, здравоохранение и социальные сети.

NVIDIA

Обзор раздела: Участники обсуждают работу NVIDIA и ее видеокарты.

Работа NVIDIA

• Один из участников объясняет, что NVIDIA выпускает видеокарты или графический процессоры GPU для построения графики в играх или индустрии фильмов.

• Участники обсуждают то, что решение,

Применение перемножения чисел в компьютерных играх и нейросетях

Обзор раздела: В этом разделе говорится о том, как операции перемножения чисел применяются в компьютерных играх для расчета графики и в нейросетях для обучения моделей.

Универсальность перемножения чисел

• Операции перемножения чисел применяются как в компьютерных играх для расчета графики, так и в нейросетях для обучения моделей.

• NVIDIA построила классное железо на основе матричного умножения, которое позволяет делать либо одно, либо другое.

• На сегодняшний день 95% всех нейросетей работает на NVIDIA благодаря ее универсальности и возможности закрывать различные архитектуры.

Роль NVIDIA в мире нейросетей

• NVIDIA контролирует 99% рынка нейросетей.

• Компания занимается производством железа и предоставлением хорошего софтварного стека, который позволяет гибко решать различные задачи по околонауки, от большого количества однотипных чисел до больших матриц.

• NVIDIA делает свои ресерчи для того, чтобы двигать сферу в целом и представлять новые решения.

Работа с нейросетями на NVIDIA

• Пользователь может купить железо NVIDIA и использовать бесплатные библиотеки и инструменты для обучения своих нейросетей.

• Большинство примеров кода, которые сейчас есть Open Source, доступны для того, чтобы делать все подряд моделями для того, чтобы учить свои большие нейросети.

• Существует много возможностей для экспериментирования с нейросетями на NVIDIA.

Обучение нейросетей

Обзор различных фреймворков для обучения нейросетей:

Базовый фреймворк и доступные решения

• Доступны базовые фреймворки, такие как Ференборг, которые публично доступны на GitHub и могут быть запущены в облаке самостоятельно.

• Можно создать свою модель с нуля, используя открытые решения без необходимости дополнительных покупок.

• Существуют продукты, такие как Немо Мегатрон и NVIDIA, которые представляют собой готовые коробочные решения для экспериментирования.

Обучение больших моделей

• Для обучения больших моделей можно использовать более продуктовое ориентированное решение, такое как Мегатрон LM от NVIDIA.

• Важно правильно подсунуть данные для обучения модели.

GPT и его параметры

• Никто не знает точно, какие параметры использует GPT или как они дофантюнили свои лоссы.

• Большая модель GPT-3 содержит 170 миллиардов параметров, которые не могут быть управляемы в процессе работы с нейросетью.

Параметры и их использование

• Параметр - это обучаемая минимальная единица ячейки памяти, которая хранит какое-то число.

• Блоки параметров объединены в группы и используются для изменения чисел на основе входных данных.

• В процессе обучения параметры меняются таким образом, чтобы выход соответствовал ожидаемому результату.

Настройка параметров нейросети

Обзор раздела: В этом разделе говорится о том, как настраивать параметры нейросети для более эффективной работы.

Настройка параметров

• Параметры нейросети могут быть настроены для более правильной работы.

• Есть несколько степеней свободы, которые позволяют менять поведение сети и двигать ее в нужном направлении.

• Параметры могут быть добавлены в блоки нейросети, чтобы увеличить количество нейронов и улучшить решение задач.

• Блоки параметров могут быть разного вида и комбинироваться по-разному для достижения лучших результатов.

Использование нескольких небольших нейросетей

Обзор раздела: В этом разделе говорится о том, как использовать несколько маленьких нейросетей для решения задач.

Использование нескольких небольших нейросетей

• Можно использовать несколько отдельных, небольших моделей, каждая из которых может привнести свой вклад в результат.

• Это направление известно как "мини-версии" и используется, например, для генерации текстов.

• Модели могут быть разного типа и комбинироваться по-разному для достижения лучших результатов.

Как правильно использовать нейросети

Обзор раздела: В этом разделе говорится о том, как правильно использовать нейросети для получения более правильных ответов.

Использование нейросетей

• Результат работы нейросети зависит от данных, на которых она обучалась, а также от ее архитектуры и математических штук.

• Понимание внутреннего устройства нейросети позволяет задавать запросы к сети более эффективно или обучать ее по-другому.

• Нужно понимать, что внутри нейросеть устроена сложным образом и имеет миллиарды параметров.

Размерность моделей и процесс обучения

Обзор раздела: В этом разделе рассказывается о том, как размерность модели и датасета влияют на процесс обучения нейросети.

Размерность модели и датасета

• Чем больше модель и на большем датасете она обучалась, тем более она умна и смышленая.

• Есть оптимальное соотношение размера датасета и размера модели.

• Нейросеть проходит несколько этапов обучения. Первый этап - GPT, когда нейросеть учится повторять тексты.

• GPT3 - это просто генератор слов. Другой этап - когда мы направляем генератор слов на то, чтобы более хорошо решать какую-то задачу.

• Есть два дополнительных этапа: тюнинг (обучение помогать генерировать инструкции полезные людям), и тренировка на конкретной задаче.

Как использовать нейросети в коммерческих целях

Обзор раздела: В этом разделе рассказывается о том, какие нейросети могут быть использованы в коммерческих целях и почему не все модели могут быть использованы.

Использование нейросетей в коммерческих целях

• Не все модели могут быть использованы в коммерческих целях.

• Это может быть из-за того, что компания не хочет разрешать использование своих моделей в коммерческих целях или из-за того, что данные на которых они обучались не доступны для использования.