В текущем году большое обсуждение вызвало появление модели ChatGPT и ее возможностей по ведению диалогов, ответов на различные вопросы.

ChatGPT — это представитель разнообразной группы так называемых больших языковых моделей, которые обучаются на больших объемах текстов. Большие языковые модели основаны на одной и той же нейросетевой архитектуре трансформер. Различия между моделями связаны с различными подходами к обучению на неразмеченных текстах, например, предсказание маскированных слов или предсказание следующих предложений.

В курсе будут рассмотрены основы языкового моделирования, подходы к формированию векторных представлений слов (эмбеддингов), компоненты архитектуры трансформер, различные способы обучения больших языковых моделей, применение больших языковых моделей в различных задачах автоматической обработки текстов, этапы обучения модели ChatGPT.

Требования к участникам:

знание языка Python, ноутбук с собой.