├── README.md ├── images └── dls.png ├── week_01_intro_to_nlp_embeddings ├── Homework │ └── hw_1_simple_embeddings.ipynb ├── Lecture │ └── Word Embeddings.pptx.pdf ├── Practice │ └── text_preprocessing_and_classification.ipynb └── Readme.md ├── week_02_RNN ├── Homework │ └── hw_2_text_classification.ipynb ├── Lecture │ └── RNN.pdf ├── Practice │ └── neural_text_classification.ipynb └── Readme.md ├── week_03_language_modeling ├── Homework │ └── hw_language_modelling.ipynb ├── Lecture │ ├── LM Лекция 1. Постановка задачи и метрики качества.pdf │ ├── LM Лекция 1. Постановка задачи и метрики качества.pptx │ ├── LM Лекция 2. N-граммные языковые модели.pdf │ ├── LM Лекция 2. N-граммные языковые модели.pptx │ ├── LM Лекция 3. Решение LM с помощью RNN.pptx │ ├── LM Лекция 3. Решение LM с помощью RNN.pptx.pdf │ ├── LM Лекция 4. Методы генерации текста.pptx │ └── LM Лекция 4. Методы генерации текста.pptx.pdf ├── Practice │ ├── char-level_training.ipynb │ └── Скринкаст 1.json └── Readme.md ├── week_04_translation_attention_mechanism ├── Lecture │ ├── Machine Translation, Seq2Seq.pdf │ └── Machine Translation, Seq2Seq.pptx ├── Practice │ └── seminar_machine_translation.ipynb └── Readme.md ├── week_05_transformer ├── Lecture │ ├── Transformer architecture.pdf │ └── Transformer architecture.pptx ├── Practice │ └── Seminar_Attention_and_Transformers.ipynb └── Readme.md ├── week_06_transfer_learning ├── Homework │ ├── [homework]Attention_and_transformers.ipynb │ ├── data_problems.xlsx │ └── data_problems_translated.xlsx ├── Lecture │ ├── Лекция 1. Введение в Transfer Learning. Self-supervised learning .pdf │ └── Лекция 1. Введение в Transfer Learning. Self-supervised learning .pptx ├── Practice │ └── bart_finetuning_practice.ipynb └── Readme.md ├── week_07_gpt_models ├── Lecture │ └── [DLS-2] Count GPTs -1, 1, 2, 3.pdf └── Readme.md ├── week_08_chatgpt_instruction_tuning_RAG ├── Homework │ └── hf_rag.ipynb ├── Lecture │ └── [DLS-2] Count GPTs -1, 1, 2, 3.pdf ├── Practice │ └── seminar_rag.ipynb └── Readme.md ├── week_09_interpretibiblity ├── Lecture │ ├── dls mechinterp.pdf │ └── dls mechinterp.pptx └── Readme.md └── week_10_generated_text_detection ├── Homework └── hf_rag.ipynb ├── Lecture ├── Artificial text detection for Deep Learning School.pptx └── Artificial text detection for Deep Learning School.pptx.pdf ├── Practice └── Copy_of_ATD_seminar_COLING.ipynb └── Readme.md /README.md: -------------------------------------------------------------------------------- 1 | # part_2_nlp 2 | 3 |
4 | 5 |
6 | 7 | 8 | Материалы второго курса Deep Learning School (DLS) (NLP) 9 | 10 | - [**Наш сайт**](https://dls.samcs.ru/) 11 | 12 | - [**Наш телеграм канал**](t.me/deep_learning_school_news) 13 | 14 | ## Основные материалы 15 | 16 | 1. [Введение в NLP. Эмбеддинги слов.](./week_01_intro_to_nlp_embeddings/Readme.md) 17 | 18 | 2. [Рекуррентные нейронные сети (RNN)](./week_02_RNN/Readme.md) 19 | 20 | 3. [Языковое моделирование.](./week_03_language_modeling/Readme.md) 21 | 22 | 4. [Машинный перевод и механизм Attention](./week_04_translation_attention_mechanism/Readme.md) 23 | 24 | 5. [Архитектура Transformer](./week_05_transformer/Readme.md) 25 | 26 | 6. [Transfer learning для языковых моделей](./week_06_transfer_learning/README.md) 27 | 28 | 7. [Знакомство с GPT](./week_07_gpt_models/README.md) 29 | 30 | 8. [GPT-based модели и RAG](./week_08_chatgpt_instruction_tuning_RAG/README.md) 31 | 32 | 9. [Интерпретируемость трансформеров](./week_09_interpretibiblity/README.md) 33 | 34 | 10. [Детекция сгенерированных текстов](./week_10_generated_text_detection/README.md) 35 | 36 | -------------------------------------------------------------------------------- /images/dls.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/images/dls.png -------------------------------------------------------------------------------- /week_01_intro_to_nlp_embeddings/Lecture/Word Embeddings.pptx.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_01_intro_to_nlp_embeddings/Lecture/Word Embeddings.pptx.pdf -------------------------------------------------------------------------------- /week_01_intro_to_nlp_embeddings/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 1 2 | 3 |
4 | 5 |
6 | 7 | ### Введение в NLP. Эмбеддинги слов. 8 | 9 | В этом модуле мы поговорим об основах Natural Language Processing и эмбеддингах слов. 10 | 11 | 12 | ### Лекция 13 | 14 | В этой лекции вы познакомитесь с задачами обработки естественного языка, изучите векторные представления слов и эмбеддинги слов, а также фраз и предложений. 15 | 16 | Занятие ведёт Татьяна Гайнцева. 17 | 18 | 19 | ### Семинар 20 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_01_intro_to_nlp_embeddings/Practice/text_preprocessing_and_classification.ipynb) 21 | 22 | 23 | В этом видео вы познакомитесь с базовыми методами обработки текста. 24 | Занятие ведёт Антон Астахов 25 | 26 | ### Домашнее задание 27 | 28 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_01_intro_to_nlp_embeddings/Homework/hw_1_simple_embeddings.ipynb) 29 | 30 | В этом задании вам предстоит познакомиться с задачей ранжирования. Вам предстоит решить задачу ранжирования вопросов с помощью эмбеддингов. 31 | 32 | 33 | -------------------------------------------------------------------------------- /week_02_RNN/Lecture/RNN.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_02_RNN/Lecture/RNN.pdf -------------------------------------------------------------------------------- /week_02_RNN/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 2 2 | 3 |
4 | 5 |
6 | 7 | ### Рекуррентные нейронные сети (RNN). 8 | 9 | В этом модуле вы узнаете, что такое рекуррентные нейронные сети, а также научитесь применять их для решения задачи классификации текстов. 10 | 11 | 12 | ### Лекция 13 | 14 | В этом модуле мы поговорим о рекурентных нейронных сетях (RNN), а также об их улучшениях, таких как Bidirectional RNN, GRU и LSTM 15 | 16 | Занятие ведёт Татьяна Гайнцева. 17 | 18 | 19 | ### Семинар 20 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_02_RNN/Practice/neural_text_classification.ipynb) 21 | 22 | 23 | В этом видео мы решим задачу бинарной классификации с помощью рекуррентной нейронной сети. Узнаем, как использовать стандартные модули из библиотеки torch и сравним два подхода к агрегации эмбеддингов: max pooling и простое усреднение. 24 | 25 | Занятие ведет Антон Земеров. 26 | 27 | ### Домашнее задание 28 | 29 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_02_RNN/Homework/hw_2_text_classification.ipynb) 30 | 31 | В этом домашнем задании вам предстоит решить задачу классификации текстов новостей по темам. 32 | 33 | -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pdf -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pptx -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pdf -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pptx -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx.pdf -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx -------------------------------------------------------------------------------- /week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx.pdf -------------------------------------------------------------------------------- /week_03_language_modeling/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 3 2 | 3 |
4 | 5 |
6 | 7 | ### Языковое моделирование. 8 | 9 | В этом модуле вы изучите задачу языкового моделирования, классические и нейросетевые методы её решения, Вы познакомитесь с метриками языкового моделирования и методами генерации, а также обучите свою языковую модель. 10 | 11 | 12 | ### Лекция 13 | 14 | В этом видео вы изучите постановку задачи языкового моделирования, а также узнаете, как измерять качество языковой модели. 15 | 16 | Занятие ведёт Антон Земеров. 17 | 18 | 19 | ### Семинар 20 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_03_language_modeling/Practice/char-level_training.ipynb) 21 | 22 | 23 | В этом видео вы обучите языковую модель для генерации текста. 24 | 25 | Занятие ведёт Антон Земеров 26 | 27 | ### Домашнее задание 28 | 29 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_03_language_modeling/Homework/hw_language_modelling.ipynb) 30 | 31 | В этом задании Вам предстоит обучить языковую модель с помощью рекуррентной нейронной сети. В отличие от семинарского занятия, Вам необходимо будет работать с отдельными словами, а не буквами. 32 | 33 | 34 | -------------------------------------------------------------------------------- /week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pdf -------------------------------------------------------------------------------- /week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pptx -------------------------------------------------------------------------------- /week_04_translation_attention_mechanism/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 4 2 | 3 |
4 | 5 |
6 | 7 | ### Машинный перевод и механизм Attention. 8 | 9 | В этом модуле мы обсудим задачу машинного перевода и архитектурой для ее решения. Недостатки полученной модели приведут нас к идее механизма Attention. 10 | 11 | 12 | ### Лекция 13 | 14 | В этом видео мы познакомимся с задачей машинного перевода, и как она решается с помощью RNN-сетей. 15 | 16 | Занятие ведёт Татьяна Гайнцева. 17 | 18 | 19 | ### Семинар 20 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_04_translation_attention_mechanism/Practice/seminar_machine_translation.ipynb) 21 | 22 | 23 | В этом семинаре вы на практике рассмотрите задачу машинного обучения. 24 | 25 | Занятие ведёт Игорь Щукин 26 | 27 | 28 | 29 | 30 | -------------------------------------------------------------------------------- /week_05_transformer/Lecture/Transformer architecture.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_05_transformer/Lecture/Transformer architecture.pdf -------------------------------------------------------------------------------- /week_05_transformer/Lecture/Transformer architecture.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_05_transformer/Lecture/Transformer architecture.pptx -------------------------------------------------------------------------------- /week_05_transformer/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 5 2 | 3 |
4 | 5 |
6 | 7 | ### Архитектура Transformer. 8 | 9 | В этом модуле мы изучим устройство модели Transformer — архитектуре, полностью основанной на attention, которая совершила революцию в области NLP и стала классической. 10 | 11 | 12 | ### Лекция 13 | 14 | В этой лекции вы подробно рассмотрите две основные составляющие трансформера -- encoder и decoder. 15 | 16 | Занятие ведёт Татьяна Гайнцева. 17 | 18 | 19 | ### Семинар 20 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_05_transformer/Practice/Seminar_Attention_and_Transformers.ipynb) 21 | 22 | 23 | В этом видео мы рассмотрим слой self-attention и поговорим о реализации BERT. 24 | 25 | Занятие ведёт Игорь Щукин. 26 | 27 | 28 | 29 | -------------------------------------------------------------------------------- /week_06_transfer_learning/Homework/data_problems.xlsx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Homework/data_problems.xlsx -------------------------------------------------------------------------------- /week_06_transfer_learning/Homework/data_problems_translated.xlsx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Homework/data_problems_translated.xlsx -------------------------------------------------------------------------------- /week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pdf -------------------------------------------------------------------------------- /week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pptx -------------------------------------------------------------------------------- /week_06_transfer_learning/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 6 2 | 3 |
4 | 5 |
6 | 7 | ### Предобучение и дообучение языковых моделей. 8 | 9 | В этом модуле мы подробнее поговорим о современных методах предобучения языковых моделей, а также научимся файнтьюнить языковые модели для решения прикладных задач NLP 10 | 11 | 12 | ### Лекция 13 | 14 | В этом видео мы поговорим о Transfer Learning в задачах обработки естественного языка. 15 | 16 | Занятие ведёт Антон Земеров 17 | 18 | ### Семинар 19 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_06_transfer_learning/Practice/bart_finetuning_practice.ipynb) 20 | 21 | 22 | В семинаре мы решим задачу суммаризации текста с помощью дообучения seq2seq-модели BART. 23 | 24 | Занятие ведёт Антон Земеров 25 | 26 | ### Домашнее задание 27 | 28 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_06_transfer_learning/Homework/[homework]Attention_and_transformers.ipynb) 29 | 30 | В этом домашнем задании вам предстоит решить задачу классификации математических задач по темам. 31 | 32 | 33 | -------------------------------------------------------------------------------- /week_07_gpt_models/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_07_gpt_models/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf -------------------------------------------------------------------------------- /week_07_gpt_models/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 7 2 | 3 |
4 | 5 |
6 | 7 | ### Знакомство с GPT 8 | 9 | В этом модуле вы познакомитесь с устройством GPT-подобных моделей, рассмотрите основную архитектуру 10 | 11 | 12 | 13 | ### Лекция 14 | 15 | В этой лекции вы познакомитесь с GPT-архитектурой, откуда она появилась и как развивалась. 16 | 17 | Занятие ведёт Игорь Котенков. 18 | 19 | 20 | -------------------------------------------------------------------------------- /week_08_chatgpt_instruction_tuning_RAG/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_08_chatgpt_instruction_tuning_RAG/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf -------------------------------------------------------------------------------- /week_08_chatgpt_instruction_tuning_RAG/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 8 2 | 3 |
4 | 5 |
6 | 7 | ### Продолжаем знакомство с GPT. 8 | 9 | В этом модуле вы проследите историю развития GPT моделей, проследите историю развития от GPT-2 до GPT-3, а также познакомитесь с RAG. 10 | 11 | ### Лекция 12 | 13 | На занятии мы рассмотрим архитектурные изменения между поколениями, поговорим о данных для обучения GPT - 2 и изучим метрики для задачек языкового моделирования. В конце занятия притронемся к искусству промптинга. 14 | 15 | Занятие ведёт Игорь Котенков. 16 | 17 | 18 | ### Семинар 19 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_08_chatgpt_instruction_tuning_RAG/Practice/seminar_rag.ipynb) 20 | 21 | 22 | Семинар посвящён знакомству с RAG. На прошлом занятии вы уже познакомились с большими языковыми моделями. В этом уроке мы изучим техники, которые позволят давать GPT системам более релевантный и точный ответ. 23 | 24 | 25 | Занятие ведёт: Майя Котыга 26 | 27 | 28 | ### Домашнее задание 29 | 30 | В этом домашнем задании вам предстоит создать туристический RAG, провести EDA и проявить креатив! :) 31 | 32 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_08_chatgpt_instruction_tuning_RAG/Homework/hf_rag.ipynb) -------------------------------------------------------------------------------- /week_09_interpretibiblity/Lecture/dls mechinterp.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_09_interpretibiblity/Lecture/dls mechinterp.pdf -------------------------------------------------------------------------------- /week_09_interpretibiblity/Lecture/dls mechinterp.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_09_interpretibiblity/Lecture/dls mechinterp.pptx -------------------------------------------------------------------------------- /week_09_interpretibiblity/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 9 2 | 3 |
4 | 5 |
6 | 7 | ### Интерпретируемость трансформеров 8 | 9 | 10 | ### Лекция 11 | 12 | В этой лекции мы углубимся в область интерпретации трансформеров: познакомимся с SAE, поймем интуицию, стоящую за attention и узнаем что же такое circuit. 13 | 14 | Занятие ведёт Алексей Донцов. 15 | 16 | 17 | -------------------------------------------------------------------------------- /week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx -------------------------------------------------------------------------------- /week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx.pdf -------------------------------------------------------------------------------- /week_10_generated_text_detection/Readme.md: -------------------------------------------------------------------------------- 1 | ## Материалы модуля 10 2 | 3 |
4 | 5 |
6 | 7 | ### Продолжаем знакомство с GPT. 8 | 9 | В этом модуле в познакомитесь с задачей детекции сгенерированных текстов. 10 | 11 | ### Лекция 12 | 13 | На занятии мы рассмотрим архитектурные изменения между поколениями, поговорим о данных для обучения GPT - 2 и изучим метрики для задачек языкового моделирования. В конце занятия притронемся к искусству промптинга. 14 | 15 | Занятие ведёт Лаида Кушннарева. 16 | 17 | 18 | ### Семинар 19 | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_10_generated_text_detection/Practice/Copy_of_ATD_seminar_COLING.ipynb) 20 | 21 | 22 | 23 | 24 | Занятие ведёт: Татьяна Гайнцева 25 | 26 | 27 | ### Домашнее задание 28 | 29 | В этом домашнем задании вам предстоит поучаствовать в [кагл соревновании](https://www.kaggle.com/competitions/you-are-bot). 30 | --------------------------------------------------------------------------------