├── README.md
├── images
└── dls.png
├── week_01_intro_to_nlp_embeddings
├── Homework
│ └── hw_1_simple_embeddings.ipynb
├── Lecture
│ └── Word Embeddings.pptx.pdf
├── Practice
│ └── text_preprocessing_and_classification.ipynb
└── Readme.md
├── week_02_RNN
├── Homework
│ └── hw_2_text_classification.ipynb
├── Lecture
│ └── RNN.pdf
├── Practice
│ └── neural_text_classification.ipynb
└── Readme.md
├── week_03_language_modeling
├── Homework
│ └── hw_language_modelling.ipynb
├── Lecture
│ ├── LM Лекция 1. Постановка задачи и метрики качества.pdf
│ ├── LM Лекция 1. Постановка задачи и метрики качества.pptx
│ ├── LM Лекция 2. N-граммные языковые модели.pdf
│ ├── LM Лекция 2. N-граммные языковые модели.pptx
│ ├── LM Лекция 3. Решение LM с помощью RNN.pptx
│ ├── LM Лекция 3. Решение LM с помощью RNN.pptx.pdf
│ ├── LM Лекция 4. Методы генерации текста.pptx
│ └── LM Лекция 4. Методы генерации текста.pptx.pdf
├── Practice
│ ├── char-level_training.ipynb
│ └── Скринкаст 1.json
└── Readme.md
├── week_04_translation_attention_mechanism
├── Lecture
│ ├── Machine Translation, Seq2Seq.pdf
│ └── Machine Translation, Seq2Seq.pptx
├── Practice
│ └── seminar_machine_translation.ipynb
└── Readme.md
├── week_05_transformer
├── Lecture
│ ├── Transformer architecture.pdf
│ └── Transformer architecture.pptx
├── Practice
│ └── Seminar_Attention_and_Transformers.ipynb
└── Readme.md
├── week_06_transfer_learning
├── Homework
│ ├── [homework]Attention_and_transformers.ipynb
│ ├── data_problems.xlsx
│ └── data_problems_translated.xlsx
├── Lecture
│ ├── Лекция 1. Введение в Transfer Learning. Self-supervised learning .pdf
│ └── Лекция 1. Введение в Transfer Learning. Self-supervised learning .pptx
├── Practice
│ └── bart_finetuning_practice.ipynb
└── Readme.md
├── week_07_gpt_models
├── Lecture
│ └── [DLS-2] Count GPTs -1, 1, 2, 3.pdf
└── Readme.md
├── week_08_chatgpt_instruction_tuning_RAG
├── Homework
│ └── hf_rag.ipynb
├── Lecture
│ └── [DLS-2] Count GPTs -1, 1, 2, 3.pdf
├── Practice
│ └── seminar_rag.ipynb
└── Readme.md
├── week_09_interpretibiblity
├── Lecture
│ ├── dls mechinterp.pdf
│ └── dls mechinterp.pptx
└── Readme.md
└── week_10_generated_text_detection
├── Homework
└── hf_rag.ipynb
├── Lecture
├── Artificial text detection for Deep Learning School.pptx
└── Artificial text detection for Deep Learning School.pptx.pdf
├── Practice
└── Copy_of_ATD_seminar_COLING.ipynb
└── Readme.md
/README.md:
--------------------------------------------------------------------------------
1 | # part_2_nlp
2 |
3 |
4 |

5 |
6 |
7 |
8 | Материалы второго курса Deep Learning School (DLS) (NLP)
9 |
10 | - [**Наш сайт**](https://dls.samcs.ru/)
11 |
12 | - [**Наш телеграм канал**](t.me/deep_learning_school_news)
13 |
14 | ## Основные материалы
15 |
16 | 1. [Введение в NLP. Эмбеддинги слов.](./week_01_intro_to_nlp_embeddings/Readme.md)
17 |
18 | 2. [Рекуррентные нейронные сети (RNN)](./week_02_RNN/Readme.md)
19 |
20 | 3. [Языковое моделирование.](./week_03_language_modeling/Readme.md)
21 |
22 | 4. [Машинный перевод и механизм Attention](./week_04_translation_attention_mechanism/Readme.md)
23 |
24 | 5. [Архитектура Transformer](./week_05_transformer/Readme.md)
25 |
26 | 6. [Transfer learning для языковых моделей](./week_06_transfer_learning/README.md)
27 |
28 | 7. [Знакомство с GPT](./week_07_gpt_models/README.md)
29 |
30 | 8. [GPT-based модели и RAG](./week_08_chatgpt_instruction_tuning_RAG/README.md)
31 |
32 | 9. [Интерпретируемость трансформеров](./week_09_interpretibiblity/README.md)
33 |
34 | 10. [Детекция сгенерированных текстов](./week_10_generated_text_detection/README.md)
35 |
36 |
--------------------------------------------------------------------------------
/images/dls.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/images/dls.png
--------------------------------------------------------------------------------
/week_01_intro_to_nlp_embeddings/Lecture/Word Embeddings.pptx.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_01_intro_to_nlp_embeddings/Lecture/Word Embeddings.pptx.pdf
--------------------------------------------------------------------------------
/week_01_intro_to_nlp_embeddings/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 1
2 |
3 |
4 |

5 |
6 |
7 | ### Введение в NLP. Эмбеддинги слов.
8 |
9 | В этом модуле мы поговорим об основах Natural Language Processing и эмбеддингах слов.
10 |
11 |
12 | ### Лекция
13 |
14 | В этой лекции вы познакомитесь с задачами обработки естественного языка, изучите векторные представления слов и эмбеддинги слов, а также фраз и предложений.
15 |
16 | Занятие ведёт Татьяна Гайнцева.
17 |
18 |
19 | ### Семинар
20 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_01_intro_to_nlp_embeddings/Practice/text_preprocessing_and_classification.ipynb)
21 |
22 |
23 | В этом видео вы познакомитесь с базовыми методами обработки текста.
24 | Занятие ведёт Антон Астахов
25 |
26 | ### Домашнее задание
27 |
28 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_01_intro_to_nlp_embeddings/Homework/hw_1_simple_embeddings.ipynb)
29 |
30 | В этом задании вам предстоит познакомиться с задачей ранжирования. Вам предстоит решить задачу ранжирования вопросов с помощью эмбеддингов.
31 |
32 |
33 |
--------------------------------------------------------------------------------
/week_02_RNN/Lecture/RNN.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_02_RNN/Lecture/RNN.pdf
--------------------------------------------------------------------------------
/week_02_RNN/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 2
2 |
3 |
4 |

5 |
6 |
7 | ### Рекуррентные нейронные сети (RNN).
8 |
9 | В этом модуле вы узнаете, что такое рекуррентные нейронные сети, а также научитесь применять их для решения задачи классификации текстов.
10 |
11 |
12 | ### Лекция
13 |
14 | В этом модуле мы поговорим о рекурентных нейронных сетях (RNN), а также об их улучшениях, таких как Bidirectional RNN, GRU и LSTM
15 |
16 | Занятие ведёт Татьяна Гайнцева.
17 |
18 |
19 | ### Семинар
20 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_02_RNN/Practice/neural_text_classification.ipynb)
21 |
22 |
23 | В этом видео мы решим задачу бинарной классификации с помощью рекуррентной нейронной сети. Узнаем, как использовать стандартные модули из библиотеки torch и сравним два подхода к агрегации эмбеддингов: max pooling и простое усреднение.
24 |
25 | Занятие ведет Антон Земеров.
26 |
27 | ### Домашнее задание
28 |
29 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_02_RNN/Homework/hw_2_text_classification.ipynb)
30 |
31 | В этом домашнем задании вам предстоит решить задачу классификации текстов новостей по темам.
32 |
33 |
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pdf
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 1. Постановка задачи и метрики качества.pptx
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pdf
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 2. N-граммные языковые модели.pptx
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 3. Решение LM с помощью RNN.pptx.pdf
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx
--------------------------------------------------------------------------------
/week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_03_language_modeling/Lecture/LM Лекция 4. Методы генерации текста.pptx.pdf
--------------------------------------------------------------------------------
/week_03_language_modeling/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 3
2 |
3 |
4 |

5 |
6 |
7 | ### Языковое моделирование.
8 |
9 | В этом модуле вы изучите задачу языкового моделирования, классические и нейросетевые методы её решения, Вы познакомитесь с метриками языкового моделирования и методами генерации, а также обучите свою языковую модель.
10 |
11 |
12 | ### Лекция
13 |
14 | В этом видео вы изучите постановку задачи языкового моделирования, а также узнаете, как измерять качество языковой модели.
15 |
16 | Занятие ведёт Антон Земеров.
17 |
18 |
19 | ### Семинар
20 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_03_language_modeling/Practice/char-level_training.ipynb)
21 |
22 |
23 | В этом видео вы обучите языковую модель для генерации текста.
24 |
25 | Занятие ведёт Антон Земеров
26 |
27 | ### Домашнее задание
28 |
29 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_03_language_modeling/Homework/hw_language_modelling.ipynb)
30 |
31 | В этом задании Вам предстоит обучить языковую модель с помощью рекуррентной нейронной сети. В отличие от семинарского занятия, Вам необходимо будет работать с отдельными словами, а не буквами.
32 |
33 |
34 |
--------------------------------------------------------------------------------
/week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pdf
--------------------------------------------------------------------------------
/week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_04_translation_attention_mechanism/Lecture/Machine Translation, Seq2Seq.pptx
--------------------------------------------------------------------------------
/week_04_translation_attention_mechanism/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 4
2 |
3 |
4 |

5 |
6 |
7 | ### Машинный перевод и механизм Attention.
8 |
9 | В этом модуле мы обсудим задачу машинного перевода и архитектурой для ее решения. Недостатки полученной модели приведут нас к идее механизма Attention.
10 |
11 |
12 | ### Лекция
13 |
14 | В этом видео мы познакомимся с задачей машинного перевода, и как она решается с помощью RNN-сетей.
15 |
16 | Занятие ведёт Татьяна Гайнцева.
17 |
18 |
19 | ### Семинар
20 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_04_translation_attention_mechanism/Practice/seminar_machine_translation.ipynb)
21 |
22 |
23 | В этом семинаре вы на практике рассмотрите задачу машинного обучения.
24 |
25 | Занятие ведёт Игорь Щукин
26 |
27 |
28 |
29 |
30 |
--------------------------------------------------------------------------------
/week_05_transformer/Lecture/Transformer architecture.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_05_transformer/Lecture/Transformer architecture.pdf
--------------------------------------------------------------------------------
/week_05_transformer/Lecture/Transformer architecture.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_05_transformer/Lecture/Transformer architecture.pptx
--------------------------------------------------------------------------------
/week_05_transformer/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 5
2 |
3 |
4 |

5 |
6 |
7 | ### Архитектура Transformer.
8 |
9 | В этом модуле мы изучим устройство модели Transformer — архитектуре, полностью основанной на attention, которая совершила революцию в области NLP и стала классической.
10 |
11 |
12 | ### Лекция
13 |
14 | В этой лекции вы подробно рассмотрите две основные составляющие трансформера -- encoder и decoder.
15 |
16 | Занятие ведёт Татьяна Гайнцева.
17 |
18 |
19 | ### Семинар
20 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_05_transformer/Practice/Seminar_Attention_and_Transformers.ipynb)
21 |
22 |
23 | В этом видео мы рассмотрим слой self-attention и поговорим о реализации BERT.
24 |
25 | Занятие ведёт Игорь Щукин.
26 |
27 |
28 |
29 |
--------------------------------------------------------------------------------
/week_06_transfer_learning/Homework/data_problems.xlsx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Homework/data_problems.xlsx
--------------------------------------------------------------------------------
/week_06_transfer_learning/Homework/data_problems_translated.xlsx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Homework/data_problems_translated.xlsx
--------------------------------------------------------------------------------
/week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pdf
--------------------------------------------------------------------------------
/week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_06_transfer_learning/Lecture/Лекция 1. Введение в Transfer Learning. Self-supervised learning .pptx
--------------------------------------------------------------------------------
/week_06_transfer_learning/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 6
2 |
3 |
4 |

5 |
6 |
7 | ### Предобучение и дообучение языковых моделей.
8 |
9 | В этом модуле мы подробнее поговорим о современных методах предобучения языковых моделей, а также научимся файнтьюнить языковые модели для решения прикладных задач NLP
10 |
11 |
12 | ### Лекция
13 |
14 | В этом видео мы поговорим о Transfer Learning в задачах обработки естественного языка.
15 |
16 | Занятие ведёт Антон Земеров
17 |
18 | ### Семинар
19 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_06_transfer_learning/Practice/bart_finetuning_practice.ipynb)
20 |
21 |
22 | В семинаре мы решим задачу суммаризации текста с помощью дообучения seq2seq-модели BART.
23 |
24 | Занятие ведёт Антон Земеров
25 |
26 | ### Домашнее задание
27 |
28 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_06_transfer_learning/Homework/[homework]Attention_and_transformers.ipynb)
29 |
30 | В этом домашнем задании вам предстоит решить задачу классификации математических задач по темам.
31 |
32 |
33 |
--------------------------------------------------------------------------------
/week_07_gpt_models/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_07_gpt_models/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf
--------------------------------------------------------------------------------
/week_07_gpt_models/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 7
2 |
3 |
4 |

5 |
6 |
7 | ### Знакомство с GPT
8 |
9 | В этом модуле вы познакомитесь с устройством GPT-подобных моделей, рассмотрите основную архитектуру
10 |
11 |
12 |
13 | ### Лекция
14 |
15 | В этой лекции вы познакомитесь с GPT-архитектурой, откуда она появилась и как развивалась.
16 |
17 | Занятие ведёт Игорь Котенков.
18 |
19 |
20 |
--------------------------------------------------------------------------------
/week_08_chatgpt_instruction_tuning_RAG/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_08_chatgpt_instruction_tuning_RAG/Lecture/[DLS-2] Count GPTs -1, 1, 2, 3.pdf
--------------------------------------------------------------------------------
/week_08_chatgpt_instruction_tuning_RAG/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 8
2 |
3 |
4 |

5 |
6 |
7 | ### Продолжаем знакомство с GPT.
8 |
9 | В этом модуле вы проследите историю развития GPT моделей, проследите историю развития от GPT-2 до GPT-3, а также познакомитесь с RAG.
10 |
11 | ### Лекция
12 |
13 | На занятии мы рассмотрим архитектурные изменения между поколениями, поговорим о данных для обучения GPT - 2 и изучим метрики для задачек языкового моделирования. В конце занятия притронемся к искусству промптинга.
14 |
15 | Занятие ведёт Игорь Котенков.
16 |
17 |
18 | ### Семинар
19 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_08_chatgpt_instruction_tuning_RAG/Practice/seminar_rag.ipynb)
20 |
21 |
22 | Семинар посвящён знакомству с RAG. На прошлом занятии вы уже познакомились с большими языковыми моделями. В этом уроке мы изучим техники, которые позволят давать GPT системам более релевантный и точный ответ.
23 |
24 |
25 | Занятие ведёт: Майя Котыга
26 |
27 |
28 | ### Домашнее задание
29 |
30 | В этом домашнем задании вам предстоит создать туристический RAG, провести EDA и проявить креатив! :)
31 |
32 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_08_chatgpt_instruction_tuning_RAG/Homework/hf_rag.ipynb)
--------------------------------------------------------------------------------
/week_09_interpretibiblity/Lecture/dls mechinterp.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_09_interpretibiblity/Lecture/dls mechinterp.pdf
--------------------------------------------------------------------------------
/week_09_interpretibiblity/Lecture/dls mechinterp.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_09_interpretibiblity/Lecture/dls mechinterp.pptx
--------------------------------------------------------------------------------
/week_09_interpretibiblity/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 9
2 |
3 |
4 |

5 |
6 |
7 | ### Интерпретируемость трансформеров
8 |
9 |
10 | ### Лекция
11 |
12 | В этой лекции мы углубимся в область интерпретации трансформеров: познакомимся с SAE, поймем интуицию, стоящую за attention и узнаем что же такое circuit.
13 |
14 | Занятие ведёт Алексей Донцов.
15 |
16 |
17 |
--------------------------------------------------------------------------------
/week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx
--------------------------------------------------------------------------------
/week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx.pdf:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/DeepLearningSchool/part_2_nlp/a5e3055af4bdad810da926c8ec93c25bdaa5a6dc/week_10_generated_text_detection/Lecture/Artificial text detection for Deep Learning School.pptx.pdf
--------------------------------------------------------------------------------
/week_10_generated_text_detection/Readme.md:
--------------------------------------------------------------------------------
1 | ## Материалы модуля 10
2 |
3 |
4 |

5 |
6 |
7 | ### Продолжаем знакомство с GPT.
8 |
9 | В этом модуле в познакомитесь с задачей детекции сгенерированных текстов.
10 |
11 | ### Лекция
12 |
13 | На занятии мы рассмотрим архитектурные изменения между поколениями, поговорим о данных для обучения GPT - 2 и изучим метрики для задачек языкового моделирования. В конце занятия притронемся к искусству промптинга.
14 |
15 | Занятие ведёт Лаида Кушннарева.
16 |
17 |
18 | ### Семинар
19 | [](https://colab.research.google.com/github/DeepLearningSchool/part_2_nlp/blob/main/week_10_generated_text_detection/Practice/Copy_of_ATD_seminar_COLING.ipynb)
20 |
21 |
22 |
23 |
24 | Занятие ведёт: Татьяна Гайнцева
25 |
26 |
27 | ### Домашнее задание
28 |
29 | В этом домашнем задании вам предстоит поучаствовать в [кагл соревновании](https://www.kaggle.com/competitions/you-are-bot).
30 |
--------------------------------------------------------------------------------