├── scoring.md ├── README.md └── problem_list.md /scoring.md: -------------------------------------------------------------------------------- 1 | # Consultations 2 | * The workflow goes around each week, namely, week 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11. 3 | * The iterative consultations and delivery of results are highly welcome! Start during the weekends. 4 | * Deadline for the last version is Wednesday 6:00 am. The review goes on Wednesday's working day. 5 | * Each symbol A gives +1 according the system (А-, А, А+). No symbol gives A0. 6 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # My first scientific paper, 2025 2 | 3 | 4 | [Main page course](https://m1p.org) 5 | 6 | [Zoom](https://m1p.org/go_zoom) 7 | 8 | [Telegram chat](https://t.me/+Z7desKWCT0UwOTcy) 9 | 10 | 11 | [Problem list](problem_list.md) 12 | 13 | 14 | # Results 15 | | Author | Problem | Links | Supervisor | Scores | Reviewer (+link to review)| 16 | | ----- | -----|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| ------------ | ----- | ----- | 17 | | **EXAMPLE** [Пилькевич Антон](https://github.com/anton39reg) | Existence conditions for hidden feedback loops in recommender systems | [GitHub](https://github.com/Intelligent-Systems-Phystech/2021-Project-74), [LinkReview](https://docs.google.com/document/d/1OLCqkmArjqFn8M9pB5C_kLoYOv0l1w9RjHy0y0upPew/edit?usp=sharing), [Paper](https://github.com/Intelligent-Systems-Phystech/2021-Project-74/raw/main/docs/Pilkevich2021HiddenFeedbackLoops.pdf), [Slides](https://github.com/Intelligent-Systems-Phystech/2021-Project-74/raw/main/docs/Pilkevich2021Presentation/Pilkevich2021Presentation.pdf), [Video](https://www.youtube.com/watch?v=xW_lXGn1WHs&t=24s), [Video](https://youtu.be/9ELhIqjFSE8) | [Хританков](https://intelligent-systems-phystech.github.io/ru/people/khritankov_as/index.html) | AIL[B]P-X+R-B-H1CV[O]T-EM.H1WJSF | Горпинич Мария, [review](https://github.com/Intelligent-Systems-Phystech/MetaOptDistillation/blob/b00295c66c232d35bc7b7cf9d6817ff5a7cabcde/docs/Pilkevich2021HiddenFeedbackLoops_review.pdf) 18 | | [Казачков Даниил](https://github.com/wolkendolf) | BoLID: Body Lightning ID Diffusion | [GitHub](https://github.com/intsystems/2025-project-DiffModels), [LinkReview](https://github.com/intsystems/2025-project-DiffModels/blob/main/linkreview.md), [Paper](https://github.com/intsystems/2025-project-DiffModels/blob/main/docs/2025genavatars_main_rus.pdf), [Slides](http://github.com/intsystems/2025-project-DiffModels/blob/main/docs/middle_talk.pdf)| [Филатов](https://scholar.google.com/citations?user=xRNTrdcAAAAJ) | AL[B]IPXBRCV[O]TED[M]WJ0S[F] | Герман Анастасия [review](https://github.com/AnastasiaGerman01/2025-Project-172/blob/main/review.pdf) | 19 | | [Кравацкий Алексей](https://github.com/alexlegeartis/) | Sign SGD + Heavy Tails + DP | [GitHub](https://github.com/intsystems/Sign-SGD-and-Differential-Privacy), [LinkReview](https://github.com/intsystems/Sign-SGD-and-Differential-Privacy/blob/main/link_review.md), [Paper](https://github.com/intsystems/Sign-SGD-and-Differential-Privacy/blob/main/article/sign-sgd-dp.pdf), [Slides](https://github.com/intsystems/Sign-SGD-and-Differential-Privacy/blob/main/slides/renyi-dp-slides.pdf) | [Савелий Чежегов](https://t.me/Savochak) | AL[B]IPXBRCV[O]TED[M]WJ0S[F] | Иконников Марк [review](https://docs.google.com/document/d/1dlH7jkbDIw9qnl5uWtWCJib09nn9RihWeTvNcCho6d8/edit?usp=sharing)| 20 | | [Герман Анастасия](https://github.com/AnastasiaGerman01) | Approximation fMRI data from the audio time series | [GitHub](https://github.com/intsystems/2025-Project-172), [LinkReview](https://github.com/intsystems/2025-Project-172/blob/main/paper/link_review.md), [Paper](https://github.com/AnastasiaGerman01/2025-Project-172/blob/main/paper/Visual_stimuli_reconstruction_from_simultaneous_fMRI_EEG_signals.pdf), [Slides](https://github.com/AnastasiaGerman01/2025-Project-172/blob/main/presentations/Отчёт%20по%20НИР.pdf) | [Даниил Дорин](https://github.com/DorinDaniil) | AL[B]IPXBRCV[O]TED[M]WJS[F] | Казачков Даниил [Review](https://drive.google.com/file/d/1kf79-X5xMpsDqU7hw6Foq4iCUpqRFT7y/view?usp=sharing) | 21 | | [Уденеев Александр](https://github.com/Demoren1) | Surrogate assisted diversity estimation in NES | [GitHub](https://github.com/intsystems/predicator-function-for-neural-networks), [LinkReview](https://github.com/intsystems/predicator-function-for-neural-networks/blob/master/linkreview.md), [Paper](https://github.com/intsystems/predicator-function-for-neural-networks/blob/master/Udeneev2025Surrogate.pdf), [Slides](https://github.com/intsystems/predicator-function-for-neural-networks/tree/master/slides) | Бабкин Пётр | AL[B]IPXBRCV[O]TED[M]WJS[F] | Петров Егор, [review](https://docs.google.com/document/d/1mQKJNwk0Zn0ILLnG4LABVGcm6vGE-B-E64NfX8Cd2cc/edit?tab=t.0) | 22 | | [Черноусов Данила](https://github.com/Chernousovdv) | Hybrid Memory System for Personalized AI Agent Responses Using Knowledge Graphs | [GitHub](https://github.com/Chernousovdv/Personalized-AI-Agent), [LinkReview](https://docs.google.com/document/d/18k7C9aE05DtHnvF8S5Bwu_fdSgT4qR_0DHrFAU4l1Q0/edit?tab=t.0), [Paper](https://github.com/Chernousovdv/LLM-Consistency/blob/master/paper/LLM%20consistency.pdf), [Slides](https://github.com/Chernousovdv/LLM-Consistency/blob/master/slides/LLM%20Consistency.pdf) | Иван Новиков | AL[B]IPXBRCV[O]TED[M]WJS[F] | Евсеев Григорий [Review](https://docs.google.com/document/d/1bNBPFeUMFPyq1m42J4LLcoWb5AbUxBNvpNnRRkUqqrc/edit?usp=sharing) | 23 | | [Шестаков Владимир](https://github.com/HrpperCroFT) | Бандиты для Query Selection | [GitHub](https://github.com/intsystems/2024-Project-QueryOptimizationBandits), [LinkReview](https://github.com/intsystems/2024-Project-QueryOptimizationBandits/blob/main/linkreview.md), [Paper](https://github.com/intsystems/2024-Project-QueryOptimizationBandits/blob/main/docs/QueryOptimizationBandits.pdf), [Slides](https://github.com/intsystems/2024-Project-QueryOptimizationBandits/blob/main/slides/Slides.pdf) | [Ильгам Латыпов](https://github.com/xxamxam) | AL0[B]IPX0BR0CV[O]T0ED[M]W0J0S | Ирина Забарянская(куратор) [review](https://drive.google.com/file/d/11lW1u4s7iz78iMf1LfHkYypJYNEt6cb1/view?usp=sharing) | 24 | | [Иконников Марк](https://github.com/makemebright) | Sign operator fot $(L_0, L_1)$ smooth optimization | [GitHub](https://github.com/intsystems/Sign-for-L0L1-smooth-opt), [LinkReview](https://github.com/intsystems/Sign-for-L0L1-smooth-opt/blob/link_review/link_review.md), [Paper](https://github.com/intsystems/Sign-for-L0L1-smooth-opt/blob/master/paper/Smooth_optimization_final.pdf), [Slides](https://github.com/intsystems/Sign-for-L0L1-smooth-opt/blob/master/paper/final_presentation.pdf) | [Никита Корнилов](https://github.com/Jhomanik) | AL[B]IPXBRCV[O]TED[M]WJS[F] | Кравацкий Алексей [review](https://docs.google.com/document/d/1aZwvodgsxosxLGleJXLJ6SXKL7EAgPSGFLxgI-xnUPI/edit?usp=sharing)| 25 | | [Мун Павел](https://github.com/MuQlanyu) | Low-rank self-play fine-tuning for small LLMs | [GitHub](https://github.com/intsystems/2025-Project-178), [LinkReview](https://github.com/intsystems/2025-Project-178/blob/main/linkreview.md), [Paper](https://github.com/intsystems/2025-Project-178/blob/main/docs/Mun2025Low-rank.pdf), [Slides](https://github.com/intsystems/2025-Project-178/blob/main/slides/Low_rank_self_play.pdf) | Никита Охотников | AIL[B]PXRBCV[O]0[M]TE-D-WS | Леванов Валерий [review](https://github.com/MonosUna/2025-Project-176/blob/master/doc/source/review.pdf) | 26 | | [Пупков Кирилл](https://github.com/Kirill2187) | Adaptive Loss Scaling for Splitting Mods | [GitHub](https://github.com/intsystems/2025-Project-175), [LinkReview](https://docs.google.com/document/d/1YZOcoc1KDSThFy55A4sMjjcDChQ674ruwDr0Jx_rogQ/edit?usp=sharing), [Paper](https://github.com/intsystems/2025-Project-175/blob/main/docs/Pupkov2025LabelCorrection.pdf), [Slides](https://github.com/intsystems/2025-Project-175/blob/main/docs/slides.pdf) | Игорь Игнашин | AIL[B]PXRBCV[O][M]TEDFSJW0 | ... | 27 | | [Ильин Иван](https://github.com/evfrpol) | Исследование нестационарных и неоднородных динамических систем | [GitHub](https://github.com/intsystems/2025-Project-186), [LinkReview](https://docs.google.com/document/d/1HYY59SffagG8sc4ZQNTZ0Nbx69hvLzqrs12kkMKJgDM/edit?tab=t.0), [Paper](https://github.com/intsystems/2025-Project-186/blob/master/paper/main.pdf), [Slides](https://github.com/intsystems/2025-Project-186/blob/master/slides/slides_final.pdf) | Cёмкин Кирилл, Терентьев Александр | AIL[B]PXRBCV[O][M]TEDWSFJ0 | Астахов Александр [link](https://github.com/intsystems/2025-project-159/blob/dev/docs/review.pdf) | 28 | | [Евсеев Григорий](https://github.com/evseevgrv) | Zeroth-order optimization for LLM Fine-Tuning | [GitHub](https://github.com/intsystems/ZO-LLM-FineTuning), [LinkReview](https://github.com/intsystems/ZO-LLM-FineTuning/blob/main/links/links.md), [Paper](https://github.com/intsystems/ZO-LLM-FineTuning/blob/main/paper/ZO_LLM_FineTuning.pdf), [Slides](https://github.com/intsystems/ZO-LLM-FineTuning/blob/main/slides/ZO_LLM_FineTuning.pdf) | Веприков Андрей | AL[B]IPXBRHCV[O]TED[M]WJS | Черноусов Данила [Review](https://docs.google.com/document/d/1BcU4lH4aqhipxjf3dF-2SpVzV4jC748aYXaN4NnlqdE/edit?tab=t.0) | 29 | | [Хузин Эльдар](https://github.com/khuzin-e) | Untangling Equifinality: A Large-Sample BenchmarK of Machine-Learning Models for Rainfall–Runoff Forecasting in Eurasian Basins | [GitHub](https://github.com/intsystems/2025-Project-188), [LinkReview](https://docs.google.com/document/d/1Trl_6eBs1RUiUjG4vQYF1mwMjhr1U20ne9g-TJJXs8U/edit?usp=sharing), [Paper](https://github.com/intsystems/2025-Project-188/blob/actual/paper/paper.pdf), [Slides](https://github.com/intsystems/2025-Project-188/blob/actual/slides/main.pdf) | [Абрамов Дмитрий](https://t.me/dmbrmv) | AIL[B]PXRBCV[O]0[M]0TED[F] | ----- | 30 | | [Петров Егор](https://github.com/modernTalker) | Convergence of the loss function surface in transformer neural network architectures | [GitHub](https://github.com/intsystems/2025-Project-182), [LinkReview](https://github.com/intsystems/2025-Project-182/blob/main/LINKREVIEW.md), [Paper](https://github.com/intsystems/2025-Project-182/tree/main/paper/main.pdf), [Slides](https://github.com/intsystems/2025-Project-182/tree/main/slides/slides.pdf) | [Никита Киселев](https://github.com/kisnikser) | AL[B]IPXBRCV[O]TED[M]WJS | ---- | 31 | | [Никитин Артем](https://github.com/NTheme) | Neural Networks Loss Landscape Convergence in Hessian Low-Dimensional Space | [GitHub](https://github.com/intsystems/2025-Project-183), [LinkReview](https://github.com/intsystems/2025-Project-183/blob/main/LINKREVIEW.md), [Paper](https://github.com/intsystems/2025-Project-183/blob/main/paper/main.pdf), [Slides](https://github.com/intsystems/2025-Project-183/blob/main/slides/full/main.pdf) | [Никита Киселев](https://github.com/kisnikser) | AL[B]IPXBRCV[O]TED[M]WJS | Нехорошков Георгий ([link](https://github.com/intsystems/2025-Project-170/blob/master/doc/183_review.docx)) 32 | | [Килинкаров Георгий](https://github.com/kilinkarov) | Robust Detection of AI-Generated Images | [GitHub](https://github.com/intsystems/2025-Project-171), [LinkReview](https://github.com/intsystems/2025-Project-171/blob/main/LinkReview.md), [Paper](https://github.com/intsystems/2025-Project-171/blob/main/paper/paper.pdf), [Slides](https://github.com/intsystems/2025-Project-171/blob/main/slide/FinalTalk.pdf), [Code](https://github.com/intsystems/2025-Project-171/blob/main/code/second_experiment.ipynb) | Дорин Даниил | AL[B]IPXBRCV[O]TED[M]WJ0S[F] | ... | 33 | | [Батарин Егор](https://github.com/egorBatarin) | Нейросетевые подходы к решению задачи оттока абонентов | [GitHub](https://github.com/intsystems/2025-Project-Churn), [LinkReview](https://docs.google.com/spreadsheets/d/1A7Wr9eFx3ciOBB9y7jfNs1CYovZz4Ne89OLD5I5aFA8/edit?usp=sharing), [Paper](https://github.com/intsystems/2025-Project-Churn/blob/master/paper/main.pdf), [Slides](https://github.com/intsystems/2025-Project-Churn/blob/master/slides/main.pdf), [Code](https://github.com/intsystems/2025-Project-Churn/tree/master/code) | | AL[B]IPXBRCV[O]TED[M]W0J0S[F] | ---- | 34 | | [Дементьев Сергей](https://github.com/sdem3) | Эффекты самоорганизации в рекомендательных системах | [GitHub](https://github.com/sdem3/2025-Project-174/tree/main), [LinkReview](https://github.com/sdem3/2025-Project-174/blob/main/link_review.md), [Paper](https://github.com/sdem3/2025-Project-174/blob/main/paper/m1p.pdf), [Slides](https://github.com/sdem3/2025-Project-174/blob/main/slides/_m1p_slides.pdf), [Code](https://github.com/sdem3/2025-Project-174/blob/main/code/%5Bm1p%5Dbase_code.ipynb) | [Андрей Веприков](https://github.com/Vepricov) | AL[B]IPXBRHC0V0[O]TED[M]WJS | Уденеев Александр, [Review](https://docs.google.com/document/d/1rnDdqan2KDCNVxMmlxhg6S9UNIQtx_O1-TAFvpa3o10/edit?usp=sharing) | 35 | | [Нехорошков Георгий](https://github.com/georgens2004) | Detecting Manual Alterations in Biological Image Data Using Contrastive Learning and Pairwise Image Comparison | [GitHub](https://github.com/intsystems/2025-Project-170), [LinkReview](https://github.com/intsystems/2025-Project-170/blob/master/LinkReview.md), [Paper](https://github.com/intsystems/2025-Project-170/blob/master/paper/article.pdf), [Slides](https://github.com/intsystems/2025-Project-170/blob/master/slides/final/presentation.pdf) | [Даниил Дорин](https://github.com/DorinDaniil) | AL[B]IPXBRCV[O]TED[M]WJ0S[F] | Никитин Артем [Review](https://github.com/intsystems/2025-Project-183/blob/main/review/nekhoroshkov.pdf) | 36 | | [Леванов Валерий](https://github.com/MonosUna) | Uncertainty Estimation Methods for Countering Attacks on Machine-Generated Text Detectors | [GitHub](https://github.com/intsystems/2025-Project-176), [LinkReview](https://github.com/intsystems/2025-Project-176/blob/master/LinkReview.md), [Paper](https://github.com/intsystems/2025-Project-176/blob/master/paper/m1p.pdf), [Slides](https://github.com/intsystems/2025-Project-176/blob/master/slides/slides.pdf) | [Анастасия Вознюк](https://github.com/natriistorm) | AL[B]IPXRBCV[O][M]0TEDWS[F]| ---- | 37 | | [Александр Астахов](https://github.com/AleksandrAstakhov) | Восстановление функциональных групп головного мозга с помощью графовых диффузных моделей | [GitHub](https://github.com/intsystems/2025-project-159/tree/dev), [LinkReview](https://github.com/intsystems/2025-project-159/blob/dev/LinkReview.md), [Paper](https://github.com/intsystems/2025-project-159/blob/dev/docs/Project_159_paper-13-English.pdf), [Slides](https://github.com/intsystems/2025-project-159/blob/dev/docs/slides.pdf) | Святослав Панченко | AL[B]IPXB0RCV[O]0TED[M]WJS[F] | Ильин Иван [link](https://docs.google.com/document/d/1qHxispWH3Fm6kDb64yGx0XHrBIElzyodfd6z3aw077Q/edit?usp=sharing) | 38 | | [Лепин Артём](https://github.com/artem-lepin-ml) | Metric analysis of deep network space parameters | [GitHub](https://github.com/artem-lepin-ml/2025-Project-184), [LinkReview](https://github.com/artem-lepin-ml/2025-Project-184/blob/master/LinkReview.md), Paper, Slides | [Ernest Nasyrov](https://github.com/2001092236) | AL[B]PXBR0C0V0[O]0[M]0 | В github лежит шаблон, где текст статьи, код? | 39 | | [Могутнов Андрей](https://github.com/AMogutnov) | Рейтинговые сигналы риска о признаках развития незаконной торговой стратегии на финансовом рынке | [GitHub](https://github.com/AMogutnov/2025-Project-158), [LinkReview](https://github.com/AMogutnov/2025-Project-158/blob/master/LinkReview.md), Paper, Слайды | [Андрей Сергеевич Инякин] | A0L0[B]P0X0B0R0C0V0[O]0[M]0 | github не существует по ссылке | 40 | -------------------------------------------------------------------------------- /problem_list.md: -------------------------------------------------------------------------------- 1 | # Список задач по курсу Моя первая научная статья, весна 2025 2 | 3 | 31 | 32 | ## Задача 159 (была) 33 | * **Название:** Восстановление функциональных групп головного мозга с помощью графовых диффузных моделей 34 | * **Описание проблемы:** Решается задача построения модели анализа активности головного мозга, учитывающей пространственную структуру сигнала. Данные об активности мозга представлены в виде многомерных временных рядов, считываемых 35 | электродами, расположенными на голове испытуемого одним из универсальных стандартов размещения. Из-за отсутствия регулярного определения окрестности на сферической поверхности мозга классические сверточные нейронные 36 | сети не могут быть эффективно применены для учета пространственной информации. Предлагается использовать графовое представление сигнала, что позволит выявить более сложные взаимосвязи различных областей активности в пространстве и провести нейробиологическую интерпретацию функциональных связей мозга. 37 | * **Данные:** Юлия Березуцкая, код загрузки у четвертого курса 38 | - Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022. 39 | - [Код предшественников](https://github.com/intsystems/ 40 | * **Литература** Магистерская работа Наталии Вареник 41 | * **Базовый алгоритм:** Graph Neural Diffusion: https://github.com/twitter-research/graph-neural-pde 42 | * **Новизна:** Построить карту функциональных групп с изменением во времени в зависимости от внешнего воздействия (видео Пеппи) 43 | * **Авторы:** Святослав Панченко, Стрижов 44 | 45 | 55 | 70 | 71 | ## Задача 158 (???) (индустриальная) (Необходимо получить согласие эксперта, на данный момент есть стажировка, но задача не утверждена) 72 | * **Описание проблемы:** 73 | - Ранжирование риск-сигналов о признаках развития неправомерной торговой стратегии на финансовом рынке. Задача выявления ранних признаков аномального поведения участника торгов [Данные: набор агрегатов, построенных на обезличенных данных торгов]. 74 | - Классификация субъектов ПНИИИМР, ПОД/ФТ, … . Выявление аномального поведения субъектов, классификация, кластеризация стратегий или профилей финансового поведения [Данные: набор агрегатов, построенных на обезличенных данных торгов]. 75 | - Использование (дообучение, «компрессия» / дистиляция, прунинг, квантизация) SOTA LLM/GAN (генеративных моделей) для формирования последовательности тестовых сценариев (тест-кейсов) по заданному набору функциональных требований [Данные: реестр требований, тест-кейсы]. 76 | - Использование (дообучение, «компрессия» / дистиляция, прунинг, квантизация) SOTA LLM/GAN для формирования и актуализации реестра «атомарных» и непротиворечивых функциональных / нефункциональных требований к программной Системе на основе набора функциональных, технических заданий и иных документов [Данные: реестр требований, реестр ФЗ, реестр ТЗ]. 77 | * **Данные:** ВАЖНО! Требуется найти или синтезировать открытые данные 78 | * **Авторы:** Андрей Сергеевич Инякин 79 | 80 | 93 | ## Задача (зафиксирована) 94 | **Описание проблемы:** При оптимизации различных моделей в Машинном Обучении, часто возникают ситуации, когда стандартные методы типа градиентного спуска, работают не так эффективно. Поэтому приходится придумывать модификации, что сделать процедуру более стабильной и быстрой. В этом проекте предлагается поисследовать sign оператор в следующих постановках: (L0,L1) гладкость минимизируемой функции, борьба с тяжёлым шумом, сходимость с высокой вероятностью, обобщение на выпуклые функции. Проект во многом теоретический, придется доказывать вещи из оптимизации. И не факт, что все получится, это нормально. Но и небольшие эксперименты будут. Релевантные статьи: https://arxiv.org/abs/1802.04434 https://arxiv.org/abs/2502.07923 https://arxiv.org/pdf/2409.14989 95 | **Авторы:** Корнилов Никита, Марк Иконников 96 | 97 | ## Задача 117 (Вадим Викторович хотел скорректировать, убрать отсюда прогноз фМРТ по звуку) 98 | * **Название:** Поиск зависимостей биомеханических системах и (Метод Convergence Cross-Mpping, теорема Такенса) 99 | * **Задача**: При прогнозировании сложноорганизованных временных рядов, зависящих от экзогенных факторов и имеющих множественную периодичность, требуется решить задачу выявления связанных пар рядов. Предполагается, что добавление этих рядов в модель повышает качество прогноза. В данной работе для обнаружения связей между временными рядами предлагается использовать метод сходящегося перекрестного отображения. При таком подходе два временных ряда связаны, если существуют их траекторные подпространства, проекции на которые связаны. В свою очередь, проекции рядов на траекторные подпространства связаны, если окрестность фазовой траектории одного ряда отображается в окрестность фазовой траектории другого ряда. Ставится задача отыскания траекторных подпространств, обнаруживающих связь рядов. Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду. 100 | * **Литература** 101 | - Все, что написал Сугихара в Science и в Nature (спросить коллекцию) 102 | - Усманова К.Р., Стрижов В.В. Обнаружение зависимостей во временных рядах в задачах построения прогностических моделей // Системы и средства информатики, 2019, 29(2) 103 | - [Neural CDE](https://bit.ly/NeuroCDE) 104 | * __Данные__: Видео, его разметка и ECoG, EEG, движение, глаз из работы Nature, Березуцкая, люди смотрят фильм 105 | - Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022. 106 | - [Код предшественников](https://github.com/intsystems/ 107 | * Решение 108 | * Базовое в работе Карины 109 | * Наше построить Neural ODE для обеих сигналов и решить, относятся ли обе модели к одной динамической системе. Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек. 110 | * Построен [метод апроксимации показаний FMRI по прослушиваемому звуковому ряду](https://github.com/intsystems/2024-Project-117/tree/master). 111 | * **Авторы:** Денис Тихонов, Даниил Дорин, Стрижов 112 | 113 | 140 | 141 | 159 | 160 | 172 | 173 | ## Задача 148 (была) 174 | * **Название:** Средневзвешенная когерентность как мера интерпретируемости тематических моделей 175 | * **Описание проблемы:** Тематическое моделирование широко используется в социо-гуманитарных исследованиях для понимания тематической структуры больших текстовых коллекций. Типичный сценарий предполагает, что пользователь сам разделяет найденные моделью темы на "хорошие" (интерпретируемые) и "плохие". Для упрощения этой работы можно использовать ряд автоматически вычисляемых критериев качества, один из которых — когерентность (мера "согласованности" слов темы). Однако проблема когерентности в том, что при её вычислении игнорируется бòльшая часть текста, что делает оценку качества темы по когерентности ненадёжной. Задача в том, чтобы проверить новый способ вычисления когерентности, обобщающий классический подход, но при этом учитывающий распределение темы во всём тексте. 176 | * **Данные:** В качестве данных подойдёт любая коллекция текстов на естественном языке, про которую известна тематическая структура (сколько примерно тем, сколько документов по разным темам). Например, можно взять коллекцию статей с ПостНауки, новостей Lenta, дамп Википедии, посты с Хабрахабра, 20 Newsgroups, Reuters. 177 | * **Литература** 178 | - Воронцов К. В. "Вероятностное тематическое моделирование: теория, модели, алгоритмы и проект BigARTM" (https://web.archive.org/web/20230520153443/http://machinelearning.ru/wiki/images/d/d5/Voron17survey-artm.pdf) 179 | - Воронцов К. В. "Оценивание качества тематических моделей" (из курса лекций "Вероятностные тематические модели"; https://web.archive.org/web/20230811052505/http://www.machinelearning.ru/wiki/images/a/a7/Voron23ptm-quality.pdf 180 | - Alekseev V. A., Bulatov V. G., Vorontsov K. V. Intra-text coherence as a measure of topic models' interpretability //Komp'juternaja Lingvistika i Intellektual'nye Tehnologii. – 2018. – С. 1-13 (https://www.dialog-21.ru/media/4281/alekseevva.pdf) 181 | - Newman D. et al. Automatic evaluation of topic coherence //Human language technologies: The 2010 annual conference of the North American chapter of the association for computational linguistics. – 2010. – С. 100-108. (https://aclanthology.org/N10-1012.pdf) 182 | * **Базовый алгоритм:** Когерентность Ньюмана по топ словам, внутритекстовая когерентность 183 | * **Новизна:** Использование библиотек тематического моделирование BigARTM и TopicNet. Разработка нового способа вычисления когерентности тем. Предложение и реализация методики измерения интерпретируемости тем (чтобы проверить "адекватность" новой когерентности: в самом ли деле для заведомо хороших тем она показывает качество выше, чем для плохих тем). 184 | * **Авторы:** Василий Алексеев, Константин Воронцов 185 | 186 | ## Задача 147 (Была) (???) (При наличии времени и желания Александра Владимировича) 187 | * **Название:** Нижние оценки для min max задач с разной размерностью блоков переменных (Проект 1.) 188 | * **Описание проблемы:** Для задач малоразмерной выпуклой оптимизации нижние оценки получаются с помощью сопротивляющегося оракула https://www2.isye.gatech.edu/~nemirovs/Lect_EMCO.pdf (3 Methods with linear convergence, II, но начать лучше прямо с самого первого раздела Lecture 1 - на одномерном случае все попонятнее). В то время как для задач большой размерности - c помощью “худшей в мире функции” - см., например, указания к упражнения 1.3 и 2.1 пособия МЦНМО https://opt.mipt.ru/posobie.pdf В работе https://arxiv.org/pdf/2010.02280.pdf, исследуются задачи min max, в которых одна из групп min переменных имеет небольшую размерность, а другая группа, напротив, большую. Получены верхние оценки. Интересно было бы попробовать получить нижние оценки, путем комбинации двух конструкций. Кажется, что в математическом плане пример построения нижней оценки будет содержать новые интересные идеи. 189 | В развитие этого проекта интересно было бы подумать и о нижних оценках для min min задач, в которых по одной из групп переменных (негладких) имеется малая размерность. Верхние оценки имеются в работах https://arxiv.org/pdf/2102.00584.pdf и https://arxiv.org/pdf/2103.00434.pdf 190 | * **Авторы:** Александр Владимирович Гасников 191 | 192 | 199 | 200 | ## Задача 145 (была) (индустриальная) 201 | * **Название**: Создание персонализированных генераций изображений 202 | * **Описание проблемы**: Генеративные модели добились высокого качества генераций в общем домене. Однако, когда возникает запрос на генерацию специфичного объекта, в нашем случае человека, то модель не может сгенерировать человека с необходимой точностью и передать его идентичность. В этой задаче вам предлагается предложить решение, которое будет способно генерировать изображения заданного человека в различных варияциях в высоком разрешении. 203 | * **Данные**: CelebA (датасет изображений знаменитостей в высоком разрешении) 204 | * **Литература**: 205 | - [1] [Создание изображений через механизм внимания](https://ip-adapter.github.io) 206 | - [2] [Создание специальных токенов для генерации специфичного изображения](https://dreambooth.github.io) 207 | - [3] [Latent Diffusion Model](https://arxiv.org/pdf/2112.10752.pdf) 208 | * **Базовой алгоритм**: Базовый алгоритм состоит в обучении метода IP-Adapter[1] на модели Stable Diffusion [3]. 209 | * **Новизна**: Индустриальная 210 | * **Авторы**: Андрей Филатов 211 | * **Контакт**: [TG: @anvilarth](https://t.me/anvilarth) 212 | 213 | 227 | 228 | 239 | 240 | 248 | 249 | 260 | 261 | # Проекты пятикурсников и назначенные проекты 262 | 263 | ## Задача 160 (была) (Фанис Хафизов) 264 | * __Название__: Ускоренные методы нулевого порядка с одноточечным фидбэком 265 | * __Задача__: Обычно для целевых функций в задачах оптимизации мы можем считать градиенты и даже информацию более высоких порядков. Но также существуют приложения, в которых подсчет градиента или затруднен или вообще невозможен. В таких приложениях на помощь приходят безградиентные методы. Довольно натуральной идеей в данном случае является аппроксимация градиента через конечные разности (https://arxiv.org/pdf/2211.13566.pdf): $\nabla f_\gamma(x, e) = \frac{f(x + \gamma e) - f(x - \gamma e)}{2 \gamma} e.$ Более того, в более близких для практики приложениях мы имеем доступ к зашумленной версии функции. Это порождает дополнительные проблемы. В более простом с точки зрения теоретического анализа, но менее приближенным к реальности случае можно рассматривать так называемый two-point feedback: $\nabla f_\gamma(x, \xi, e) = \frac{f(x + \gamma e, \xi) - f(x - \gamma e, \xi)}{2 \gamma} e.$ Ключевая особенность – одна и та же случайность в обеих точках. Более сложный и неприятный случай – one-point feedback: $\nabla f_\gamma(x, \xi^+, \xi^-, e) = \frac{f(x + \gamma e, \xi^+) - f(x - \gamma e, \xi^-)}{2 \gamma} e,$ который и будет рассматриваться в работе. 266 | * __Данные__: 1) Датасет mushroom 2) Квадратичная задача 267 | * __Литература__: Randomized gradient-free methods in convex optimization (https://arxiv.org/pdf/2211.13566.pdf) AN ACCELERATED METHOD FOR DERIVATIVE-FREE SMOOTH STOCHASTIC CONVEX OPTIMIZATION (https://arxiv.org/pdf/1802.09022.pdf) 268 | * __Базовой алгоритм__: Результаты для two-point feedback (https://arxiv.org/pdf/1802.09022.pdf) 269 | * __Решение__: В данной работе предлагается разработать и проанализировать сходимость ускоренный безградиентные методы для выпуклой гладкой стохастической задачи минимизации. В частности предлагается адаптировать (или оттолкнуться в качестве стартовой точки) для этого уже существующие результаты в случае two-point feedback (https://arxiv.org/pdf/1802.09022.pdf). 270 | * __Авторы__: Консультант - Александр Богданов, эксперт - Александр Безносиков 271 | 272 | ## Задача 161 (была) (Алексей Ребриков) 273 | * __Название__: Методы малоранговых разложений в распределенном и федеративном обучении 274 | * __Задача__: Подходы распределенного и федеративного обучения становятся все более популярными в обучении современных SOTA моделей машинного обучения. При этом на первый план выходит вопрос организации эффективных коммуникаций, так как процесс передачи информации занимает слишком много времени даже в случае кластерных вычислений. Из-за этого может теряться смысл в распределении/распараллеливании процесса обучения. Одной из ключевой техник борьбы с коммуникационными затратами является использование сжатий передаваемой информации. На данный момент в литературе предлагаются различные техники сжатия (https://arxiv.org/abs/2002.12410, https://arxiv.org/abs/1610.02132, https://arxiv.org/abs/1905.10988), но потенциал в этом вопросе явно не исчерпан. В частности, довольно большой потенциал кроется в малоранговых разложениях (https://gregorygundersen.com/blog/2019/01/17/randomized-svd/). В рамках проекта предлагается сконструировать операторы сжатия на основе данных разложений и встроить в методы распределенной оптимизации (https://arxiv.org/abs/2106.05203). 275 | * __Данные__: LibSVM https://www.csie.ntu.edu.tw/~cjlin/libsvm/ CIFAR 10 276 | https://www.cs.toronto.edu/~kriz/cifar.html В экспериментах предлагается суммулировать на одном устройстве распределенное обучение 1) логистической регресии на датасетах из LibSVM, 2) ResNet18 на CIFAR 10 277 | * __Литература__: https://arxiv.org/abs/2002.12410, https://arxiv.org/abs/1610.02132, https://arxiv.org/abs/1905.10988 https://gregorygundersen.com/blog/2019/01/17/randomized-svd/ https://arxiv.org/abs/2106.05203 278 | * __Базовой алгоритм__: https://arxiv.org/abs/2106.05203 + https://arxiv.org/abs/2002.12410 или https://arxiv.org/abs/1905.13727 279 | * __Решение__: В рамках проекта предлагается сконструировать операторы сжатия на основе малоранговых разложений (https://gregorygundersen.com/blog/2019/01/17/randomized-svd/) и встроить в методы современные методы распределенной оптимизации (https://arxiv.org/abs/2106.05203). 280 | * __Авторы__: Безносиков А.Н., Зыль А.В. 281 | 282 | 368 | 369 | ## Задача 168 370 | * __Название__: Средневзвешенная когерентность как мера интерпретируемости тематических моделей 371 | * __Задача__: Тематическое моделирование широко используется в социо-гуманитарных исследованиях для понимания тематической структуры больших текстовых коллекций. Типичный сценарий предполагает, что пользователь сам разделяет найденные моделью темы на "хорошие" (интерпретируемые) и "плохие". Для упрощения этой работы можно использовать ряд автоматически вычисляемых критериев качества, один из которых — когерентность (мера "согласованности" слов темы). Однако проблема когерентности в том, что при её вычислении игнорируется бОльшая часть текста, что делает оценку качества темы по когерентности ненадёжной. Задача в том, чтобы проверить новый способ вычисления когерентности, обобщающий классический подход, но при этом учитывающий распределение темы во всём тексте. 372 | * __Данные__: В качестве данных подойдёт любая коллекция текстов на естественном языке, про которую известна тематическая структура (сколько примерно тем, сколько документов по разным темам). Например, можно взять коллекцию статей с ПостНауки, новостей Lenta, дамп Википедии, посты с Хабрахабра, 20 Newsgroups, Reuters. Тематика коллекции должна быть интересна самому исследователю, чтобы была мотивация оценивать темы вручную. 373 | * __Литература__: * Воронцов К. В. "Вероятностное тематическое моделирование: теория, модели, алгоритмы и проект BigARTM" (https://web.archive.org/web/20230520153443/http://machinelearning.ru/wiki/images/d/d5/Voron17survey-artm.pdf) 374 | * Воронцов К. В. "Оценивание качества тематических моделей" (из курса лекций "Вероятностные тематические модели"; https://web.archive.org/web/20230811052505/http://www.machinelearning.ru/wiki/images/a/a7/Voron23ptm-quality.pdf) 375 | * Alekseev V. A., Bulatov V. G., Vorontsov K. V. Intra-text coherence as a measure of topic models' interpretability //Komp'juternaja Lingvistika i Intellektual'nye Tehnologii. – 2018. – С. 1-13 (https://www.dialog-21.ru/media/4281/alekseevva.pdf) 376 | * Newman D. et al. Automatic evaluation of topic coherence //Human language technologies: The 2010 annual conference of the North American chapter of the association for computational linguistics. – 2010. – С. 100-108. (https://aclanthology.org/N10-1012.pdf) 377 | * __Базовой алгоритм__: Когерентность Ньюмана по топ словам, внутритекстовая когерентность 378 | * __Решение__: Использование библиотек тематического моделирование BigARTM и TopicNet. Разработка нового способа вычисления когерентности тем. Предложение и реализация методики измерения интерпретируемости тем (чтобы проверить "адекватность" новой когерентности: в самом ли деле для заведомо хороших тем она показывает качество выше, чем для плохих тем). 379 | * __Авторы__: Старожилец Всеволод Михайлович 380 | 381 | ## Задача 169 382 | * __Название__: Интерпретируемая иерархическая кластеризация объектов. 383 | * __Задача__: Требуется на обучающей выборке физических лиц (ФЛ) с меткой принадлежности классу построить такую иерархическую кластеризацию данных, что для каждого кластера можно наиболее полно интерпретировать причину его попадания в конкретный кластер. 384 | * __Данные__: Для исследования предлагается использовать данные из соревнования [Kaggle](https://www.kaggle.com/datasets/khusheekapoor/vehicle-insurance-fraud-detection?resource=download) по классификации мошенников в автостраховании на основе их признакового описания. 385 | * __Литература__: [Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме. ](https://habr.com/ru/companies/otus/articles/782862/ 386 | https://paperswithcode.com/paper/interpretable-clustering-on-dynamic-graphs 387 | https://wires.onlinelibrary.wiley.com/doi/full/10.1002/widm.53) 388 | * __Базовой алгоритм__: Описание baseline решения предоставлено на сайте соревнования: https://exporl.github.io/auditory-eeg-challenge-2024/task2/description/ 389 | * __Решение__: Базовый алгоритм решения задачи состоит в применении методов из пакетов sklearn, umap языка Python. Например, классическим интерпретируемым алгоритмом классификации является дерево решений (sklearn.tree.DecisionTree). 390 | * __Авторы__: Василий Алексеев, Константин Воронцов 391 | 392 | ## Задача 170 393 | * __Title__: Detecting Manual Alterations in Biological Image Data Using Contrastive Learning and Pairwise Image Comparison 394 | * __Problem__: This project aims to develop a model for pairwise comparison of biological and medical images, demonstrating high pairwise comparison metrics to detect manual modifications such as cropping, rotation, duplication, color distortion, or more subtle alterations. These alterations can compromise dataset validity and lead to erroneous conclusions, posing unique detection challenges due to the thematic and structural similarities in medical images. Additionally, the reproducibility of scientific findings is often undermined by the copying of images used as evidence or achievements, highlighting the need for robust detection methods to maintain data integrity in scientific research. 395 | * __Data__: 396 | - [BioImage Archive](https://www.ebi.ac.uk/bioimage-archive/): A repository of biological images, including microscopy and experimental images. 397 | - [Cell Image Library](https://www.cellimagelibrary.org/home): High-resolution cell microscopy images from various biological experiments. 398 | - [Haxby Dataset](http://data.pymvpa.org/datasets/haxby2001/): The fMRI images dataset, the data are third-order tensors, so it is suggested to take slices. 399 | - [Visible Human Project](https://www.nlm.nih.gov/research/visible/visible_human.html): Detailed anatomical datasets of the human body, including CT and MRI scans. 400 | * __Reference__: 401 | - [1] Melekhov I., Kannala J., Rahtu E. Siamese network features for image matching. ICPR, 2016. 402 | - [2] Chen T. et al. A simple framework for contrastive learning of visual representations. PMLR, 2020. 403 | - [3] Radford, A. et al. Learning Transferable Visual Models from Natural Language Supervision (CLIP). ICML, 2021. 404 | - [4] Zbontar, J. et al. Barlow Twins: Self-Supervised Learning via Redundancy Reduction. ICML, 2021. 405 | * __Baseline__: Use the [Barlow Twins](https://github.com/facebookresearch/barlowtwins) for self-supervised learning of image features. Next, train the head for matching, or train the entire pipeline. It is intended to use parallel augmentations, which you can read more about in the work [SimCLR](https://arxiv.org/abs/2002.05709). To simulate manual modifications, [augment](https://explore.albumentations.ai/) datasets with: Cropping, resizing, flipping. Brightness/contrast adjustments. Cloning or duplicating parts of an image. Adding artificial noise or subtle distortions. 406 | * __Proposed solution__: To refine the basic solution, it is possible to retrain the full pipeline for biological data. 407 | * __Novelty__: At present, the problem of matching biological and medical images has not yet been solved. 408 | * __Authors__: 409 | - Expert: Andrey Grabovoy 410 | - Consultant: Daniil Dorin (tg: [@danulkin](https://t.me/danulkin)) 411 | 412 | ## Задача 171 413 | * __Title__: Robust Detection of AI-Generated Images 414 | * __Problem__: The rapid evolution of generative models, such as Gans, VAEs, and diffusion-based models, has enabled the creation of highly realistic synthetic images, driving innovation in entertainment, art, and content creation. However, this has also introduced significant challenges in digital trust and authenticity, making the detection of machine-generated images crucial for combating misinformation and ensuring visual data integrity. This paper addresses the problem of identifying whether an image is machine-generated or real, aiming to develop a lightweight, efficient, and interpretable detection framework. The goal is to optimize detection accuracy while minimizing computational complexity, formulated as a binary classification problem. Key challenges include the diversity of generative models and the evolving quality of synthetic images, which increasingly mimic real-world characteristics. 415 | * __Data__: 416 | - Real Images: 417 | - [COCO](https://cocodataset.org/#home): A large-scale dataset with natural images of various objects and scenes. 418 | - [Flickr-Faces-HQ (FFHQ)](https://github.com/NVlabs/ffhq-dataset): A high-quality dataset of human faces for training and evaluation. 419 | - [PASCAL VOC](http://host.robots.ox.ac.uk/pascal/VOC/): Standardised image datasets for object class recognition. 420 | - Hybrid Datasets: 421 | - [CIFAKE](https://www.kaggle.com/datasets/birdy654/cifake-real-and-ai-generated-synthetic-images): CIFAKE is a dataset that contains 60,000 synthetically-generated images and 60,000 real images. 422 | - [ArtiFact](https://paperswithcode.com/dataset/artifact): large-scale image dataset that aims to include a diverse collection of real and synthetic images from multiple categories. 423 | * __Reference__: 424 | - [1] [Zero-Shot Detection of AI-Generated Images](https://arxiv.org/abs/2409.15875) 425 | - [2] [AI vs. AI: Can AI Detect AI-Generated Images?](https://www.mdpi.com/2313-433X/9/10/199) 426 | - [3] [GenImage: A Million-Scale Benchmark for Detecting AI-Generated Image](https://proceedings.neurips.cc/paper_files/paper/2023/file/f4d4a021f9051a6c18183b059117e8b5-Paper-Datasets_and_Benchmarks.pdf) 427 | * __Baseline__: Use a robust encoder, such as [CLIP ViT](https://arxiv.org/abs/2103.00020) or [Barlow Twins](https://github.com/facebookresearch/barlowtwins), as a frozen model and train only the last classification layer. 428 | * __Authors__: 429 | - Expert: Andrey Grabovoy 430 | - Consultant: Daniil Dorin (tg: [@danulkin](https://t.me/danulkin)) 431 | 432 | ## Задача 172 433 | * __Название__: Восстановление показаний датчиков фМРТ по прослушиваемому звуковому ряду 434 | * __Задача__: Рассматривается задача восстановления зависимости между показаниями датчиков функциональной магнитно-резонансной томографии (фМРТ) и восприятием внешнего мира человеком. Основная цель заключается в анализе зависимости между последовательностью снимков фМРТ и звуковым рядом, а также в разработке метода прогнозирования показаний фМРТ на основе прослушиваемого звукового ряда. Кроме того, хочется проверить гипотезу о влиянии параметра задержки BOLD (Blood-oxygen-level-dependent) на качество аппроксимации. 435 | * __Литература__: 436 | - Вся литература из работы [Forecasting fMRI images from video sequences: linear model analysis](https://link.springer.com/epdf/10.1007/s13755-024-00315-5?sharing_token=lmbWsrIhGUoHaL75ub7etfe4RwlQNchNByi7wbcMAY438_8ojgqthAfg8Q2YiNthCEtJoSCkYUusKUpq6L-34kwAeXd5dq2ckTk8iYugJ0VtvTwPUiCF7XX9yGXw-8rdq5DB9u-Y4sNf-in0p3Zc5IbybvEDqh7v-BeAmfkPkuI%3D). [Код данного исследования](https://github.com/DorinDaniil/Forecasting-fMRI-Images). 437 | - [Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film](https://www.nature.com/articles/s41597-022-01173-0) 438 | * __Данные__: 439 | - Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022. Открытый мультимодальный набор данных, включающий записи внутричерепной электроэнцефалографии (iEEG) и функциональной магнитно-резонансной томографии (фМРТ), полученные во время просмотра короткометражного аудиовизуального фильма. Исследование проводилось на группе участников в возрасте от 7 до 47 лет. Данные собраны с использованием богатого аудиовизуального стимула, что позволяет анализировать реакции мозга на естественные условия. 440 | * __Решение__ 441 | * Предлагается использовать простейшую линейную модель для прогнозирования независимо значений в каждом вокселе по данным звукового ряда. 442 | * [Код предшественников](https://github.com/intsystems/2024-Project-117). 443 | * __Новизна__: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными. 444 | * __Авторы__: 445 | * Консультант: Даниил Дорин (tg: [@danulkin](https://t.me/danulkin)) 446 | * Эксперт: Стрижов, Андрей Грабовой 447 | 448 | ## Задача 173 449 | * __Название__: Дообучение LLM с помощью оптимизации нулевого порядка 450 | * __Задача__: Описание проблемы: В области обработки естественного языка стандартным подходом является дообучение больших языковых моделей (LLM) с использованием методов оптимизации первого порядка, таких как SGD и Adam. Однако с увеличением размеров LLM существенные затраты памяти, связанные с обратным проходом (back-propagation) для вычисления градиентов, становятся серьезной проблемой из-за нехватки памяти для обучения. Именно поэтому развивается все больше методов оптимизации нулевого порядка (ZO) [1, 2], которые для вычисления градиентов требуют только прямого (forward) прохода модели. В данной работе предлагается придумать новые или модифицировать уже известные ZO подходы [3] для дообучения LLM, таких как LoRA [4]. 451 | * __Литература__: 452 | - [1] Fine-tuning language models with just forward passes 453 | - [2] Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models 454 | - [3] Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark 455 | - [4] Lora: Low-rank adaptation of large language models 456 | - [5] New aspects of black box conditional gradient: Variance reduction and one point feedback 457 | * __Базовый алгоритм__: В статье [2] применяется базовый ZO-SGD на рассматриваемой задаче. В статье [3] рассмотрены более сложные алгоритмы, также в этой статье есть гитхаб с кодом 458 | * __Новизна__: Предлагается применить уже полученные результаты в области безградиентных методов [5] в реальной задаче дообучения LLM. Идеальным результатом было бы повышение качества относительно других Zero-order методов и снижение памяти относительно First-order методов. 459 | * __Авторы__: консультант: Веприков А.С., эксперт: Безносиков А.Н. 460 | 461 | ## Задача 174 462 | * **Название:** 463 | Эффекты самоорганизации в рекомендательных системах 464 | * **Описание проблемы:** 465 | Предлагается исследовать эффекты самоорганизации в рекомендательной системе, в которой товары W и потребители C меняются со временем, как процесс многократного машинного обучения [4]. Пусть заданы начальные плотности распределений признаков f_0^c потребителей и f_0^w товаров на X = C U W. Рассмотрим динамическую систему вида f_{t+1} = D_t(f_t) с оператором эволюции D_t, где переход к шагу t+1 состоит в формировании рекомендации потребителю c ~ f_t^c алгоритмом рекомендаций товара w = h_u(c, f^c_t, f^w_t), заключением сделки потребителем с вероятностью ~ q(c,w,z) со скрытым от алгоритма параметром z, обновлении f^c_t и f^w_t по истории предложений и сделок. 466 | Можно показать, что при некоторых условиях в системе присутствует петля положительной обратной связи [3], то есть распределение данных системы меняется со временем вследствие искажений, вносимых алгоритмом рекомендаций. 467 | Используя нейронную коллаборативную фильтрацию (NCF) научиться восстанавливать и обновлять функцию q(c,w,z) по истории сделок и экспериментально уточнить условия возникновения положительной петли обратной связи в такой системе [3]. 468 | * **Данные:** 469 | Для инициализации используем MovieLens 100K Dataset по аналогии со статьей [2] 470 | * **Литература** 471 | - [1] Debiasing the Human-Recommender System Feedback Loop in Collaborative Filtering 472 | - [2] Breaking Feedback Loops in Recommender Systems with Causal Inference 473 | - [3] Positive feedback loops lead to concept drift in machine learning systems 474 | - [4] Задача 119, Моя первая научная статья 2023, https://arxiv.org/abs/2405.02726 475 | - [5] PyTorch NCF, NeuMF etc, https://github.com/guoyang9/NCF, LibMF 476 | - [6] см. hidden feedback loop user drift recommender systems в scholar.google.com 477 | * **Базовый алгоритм:** 478 | Исходный код - доработанная версия кода из [3, 4] при решении [5]. 479 | * **Новизна:** 480 | В сравнении с [6] впервые применяем многократное машинное обучение для изучения эффектов самоорганизации в многоагентных системах с рекомендательным алгоритмом. Разработанная имитационная модель и полученные условия существования скрытой петли обратной связи позволят предсказывать долгосрочное поведение такой системы. 481 | * **Авторы:** 482 | * Консультант - Веприков А.С., 483 | * Эксперт - Хританков А.С. 484 | 485 | ## Задача 175 486 | * __Title__: Adaptive Loss Scaling for Splitting Mods 487 | * __Problem__: In machine learning, numerous challenges can degrade model performance, including noisy features in tabular data and incorrect labeling in reinforcement learning from human feedback. Various approaches exist to mitigate these issues; however, this project proposes addressing them through adaptive loss scaling. 488 | 489 | The core idea is to weight the overall loss function at the sample level, with these weights being learned on a unit simplex. This approach formulates the problem as a minimax optimization task. As a result, the learned weights converge to a certain distribution, which may exhibit multiple modes corresponding, for example, to noisy samples or poorly labeled data. 490 | 491 | To improve data quality, the project suggests correcting target labels or discarding samples associated with these problematic modes, followed by retraining on the refined dataset and potentially ensembling models. This strategy is expected to enhance model performance by generating a higher-quality dataset. 492 | * __Data__: 493 | - Tabular Data 494 | - RLHF data 495 | - Some toys datasets 496 | * __Reference__: 497 | - Mirror-Prox Algorithm with Linear Convergence Rate and its Application for Dynamic Loss Scaling. 498 | - Tabular DL reference: 499 | - [First paper about Tabular DL (On embeddings for numerical features, 2023 oct)](https://arxiv.org/pdf/2203.05556) 500 | - [Second paper (Tabred, 2024 jun)](https://arxiv.org/pdf/2406.19380v1) 501 | - [Third paper (TabM, 2024 nov)](https://arxiv.org/pdf/2410.24210) 502 | * __Baseline__: Some benchmark model corresponding to the selected dataset, trained on it. 503 | * __Proposed solution__: Improvement of the acquisition pipelines of benchmark models: Apply ALSO optimizer to the benchmark model, discard some data according to the obtained weights, or replace incorrect targets, continue training the model on the corrected dataset but with a normal optimizer. 504 | * __Novelty__: The novelty lies in the approach of discarding one or more data modes corresponding to different modes of weight distribution at losses in the minimax setting. 505 | * __Authors__: 506 | - Ignashim Igor 507 | - Aleksandr Beznosikov 508 | 509 | ## Задача 176 510 | * __Название__: Использование методов подсчета неопределенности для борьбы с атаками на детекторы машинно-сгенерированного текста 511 | * __Задача__: Для того, чтобы обойти детекторы машинно-сгенерированного текста, иногда используются различные атаки на текст, вроде использования гомоглифов, перифразы и т.д. С другой стороны, эти же атаки можно использовать, чтобы проверять устойчивость разрабатываемых детекторов. Существуют несколько типов атак, некоторые из которых детекторы легко обнаруживают. Многие атаки можно обходить если дообучивать детектор на текстах с этими атаками, однако хотелось бы найти подход, который бы не требовал постоянного дообучения. Нужно проверить гипотезу, что мы можем использовать методы подсчета неопределенности для этого в случае, когда у нас есть только текст и в случае, когда еще есть и к доступ к внутренним состояниям модели. 512 | * __Данные__: 513 | - [Сам датасет c атаками](https://github.com/liamdugan/raid) 514 | - [Статья](https://arxiv.org/pdf/2405.07940) 515 | * __Литература__: 516 | - **Методы подсчета определенности:** хорошая обзорная [статья](https://arxiv.org/pdf/2311.07383), в аппендиксе который приведены все текущие методы подсчета 517 | - **Статья-вдохновение1:** Как методы подсчета неопределенности работают для обнаружения изображений-дипфейков: [arXiv](https://arxiv.org/pdf/2412.05897) 518 | - **Статья-вдохновение2:** Как можно перевзвешивать матрицу внимания для детекции с учетом неопределенности [arXiv](https://arxiv.org/pdf/2501.03940) 519 | - При желании, данную проблему можно порассматривать больше с точки зрения математики ([пример](https://openreview.net/pdf?id=jN5y-zb5Q7m)), так как подсчет неопределенности - это задача байесовского моделирования. 520 | * __Авторы__: 521 | - Консультант: Вознюк Анастасия, 522 | - Эксперт: Андрей Грабовой 523 | 524 | ## Задача 177 525 | * __Название__: Кодирование дискриминативных и генеративных моделей 526 | * __Задача__: В работе исследуются различные методы энкодинга нейронных сетей, применяемые в дискриминативных и генеративных моделях. Основная цель проекта — имплементация и сравнительный анализ существующих методов энкодинга, представленных в научных статьях. Результатом проведенного исследования ожидается разработанная библиотека, объединяющая различные методы энкодинга, что позволит упростить их применение в практических задачах. В рамках проекта также предлагается изучить возможность комбинирования нескольких методов энкодинга и теоретически обосновать их совместную применимость. Например, рассмотреть ортогональности методов в функциональном пространстве, что может способствовать улучшению качества и эффективности кодирования нейронных сетей. 527 | * __Данные__: CIFAR 528 | * __Литература__: 529 | - [[1]](https://arxiv.org/pdf/2406.09997) 530 | - [[2]](https://arxiv.org/pdf/1703.03400) 531 | - [[3]](https://arxiv.org/pdf/2403.02484) 532 | * __Базовый алгоритм__: [https://github.com/HSG-AIML/SANE](https://github.com/HSG-AIML/SANE) — интересный метод кодирования сеток, подходящий как для генеративных, так и дискриминативных моделей. 533 | * __Авторы__: 534 | - Консультант: Никитина Мария 535 | - Эксперт: Бишук Антон 536 | 537 | ## Задача 178 538 | * __Title__: Low-rank self-play fine-tuning for small LLMs 539 | * __Problem__: Fine-tuning of even relatively small LLM takes considerable resources. Different techniques has been proposed in the last years to accelerate that process. The most common approach for SFT stage nowadays is LoRA. However, LLMs greatly benefits from reinforcement learning, which requires human annotators and that requirement might be demanding. Recently RL-based approaches, that do not rely on human preferences were proposed for ~7B models. This project focuses on applying these to smaller ones with limited resources. The goal is to get some gains over traditional SFT without additional need of human annotation. 540 | * __Baseline__: 541 | Small pretrained LLM without RLHF tuning like Qwen2.5-0.5B/1.5B/.... 542 | * __Proposed solution__: 543 | Self-Play fIne-tuNing [SPIN](https://arxiv.org/pdf/2401.01335) - an approach using just ground truth data from the dataset along with old model version replies and which is claimed to outperform DPO (common go-to RL-based method) along with [LoRA](https://arxiv.org/pdf/2106.09685). 544 | * __Data__: 545 | - [GSM8K](https://huggingface.co/datasets/openai/gsm8k) 546 | - [Hellaswag](https://huggingface.co/datasets/Rowan/hellaswag) 547 | - [Winogrande](https://leaderboard.allenai.org/winogrande/submissions/get-started) 548 | - [MMLU-Pro](https://github.com/TIGER-AI-Lab/MMLU-Pro) 549 | - [MMLU](https://huggingface.co/datasets/lukaemon/mmlu) 550 | * __Reference__: 551 | - [Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models](https://arxiv.org/pdf/2401.01335) 552 | - [LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS](https://arxiv.org/pdf/2106.09685) 553 | - [Direct Preference Optimization: Your Language Model is Secretly a Reward Model](https://arxiv.org/pdf/2305.18290) 554 | - [Qwen2.5 Technical Report](https://arxiv.org/pdf/2412.15115) 555 | * __Authors__: 556 | - Expert: Andrey Grabovoy 557 | - Consultant: Nikita Okhotnikov 558 | 559 | ## Задача 179 560 | * **Title:** Бандиты для Query selection 561 | * **Problem:** 562 | In today's world, tools are needed for efficient data processing. Databases underlie all such systems, but as their complexity increases, the task of **Query Optimization** arises. In this paper, you will have to figure out this problem, implement a solution based on the Multi-Armed Bandits method proposed in [4], and also suggest a way to improve the proposed algorithm. 563 | * **Data:** 564 | Will be determined after the algorithm is developed. 565 | * **Reference:** 566 | - [1] Hazan E. et al. Introduction to online convex optimization //Foundations and Trends® in Optimization. – 2016. – Vol. 2. – No. 3-4. – Pp. 157-325. 567 | - [2] Cesa-Bianchi N., Lugosi G. Prediction, learning, and games. – Cambridge University Press, 2006. 568 | - [3] Bandits M. A. Introduction to Multi-Armed Bandits. 569 | - [4] Marcus R. et al. Bao: Making learned query optimization practical //Proceedings of the 2021 International Conference on Management of Data. – 2021. – С. 1275-1288. 570 | * **Baseline:** 571 | Implement [4] and check it in work. 572 | * **Proposed solution:** 573 | To implement contextual bandit algorithm in [4]. Improve the quality using contextual bandits. 574 | * **Novelty:** 575 | There is a rumour, that the result in [4] is not reproduced in practice. It is necessary to check this and suggest an improvement. 576 | * **Authors:** 577 | - Expert Yuriy Dorn 578 | - Consultant: Ilgam Latypov 579 | 596 | ## Задача 181 597 | * __Название__: Эволюционный метод создания ансамбля нейронных сетей с использованием предикаторных функций 598 | * __Задача__: Ансамбли нейронных сетей обладают более высоким предсказательным потенциалом по сравнению с одиночными нейронными сетями. Однако пространство возможных архитектур нейронных сетей само по себе огромно, а пространство поиска ансамблей растет экспоненциально с увеличением размера ансамбля. Это делает задачу поиска оптимального ансамбля крайне ресурсоемкой. Таким образом, необходимо разработать методы эффективного поиска ансамблей, которые минимизируют вычислительные затраты. 599 | * __Данные__: 600 | - [CIFAR-100](https://pytorch.org/vision/main/generated/torchvision.datasets.CIFAR100.html) — стандартный датасет для задач классификации изображений. 601 | - [AE-CNN-code](https://github.com/yn-sun/cnn-ga) — код эволюционного алгоритма, на базе которого предлагается проводить исследования. 602 | * __Литература__: 603 | - [1] [AE-CNN](https://ieeexplore.ieee.org/abstract/document/9075201) — современный (SOTA) эволюционный алгоритм для поиска архитектуры нейронной сети. 604 | - [2] [E2EPP](https://ieeexplore.ieee.org/abstract/document/8744404) — пример эволюционного алгоритма с предикаторной функцией для поиска одной архитектуры. 605 | - [3] [SSENAS](https://www.aimspress.com/aimspress-data/era/2024/2/PDF/era-32-02-050.pdf) — использование предикаторной функции для оценки сходства моделей, однако в статье рассматривается поиск только одной модели. 606 | * __Базовый алгоритм__: Сравнение ансамбля с одиночной моделью, полученной с помощью эволюционного алгоритма. Сравнение предложенного метода построения ансамбля с другими методами создания ансамблей. 607 | * __Предлагаемое решение__: В работе предлагается разработать алгоритм создания ансамбля нейронных сетей на основе одного из современных подходов к поиску архитектур — эволюционного алгоритма с использованием суррогатных функций. Эти функции будут использоваться для оценки предсказательной способности моделей. Основной акцент будет сделан на исследовании суррогатной функции, которая сможет отбирать для следующего поколения не только архитектуры с высокой предсказательной способностью, но и достаточно разнообразные, чтобы обеспечить эффективность ансамбля. 608 | * __Новизна__: Исследование свойств суррогатной функции для построения оптимального ансамбля. 609 | * __Авторы__: 610 | * Эксперт: Бахтеев Олег 611 | * Консультант: Бабкин Пётр 612 | 613 | ## Задача 182 614 | * __Название__: Сходимость поверхности функции потерь в трансформерных архитектурах нейронных сетей 615 | * __Задача__: Обучение нейронной сети подразумевает поиск точки минимума функции потерь, которая задает поверхность в пространстве параметров модели. Свойства этой поверхности определяются выбранной архитектурой, функцией потерь, а также данными для обучения. Существующие исследования показывают, что с ростом числа объектов в выборке поверхность функции потерь перестает значимо меняться. В работе предлагается получить оценку на сходимость поверхности функции потерь для трансформерной архитектуры нейронной сети со слоями внимания, а также провести вычислительные эксперименты, подтверждающие полученные теоретические результаты. 616 | * __Литература__: 617 | - [1] [Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes](https://arxiv.org/abs/2409.11995): в работе предлагается использовать Гессиан нейронной сети для оценки сходимости, доказываются результаты для полносвязной сети 618 | - [2] [Attention Is All You Need](https://arxiv.org/abs/1706.03762): базовая работа по архитектуре трансформер и механизму внимания 619 | - [3] [An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale](https://arxiv.org/abs/2010.11929): применение трансформерных архитектур для классификации изоражений — Vision Transformer (ViT) 620 | * __Данные__: Предлагается проводить вычислительный эксперимент на задаче классификации изображений [3], используя наборы данных 621 | - [MNIST](https://pytorch.org/vision/0.20/generated/torchvision.datasets.MNIST.html#torchvision.datasets.MNIST) 622 | - [FashionMNIST](https://pytorch.org/vision/0.20/generated/torchvision.datasets.FashionMNIST.html#torchvision.datasets.FashionMNIST) 623 | - [CIFAR10](https://pytorch.org/vision/0.20/generated/torchvision.datasets.CIFAR10.html#torchvision.datasets.CIFAR10) 624 | - [CIFAR100](https://pytorch.org/vision/0.20/generated/torchvision.datasets.CIFAR100.html#torchvision.datasets.CIFAR100) 625 | * __Базовый алгоритм__: Использовать подход, предложенный в [1], при этом рассмотреть вместо последовательности линейных слоев один трансформерный блок с механизмом внимания [2] 626 | * __Решение__: 627 | - Рассмотреть нейронную сеть, состояющую из последовательности трансформеных блоков с механизмом внимания, представить ее в виде произведения матричных преобразований 628 | - Используя полученное представление, вывести формулу для Гессиана функции потерь в задаче многоклассовой классификации 629 | - Свести оценку абсолютной разности функции потерь к норме разности Гессианов в точке локального минимума 630 | * __Новизна__: Ранее никем не были получены такие оценки сходимости. Развитие исследований в этом направлении позволит связать размер модели и необходимое количество данных для ее обучения. 631 | * __Авторы__: 632 | - Консультант: Никита Киселев (tg: [@kisnikser](https://t.me/kisnikser)) 633 | - Эксперт: Андрей Грабовой 634 | 635 | ## Задача 183 636 | * __Название__: Сравнение Монте-Карло оценок в различных низкоразмерных подпространствах для оценки сходимости поверхности функции потерь 637 | * __Задача__: Обучение нейронной сети подразумевает поиск точки минимума функции потерь, которая задает поверхность в пространстве параметров модели. Свойства этой поверхности определяются выбранной архитектурой, функцией потерь, а также данными для обучения. Существующие исследования показывают, что с ростом числа объектов в выборке поверхность функции потерь перестает значимо меняться. Один из возможных способов практической оценки сходимости — численно измерять изменение поверхности в окрестности локальных минимумов. Делать это можно, например, методом Монте-Карло, однако сэмплирование в пространстве параметров модели осложняется его большой размерностью. В работе предлагается сравнить несколько подпространств, в которых можно производить сэмплирование: натянутое на случайные вектора, собственное подпространство Гессиана нейронной сети и другие. Вычислительный эксперимент на задаче классификации изображений позволит обозначить практическое применение предложенных методов. 638 | * __Литература__: 639 | - [1] [Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes](https://arxiv.org/abs/2409.11995): в работе предлагается использовать Гессиан нейронной сети для оценки сходимости, доказываются результаты для полносвязной сети 640 | - [2] Работа консультанта и эксперта, находящаяся на стадии подачи в журнал: наиболее релевантная к теме задачи 641 | * __Данные__: Предлагается проводить вычислительный эксперимент на задаче классификации изображений, используя наборы данных 642 | - [MNIST](https://pytorch.org/vision/0.20/generated/torchvision.datasets.MNIST.html#torchvision.datasets.MNIST) 643 | - [FashionMNIST](https://pytorch.org/vision/0.20/generated/torchvision.datasets.FashionMNIST.html#torchvision.datasets.FashionMNIST) 644 | - [CIFAR10](https://pytorch.org/vision/0.20/generated/torchvision.datasets.CIFAR10.html#torchvision.datasets.CIFAR10) 645 | - [CIFAR100](https://pytorch.org/vision/0.20/generated/torchvision.datasets.CIFAR100.html#torchvision.datasets.CIFAR100) 646 | * __Базовый алгоритм__: Случайно выбирать несколько направлений в пространстве параметров, а затем сэмплировать точки в подпространстве, натянутом на эти вектора. Теоретические результаты и код для базового эксперимента в определенном виде уже имеются. 647 | * __Решение__: 648 | - Расширить уже полученные результаты [2] для сэмплирования во всем пространстве параметров, вводя матрицу проективного преобразования на выбранное подпространство 649 | - Рассматривая различные матрицы проекции, сравнить между собой эти способы с точки зрения оценки на скорость сходимости поверхности функции потерь [1] 650 | * __Новизна__: Ранее никем не проводилось такое сравнение. Развитие исследований в этом направлении позволит связать размер модели и необходимое количество данных для ее обучения. 651 | * __Авторы__: 652 | - Консультант: Никита Киселев (tg: [@kisnikser](https://t.me/kisnikser)) 653 | - Эксперт: Андрей Грабовой 654 | 655 | ## Problem 184 656 | * __Title__: Metric analysis of deep network space parameters 657 | * __Problem__: The structure of a neural work is exhaustive. The dimensionality of the parameter space should be reduced. The autoencoder in the subject of the investigation. Due to the continuous-time nature of the data, we analyze several types of autoencoders. We reconstruct spatial-time data, minimizing the error. 658 | * __Data__: 659 | * Synthetic data sine for 2D visualizaion of the parameter distributions 660 | * Accelerometer quasiperiodic data 661 | * Limb movement quasiperiodic data (if any) 662 | * Video periodic data (cartoon, walking persona) 663 | * Video, fMRI, ECoG from the s41597-022-01173-0 664 | * __References__: 665 | * [SSA and Hankel matrix construction](http://strijov.com/papers/Grabovoy2019QuasiPeriodicTimeSeries.pdf) or in [wiki](https://en.wikipedia.org/wiki/Singular_spectrum_analysis) 666 | * [Open multimodal iEEG-fMRI dataset from naturalistic stimulation](https://www.nature.com/articles/s41597-022-01173-0) 667 | * [Variational autoencoders to estimate parameters](https://arxiv.org/pdf/1606.05908.pdf) 668 | * RNN in the [5G book](https://arxiv.org/abs/2104.13478) 669 | * [Neural CDE](https://bit.ly/NeuroCDE) 670 | * __Baseline__: RNN-like variational autoencoder in the criteria: error vs. complexity (number of parameters) 671 | * __Roadmap__: 672 | * Prepare data so that the reconstruction work on a basic model (like SSA) 673 | * Estimate expectation and covariance of parameters (using VAE or else, to be discussed) 674 | * Reduce dimensionality, plot the error/complexity, plot the covariance 675 | * Run RNN-like model, plot 676 | * Assign the expectation and covariation matrix to each neuron of the model 677 | * Plot the parameter space regarding covariance as its metric tensor (end of minimum part) 678 | * Suggest a dimensionality reduction algorithm (naive part) 679 | * Run Neuro ODE/CDE model and plot the parameter space 680 | * Analyse the data distribution as the normalized flow 681 | * Suggest the parameter space modification in terms of the normalized flow (paradoxical part, diffusion model is needed) 682 | * Compare all models according to the criterion error/complexity (max part) 683 | * Construct the decoder model for any pair of data like fMRI-ECoG tensor and neuro CDE (supermax part) 684 | * __Proposed solution__: description of the idea to implement in the project 685 | * __Novelty__: Continous-time models are supposed to be simple due to their periodic nature. Since they approximate the vector fields, these models are universal. The model selection for the continuous time is not considered now, but at the time, it is acute for wearable multimedia devices for metaverse and augmented reality. 686 | * __Supergoal__ To join two encoders in a signal decoding model to reveal the connection between video and fMRI, between fMRI and ECoG. 687 | * __Authors__: Expert Стрижов, consultant Ernest Nasyrov 688 | 689 | ## Problem 185 690 | * **Title** 691 | Operator learning in PINN 692 | * **Problem** 693 | Many machine learning tasks require working with operators over multidimensional vectors. For example, when working on images, the task is to find an operator that transforms the discretized image into another vector: in the case of a classification task, a probabilistic vector, and in the case of generation, it will also be the image space. If the dimensionality of the space is large, it makes sense to represent the image as a function on the coordinates, yielding a color from the RGB space. A similar problem exists for physical systems. Unlike images, they operate in three-dimensional space. And it is impossible to discretize the space for them. In a general way, this problem is solved by Operator Learning. In this problem, it is proposed to learn an operator on a continuous space. It is proposed to extend this idea to physical systems. The ultimate goal is to provide an efficient solution that compresses the space in which the operator operates, analogous to PCA for matrices. 694 | * **Data** 695 | - [1] MacCallum S, Merchant C (2011) Arc-lake v1.1-per-lake, 1995–2009 [https://doi.org/10.7488/ds/159](https://doi.org/10.7488/ds/159) 696 | - [2] Reiss, A. (2012). PAMAP2 Physical Activity Monitoring [Dataset]. UCI Machine Learning Repository. [https://doi.org/10.24432/C5NW2H](https://doi.org/10.24432/C5NW2H) 697 | - [3] Bousseljot R, Kreiseler D, Schnabel, A. Nutzung der EKG-Signaldatenbank CARDIODAT der PTB über das Internet. Biomedizinische Technik, Band 40, Ergänzungsband 1 (1995) S 317[https://doi.org/10.13026/C28C71](https://doi.org/10.13026/C28C71) 698 | * **Reference** 699 | - [1] Kovachki, Nikola B., Samuel Lanthaler, and Andrew M. Stuart. "Operator learning: Algorithms and analysis." arXiv preprint arXiv:2402.15715 (2024). [https://doi.org/10.48550/arXiv.2402.15715](https://doi.org/10.48550/arXiv.2402.15715) 700 | - [2] Palummo, A., Arnone, E., Formaggia, L. et al. Functional principal component analysis for incomplete space–time data. Environ Ecol Stat 31, 555–582 (2024). [https://doi.org/10.1007/s10651-024-00598-7](https://doi.org/10.1007/s10651-024-00598-7) 701 | - [3] Gruber, Anthony, and Irina Tezaur. "Canonical and noncanonical Hamiltonian operator inference." Computer Methods in Applied Mechanics and Engineering 416 (2023): 116334. [https://doi.org/10.1016/j.cma.2023.116334](https://doi.org/10.1016/j.cma.2023.116334) 702 | - [4] Olivieri, M., Karakonstantis, X., Pezzoli, M. et al. Physics-informed neural network for volumetric sound field reconstruction of speech signals. J AUDIO SPEECH MUSIC PROC. 2024, 42 (2024). [https://doi.org/10.1186/s13636-024-00366-2](https://doi.org/10.1186/s13636-024-00366-2) 703 | * **Baseline** 704 | Apply The Fourier operator or other similar operator and use this transformation to predict the time series. 705 | * **Proposed solution** 706 | Using an operator learning framework, propose a solution for different types of operators used in physics, image analysis, etc. Propose an idea to implement ICA to reduce the dimensionality of an operator to compute it in an efficient way. 707 | * **Novelity** 708 | There are no soluton to learning the operators used in physics. 709 | * **Authors** 710 | - Expert: Стрижов 711 | - Consultant: Alexander Terentyev 712 | 713 | ## Задача 186 714 | * __Название__: Исследование нестационарных и неоднородных динамических систем 715 | * __Задача__: По временным рядам будем восстанавливать порождающую динамическую систему и смотреть, зависят ли её свойства от времени или более общего множества параметров. Как пример, можно взять показатели акселерометра легкоатлета и их поведение во времени, зависимость от физической подготовки и т.д. В ходе работы выразим математически "степень" неоднородности системы; по восстановленным фазовым траекториям будем оценивать параметры "неоднородности", находить точки разладки; нарисуем красивые фазовые кривые. 716 | * __Данные__: сгенерируем синтетику + примеры реальных данных: [Run or Walk](https://www.kaggle.com/datasets/vmalyi/run-or-walk), [The Weather Dataset](https://www.kaggle.com/datasets/guillemservera/global-daily-climate-data/data) 717 | * __Литература__: 718 | - [теорема Такенса](https://en.wikipedia.org/wiki/Takens%27s_theorem) 719 | - метод SSA на [wiki](https://en.wikipedia.org/wiki/Singular_spectrum_analysis) и [от его авторов](https://www.gistatgroup.com/gus/ssa_an.pdf) 720 | - [Neural ODE](https://arxiv.org/abs/1806.07366) 721 | - Grabovoy A. V., Strijov V. V. [Quasi-periodic time series clustering for human activity recognition](https://m1p.org/papers/Grabovoy2019QuasiPeriodicTimeSeries.pdf), Lobachevskii Journal of Mathematics. – 2020. 722 | - ваши знания диффуров 723 | * __Базовой алгоритм__: [поиск разладки через SSA](https://en.wikipedia.org/wiki/Singular_spectrum_analysis#Detection_of_structural_changes), метод А. Грабового (см. работу выше) 724 | * __Решение__: 725 | 1. Используем SSA (a.k.a. теорему Такенеса + PCA), чтобы восстановить фазовые траектории скрытой динамической системы, которая порождает наблюдаемые временные ряды. Также этот метод поможет оценить "эффективную" размерность фазового пространства. 726 | 2. Если наблюдаем зависимость фазового пространства от времени/других параметров, то система неоднородна. 727 | 3. На основе изменения фазового пространства возможен инференс состояния системы по фазовым траекториям, определение разладки. В простых случаях визуально выразим поведение системы на разных режимах. 728 | 729 | Предстоит математически сформулировать проблему, определить все сущности и найти решение. Также будем проверять нашу теорию на синтетических и реальных рядах. 730 | * __Новизна__: заключается в неоднородности рассматриваемой системы, а также объединения ML-подходов и теории динамических систем 731 | * __Авторы__: 732 | - Консультант: Кирилл Сёмкин 733 | - Эксперт: Стрижов 734 | 735 | ## Задача 187 736 | * __Title__: Hybrid Memory System for Personalized AI Agent Responses Using Knowledge Graphs 737 | * __Problem__: Modern AI assistants, particularly in banking risk assessment, require personalized and context-aware interactions. However, they often lack effective memory mechanisms for recalling and utilizing past interactions, leading to impersonalized responses. This research develops a hybrid memory system that integrates short-term and long-term memory to improve personalization while maintaining computational efficiency. The proposed system combines short-term memory for preserving recent interactions and long-term memory for accumulating knowledge. Knowledge graphs (AriGraph) structure semantic and episodic memory, while an intelligent memory selection mechanism dynamically adjusts storage strategies based on interaction complexity and computational constraints. Additionally, triplets and subgraphs from the knowledge graph are transformed into structured memory storage for efficient retrieval and response generation. 738 | * __Data__: The study uses open-source datasets. Potential sources include banking risk assessment interaction logs, knowledge graph datasets such as Wikidata and DBpedia, and conversation datasets. 739 | * __Reference__: 740 | - Li, X., Wang, S., Zeng, S., Wu, Y., & Yang, Y. (2024). A survey on LLM-based multi-agent systems: workflow, infrastructure, and challenges. Vicinagearth, 1(1), p.9. 741 | - Huang, X., Liu, W., Chen, X., Wang, X., Wang, H., Lian, D., Wang, Y., Tang, R., & Chen, E. (2024). Understanding the planning of LLM agents: A survey. arXiv preprint arXiv:2402.02716. 742 | - Anokhin, P., Semenov, N., Sorokin, A., Evseev, D., Burtsev, M., & Burnaev, E. (2024). Arigraph: Learning knowledge graph world models with episodic memory for LLM agents. arXiv preprint arXiv:2407.04363. 743 | - Hu, M., Chen, T., Chen, Q., Mu, Y., Shao, W., & Luo, P. (2024). Hiagent: Hierarchical working memory management for solving long-horizon agent tasks with large language models. arXiv preprint arXiv:2408.09559. 744 | * __Baseline__: The baseline approaches compared with the proposed solution include retrieval-augmented generation (RAG), and hierarchical memory models like Hiagent. 745 | * __Proposed solution__: The research develops a hybrid memory system integrating different approaches for structured memory management. A modular architecture combines short-term (context-aware) and long-term (knowledge-based) memory with an intelligent selection mechanism optimizing retrieval efficiency. Knowledge graph triplets and subgraphs are transformed into structured memory representations. 746 | Experimental validation on a banking risk assessment AI assistant evaluates personalization, retrieval efficiency, and response quality. Performance metrics include retrieval time, contextual accuracy using semantic similarity metrics, and storage efficiency versus response accuracy trade-offs. 747 | * __Authors__: 748 | - Consultant: Ivan Novikov - Ph.D stident at MIPT 749 | Seminarist on Quantitative Finance, research Scientist at Skolkovo. 750 | Consultant at InteRData and Scientific Programming Centre. 751 | Participated in 7 industrial projects for banks and steel industry. 752 | 753 | ## Задача 188 754 | * __Title__: Multi-Agent Simulation for Economic and Social Behavior Modeling: From Individual Agents to Synthetic Populations and Integrated Environments 755 | * __Problem__: 756 | This project aims to develop a multi-agent simulation framework to model social and economic behavior in financial contexts, progressively advancing from individual agent decision-making to population-scale interactions and a fully integrated simulation environment. The research is structured into three phases: 757 | - 1. Single-Agent Simulation: Modeling an LLM-based consumer agent that simulates decision-making, spatial mobility, and responses to financial stimuli. 758 | - 2. Synthetic Population Modeling: Extending the framework to generate a heterogeneous synthetic population with realistic socio-economic characteristics and network interactions. 759 | - 3. Integrated Multi-Agent Environment: Creating a large-scale, data-driven simulation that incorporates real socio-economic data, spatial topology, and agent synchronization for financial behavior analysis. 760 | 761 | This research bridges the gap between theoretical consumer behavior models and empirical financial decision-making. The findings can be applied in banking, financial risk assessment, and economic policy optimization. 762 | * __Data__: The computational experiments will use the following datasets: 763 | - Nielsen Consumer Panel Data – Consumer purchase behavior and spending trends. 764 | - Public Census and Financial Data – Socio-economic and demographic datasets. 765 | - Bank Transactional Data (Anonymized) – Patterns in financial decisions and responses to market changes. 766 | - GIS Data for Spatial Analysis – Geospatial information to model mobility and location-based financial decisions. 767 | * __Reference__: 768 | - Park et al. (2023). "Generative Agents: Interactive Simulacra of Human Behavior." 769 | - Leng, Y. (2024). "Can LLMs Mimic Human-Like Mental Accounting and Behavioral Biases?" 770 | - Wang, J. et al. (2024). "Large Language Models as Urban Residents: An LLM Agent Framework for Personal Mobility Generation." 771 | - Azamuke, D., et al. (2024). "MoMTSim: A Multi-agent-based Simulation Platform Calibrated for Mobile Money Transactions." IEEE Access. 772 | - Guo, T. et al. (2024). "Large Language Model-based Multi-Agents: A Survey of Progress and Challenges." arXiv. 773 | * __Baseline__: 774 | - 1. Baseline for agent-based simulations can be taken from AgentScope, an existing multi-agent framework optimized for large-scale simulations (arXiv:2407.17789). 775 | - 2. Existing financial decision models and LLM-based decision-making (Generative Agents). 776 | * __Proposed solution__: 777 | - Phase / Project 1: Individual LLM-Based Consumer Agent 778 | An LLM-based agent is developed with structured financial reasoning, decision-making capabilities, and adaptive learning. It models consumer behavior by optimizing budget constraints, managing credit usage, and responding to financial incentives such as banking offers and interest rate changes. The agent navigates a simulated financial environment, making purchasing decisions and interacting with virtual financial entities. Its behavior is validated by comparing simulation results with real-world consumer transaction data. 779 | 780 | - Phase / Project 2: Synthetic Population and Network Interactions 781 | A synthetic population is generated using LLM-based personas with diverse demographic, financial, and psychographic characteristics. Network structures such as small-world and scale-free models capture peer influence, social interactions, and collective financial trends. The system models the emergence of financial behaviors such as herd effects, viral banking trends, and shifts in credit adoption. The synthetic population’s behavior is compared with empirical financial datasets to ensure representativeness and realism. 782 | 783 | - Phase / Project 3: Large-Scale Multi-Agent Environment 784 | A spatially structured multi-agent system is developed, integrating GIS data to model consumer mobility in urban and regional settings. Agents interact dynamically with banking institutions, businesses, and financial markets, responding to real-time macroeconomic changes. The simulation incorporates real-world socio-economic data, enabling predictive modeling of financial behavior under different economic policies. Optimization techniques ensure the framework scales efficiently for large simulations. The model is validated against historical financial events and economic trends. 785 | * __Authors__ 786 | - Consultant: 787 | Ivan Novikov - Ph.D stident at MIPT 788 | Seminarist on Quantitative Finance, research Scientist at Skolkovo. 789 | Consultant at InteRData and Scientific Programming Centre. 790 | Participated in 7 industrial projects for banks and steel industry. 791 | 792 | ## Задача 189 793 | * __Title__: Learning to Rank problems 794 | * __Problem__: In the field of Learning-to-Rank (LTR), two key challenges persist: determining an appropriate surrogate loss function for training and designing an effective architecture for ranking problems. In this work, we address both aspects comprehensively. Leveraging the attention mechanism in transformers, we explicitly model the inter-document relationships directly within the neural network architecture, rather than relying solely on the loss function. Despite the conventional view that pointwise methods resign to pair- and listwise, we demonstrate that incorporating them into our transformer-based architecture yields promising results. Furthermore, we enhance the training process by introducing a ListNet-inspired term to the loss function, leading to our best performance, which significantly surpasses many state-of-the-art results. 795 | * __Data__: 796 | The links to the most popular datasets being used in l2r community are presented below: 797 | - https://www.tensorflow.org/datasets/catalog/istella?hl=ru 798 | - https://www.tensorflow.org/datasets/catalog/mslr_web?hl=ru 799 | * __Reference__: 800 | - [Links to the literature](https://arxiv.org/abs/2012.06731 801 | - https://arxiv.org/abs/2005.10084 802 | - https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/MSR-TR-2010-82.pdf (A must-have for understanding the basics)) 803 | * __Baseline__: We are unable to provide our code at this time as our paper is currently under review. However, we can outline the key components verbally. A related implementation that utilizes a transformer for ranking can be found here: https://github.com/allegro/allRank 804 | * __Proposed solution__: The idea of the proposed solution and methods for conducting the research. Ways of visualizing data and error analysis 805 | Exploring Different Architectures with Attention Mechanisms. 806 | In our study, we examined only a basic transformer architecture. However, GNNs or another neural networks may offer superior performance. 807 | 808 | Developing Novel Loss Functions. 809 | Our results demonstrated that even a pointwise approach can be effective when combined with attention mechanisms, sometimes outperforming other techniques. Extending this line of research by designing new loss functions tailored to these architectures could open new avenues for improvement and innovation. 810 | 811 | Incorporating Riemannian Optimization for Working with Unimodal Matrices. 812 | The PiRank paper employs permutation matrices as a core component of its approach. A promising idea is to integrate Riemannian optimization techniques into this framework to handle unimodal matrices more effectively. However, the feasibility and benefits of this approach require further investigation. 813 | * __Authors__: Sapronov Yuri, Aletov Vladimir 814 | 815 | 826 | 827 | ## Задача 191 828 | * __Title__: Synthetic generation of transactions data 829 | * __Problem__: Recently bank seriously improved modeling integrating SOTA models. However, some research still require experiments and/or datasets are sparse. Thus synthetic data generation is expected to be helpful for the task. 830 | * __Data__: No dataset available. We are on the way to access, but there is no certainty on that point. 831 | In case of any delay search of the dataset is a challenge 832 | * __Reference__: [Links to the literature](https://www.vldb.org/pvldb/vol17/p305-huang.pdf) Paper is dedicated to the timeseries data. The idea is apply the same (or similar) methods to transactions data. However, additional research required. This approach could be already tested) 833 | * __Baseline__: Cited paper has a link to the repo 834 | * __Proposed solution__: GAN or VAE for synthetic transactions generation 835 | * __Authors__: Taniushkina Daria 836 | 837 | 850 | 851 | 879 | 880 | 890 | 891 | 902 | 903 | 904 | 905 | 919 | 920 | 926 | 927 | 933 | 934 | 940 | 941 | 954 | 955 | 966 | 967 | 986 | 987 | 998 | 999 | 1016 | 1017 | 1031 | 1032 | 1044 | 1045 | 1056 | 1057 | 1060 | 1061 | 1064 | 1065 | 1073 | 1074 | 1107 | 1108 | ## Problem template (EN) 1109 | ## Problem 101 1110 | * __Title__: Title 1111 | * __Problem__: Problem description 1112 | * __Data__: Data description 1113 | * __Reference__: Links to the literature 1114 | * __Baseline__: baseline description 1115 | * __Proposed solution__: description of the idea to implement in the project 1116 | * __Novelty__: why the task is good and what does it bring to science? (for editorial board and reviewers) 1117 | * __Authors__: supervisors, consultants, experts 1118 | 1119 | ## Шаблон задачи (RU) 1120 | ## Задача 101 1121 | * __Название__: Название, под которым статья подается в журнал. 1122 | * __Задача__: Описание или постановка задачи. Желательна постановка в виде задачи оптимизации (в формате argmin). Также возможна ссылка на классическую постановку задачи. 1123 | * __Данные__: Краткое описание данных, используемых в вычислительном эксперименте, и ссылка на выборку. 1124 | * __Литература__: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме. 1125 | * __Базовой алгоритм__: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу. 1126 | * __Решение__: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма. 1127 | * __Новизна__: Обоснование новизны и значимости идей (для редколлегии и рецензентов журнала). 1128 | --------------------------------------------------------------------------------