├── CITATION.cff └── README.md /CITATION.cff: -------------------------------------------------------------------------------- 1 | cff-version: 1.2.0 2 | message: "If you use this dataset, please cite it as below." 3 | authors: 4 | - family-names: "Nesterov" 5 | given-names: "Alexandr" 6 | orcid: "https://orcid.org/0000-0003-1126-8099" 7 | - family-names: "Zubkova" 8 | given-names: "Galina" 9 | orcid: "https://orcid.org/0000-0001-9555-1689" 10 | title: "RuMedQ" 11 | version: 1.0.0 12 | date-released: 2021-11-17 13 | url: "https://github.com/sb-ai-lab/RuMedQ" -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # Dataset Card for RuMedQ 2 | 3 | ## Dataset Summary 4 | Russian Medical Questions Dataset (RuMedQ) is a synthetic dataset containing pairs of "symptom" - "medical question regarding this symptom", as well as a label, if the question generated by RuGPT3 corresponds to this symptom (1) or not (0). 5 | The dataset was synthesized using the RuGPT3 model trained on a small corpus of symptom-question pairs. 6 | After generation, the dataset was cleared of syntactically incorrect questions, some typos and gross errors of generation were corrected, an annotation of the correspondence of the question to the symptom was carried out. 7 | This dataset can be used for the following tasks: 8 | 1. To train models to generate medical questions from given symptoms, 9 | 2. As a benchmark in a Natural Language Inference task, where the symptom and the question act as a pair of sentences to be matched. 10 | 11 | ## Languages 12 | Russian 13 | 14 | ## Dataset Structure 15 | Data Instances 16 | 17 | { 18 | "symptom": "low mood", 19 | "question": "Does apathy often bother you?", 20 | "isCorrectQ": 1 21 | } 22 | 23 | Data Fields 24 | - symptom: a string feature 25 | - question: a string feature 26 | - isCorrectQ: a int32 feature (0 or 1) 27 | 28 | Data Shape 29 | 6053 lines, 3 columns 30 | ## Dataset Creation 31 | The dataset was synthesized using the RuGPT3 model trained on a small corpus of symptom-question pairs. After generation, the dataset was cleared of syntactically incorrect questions, some typos and gross errors of generation were corrected, an annotation of the correspondence of the question to the symptom was carried out. 32 | 33 | ## Annotations 34 | Annotation process 35 | The dataset is marked up by 2 annotators, whose task was to determine whether the question corresponds to the proposed symptom or not. By correspondence is understood that the question should be asked in such a way as to clarify whether the subject being asked has this particular symptom. The annotators marked up disjoint subsets of symptom-question pairs, so each pair is marked up by one annotator. In addition to the markup, the annotators made minor stylistic and grammatical corrections in the questions to bring them into the correct form. 36 | 37 | Who are the annotators? 38 | The annotators were specialists with medical or pharmaceutical education. 39 | 40 | ## Licensing Information 41 | The dataset is distributed under a license [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.en) 42 | 43 | ## Citation Information 44 | @misc{Nesterov_RuMedQ_2021, 45 | author = {Nesterov, Alexandr and Zubkova, Galina}, 46 | month = {11}, 47 | title = {{RuMedQ}}, 48 | url = {https://github.com/sb-ai-lab/RuMedQ}, 49 | version = {1.0.0}, 50 | year = {2021} 51 | } 52 | 53 | # Contributions 54 | This dataset was prepared by Alexander Nesterov, DS at Sber AI Lab 55 | This dataset was annotated by Galina Zubkova, PM at Sber AI Lab and Alexander Nesterov, DS at Sber AI Lab 56 | 57 | 58 | # Dataset Card for RuMedQ 59 | 60 | ## Dataset Summary 61 | Russian Medical Questions Dataset (RuMedQ) это синтетический датасет содержащий пары "симптом" - "медицинский вопрос, содержащий этот симптом", а также метку, соответствует ли вопрос исходному симптому (1) или нет (0). Датасет синтезирован при помощи модели RuGPT3 обученной на небольшом корпусе пар симптом-вопрос. После генерации датасет очищен от синтаксически некорректных вопросов, исправлены некоторые опечатки и грубые ошибки генерации, проведена аннотация соответствия вопроса исходному симптому. Данный датасет может использоваться в нескольких задачах: 62 | 1. Для обучения моделей для генерации медицинских вопросов из заданных симптомов, 63 | 2. В качестве бенчмарка в задаче Natural Language Inference, где симптом и вопрос выступают в качестве пары предложений, соответствие которых нужно определить. 64 | 65 | ## Languages 66 | Russian 67 | 68 | ## Dataset Structure 69 | Data Instances 70 | 71 | { 72 | "symptom": "Сниженное настроение", 73 | "question": "Часто ли вас беспокоит апатия?", 74 | "isCorrectQ": 1 75 | } 76 | 77 | Data Fields 78 | - symptom: a string feature 79 | - question: a string feature 80 | - isCorrectQ: a int32 feature (0 or 1) 81 | 82 | Data Shape 83 | 6053 строки, 3 колонки 84 | 85 | 86 | ## Dataset Creation 87 | Датасет синтезирован при помощи модели RuGPT3 обученной на небольшом корпусе пар симптом-вопрос. После генерации датасет очищен от синтаксически некорректных вопросов, исправлены некоторые опечатки и грубые ошибки генерации, проведена аннотация соответствия вопроса исходному симптому. 88 | 89 | ## Annotations 90 | Annotation process 91 | Датасет размечен 2 аннотаторами, задачей которых было определение, соответствует ли вопрос исходному симптому или нет. Под соответствием понимается, что вопрос должен быть задан таким образом, чтобы уточнить, есть ли исходный симптом у субъекта, которому задается вопрос. Аннотаторы размечали не пересекающиеся подмножества пар симптом-вопрос, таким образом каждая пара аннотирована одним аннотатором. Кроме разметки аннотаторы выполняли небольшие стилистические и грамматические исправления в вопросах, для приведения из в корректную форму. 92 | 93 | Who are the annotators? 94 | В качестве аннотаторов выступали специалисты, имеющие медицинское или фармацевтическое образование. 95 | 96 | ## Licensing Information 97 | Датасет распространяется по лицензии [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.en) 98 | 99 | ## Citation Information 100 | @misc{Nesterov_RuMedQ_2021, 101 | author = {Nesterov, Alexandr and Zubkova, Galina}, 102 | month = {11}, 103 | title = {{RuMedQ}}, 104 | url = {https://github.com/sb-ai-lab/RuMedQ}, 105 | version = {1.0.0}, 106 | year = {2021} 107 | } 108 | 109 | # Contributions 110 | Датасет создан Нестеровым Алекстандром, ведущим исследователем данных лаборатории по искусственному интеллекту Сбера 111 | Датасет аннотирован Зубковой Галиной, менеджером проектов лаборатории по искусственному интеллекту Сбера и Нестеровым Александром 112 | --------------------------------------------------------------------------------