├── figs └── AutoSeq.png ├── scripts ├── t5_man.sh ├── t5_man_eng.sh ├── t5_prompt_tuning.sh ├── t5_full_fine_tuning.sh ├── t5_fine_tuning.sh ├── t5_word.sh ├── t5_seq.sh └── sort_mapping.sh ├── auto_label_words ├── subj │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-87.score.txt │ ├── 16-100.score.txt │ ├── 16-13.score.txt │ ├── 16-42.score.txt │ └── 16-21.score.txt ├── mr │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-13.txt │ ├── 16-21.txt │ ├── 16-13.sort.txt │ ├── 16-21.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-87.score.txt │ ├── 16-21.score.txt │ ├── 16-13.score.txt │ ├── 16-100.score.txt │ └── 16-42.score.txt ├── cr │ ├── 16-21.txt │ ├── 16-87.txt │ ├── 16-100.txt │ ├── 16-21.sort.txt │ ├── 16-87.sort.txt │ ├── 16-100.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-100.score.txt │ ├── 16-21.score.txt │ ├── 16-87.score.txt │ ├── 16-13.score.txt │ └── 16-42.score.txt ├── COPA │ ├── 16-42.txt │ ├── 16-21.txt │ ├── 16-42.sort.txt │ ├── 16-87.txt │ ├── 16-100.txt │ ├── 16-21.sort.txt │ ├── 16-87.sort.txt │ ├── 16-100.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-42.score.txt │ ├── 16-87.score.txt │ ├── 16-100.score.txt │ ├── 16-21.score.txt │ └── 16-13.score.txt ├── MultiRC │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-87.txt │ ├── 16-42.txt │ ├── 16-87.sort.txt │ ├── 16-42.sort.txt │ ├── 16-100.txt │ ├── 16-13.txt │ ├── 16-100.sort.txt │ ├── 16-13.sort.txt │ ├── 16-21.score.txt │ ├── 16-87.score.txt │ ├── 16-42.score.txt │ ├── 16-100.score.txt │ └── 16-13.score.txt ├── mpqa │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-42.txt │ ├── 16-13.txt │ ├── 16-42.sort.txt │ ├── 16-100.txt │ ├── 16-13.sort.txt │ ├── 16-100.sort.txt │ ├── 16-21.score.txt │ ├── 16-87.score.txt │ ├── 16-42.score.txt │ ├── 16-13.score.txt │ └── 16-100.score.txt ├── MRPC │ ├── 16-42.txt │ ├── 16-21.txt │ ├── 16-42.sort.txt │ ├── 16-87.txt │ ├── 16-100.txt │ ├── 16-21.sort.txt │ ├── 16-87.sort.txt │ ├── 16-100.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-42.score.txt │ ├── 16-21.score.txt │ ├── 16-100.score.txt │ ├── 16-87.score.txt │ └── 16-13.score.txt ├── STS-B │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-42.txt │ ├── 16-13.txt │ ├── 16-21.txt │ ├── 16-42.sort.txt │ ├── 16-13.sort.txt │ ├── 16-21.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-100.score.txt │ ├── 16-42.score.txt │ ├── 16-13.score.txt │ ├── 16-21.score.txt │ └── 16-87.score.txt ├── CoLA │ ├── 16-21.txt │ ├── 16-42.txt │ ├── 16-21.sort.txt │ ├── 16-42.sort.txt │ ├── 16-87.txt │ ├── 16-100.txt │ ├── 16-13.txt │ ├── 16-87.sort.txt │ ├── 16-100.sort.txt │ ├── 16-13.sort.txt │ ├── 16-21.score.txt │ ├── 16-42.score.txt │ ├── 16-100.score.txt │ ├── 16-87.score.txt │ └── 16-13.score.txt ├── SST-2 │ ├── 16-100.txt │ ├── 16-13.txt │ ├── 16-100.sort.txt │ ├── 16-13.sort.txt │ ├── 16-42.txt │ ├── 16-87.txt │ ├── 16-42.sort.txt │ ├── 16-87.sort.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-100.score.txt │ ├── 16-13.score.txt │ ├── 16-42.score.txt │ ├── 16-87.score.txt │ └── 16-21.score.txt ├── QQP │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-13.score.txt │ ├── 16-42.score.txt │ ├── 16-21.score.txt │ ├── 16-87.score.txt │ └── 16-100.score.txt ├── WiC │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-42.txt │ ├── 16-100.txt │ ├── 16-42.sort.txt │ ├── 16-100.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-87.score.txt │ ├── 16-42.score.txt │ ├── 16-100.score.txt │ ├── 16-13.score.txt │ └── 16-21.score.txt └── BoolQ │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-100.score.txt │ ├── 16-42.score.txt │ ├── 16-13.score.txt │ ├── 16-21.score.txt │ └── 16-87.score.txt ├── auto_label_sequences ├── CoLA │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-100.txt │ ├── 16-21.txt │ ├── 16-100.sort.txt │ ├── 16-21.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-13.score.txt │ ├── 16-87.score.txt │ ├── 16-100.score.txt │ ├── 16-21.score.txt │ └── 16-42.score.txt ├── COPA │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ ├── 16-87.score.txt │ ├── 16-13.score.txt │ ├── 16-42.score.txt │ ├── 16-100.score.txt │ └── 16-21.score.txt ├── MultiRC │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-42.score.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ └── 16-87.score.txt ├── mpqa │ ├── 16-87.txt │ ├── 16-21.txt │ ├── 16-87.sort.txt │ ├── 16-21.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-87.score.txt │ └── 16-21.score.txt ├── STS-B │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-21.txt │ ├── 16-21.sort.txt │ └── 16-42.score.txt ├── cr │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-100.txt │ ├── 16-100.sort.txt │ ├── 16-42.txt │ └── 16-42.sort.txt ├── QQP │ ├── 16-21.txt │ ├── 16-13.txt │ ├── 16-21.sort.txt │ ├── 16-13.sort.txt │ ├── 16-87.txt │ ├── 16-87.sort.txt │ ├── 16-42.txt │ ├── 16-42.sort.txt │ ├── 16-100.txt │ └── 16-100.sort.txt ├── BoolQ │ ├── 16-87.txt │ ├── 16-42.txt │ ├── 16-87.sort.txt │ ├── 16-21.txt │ ├── 16-42.sort.txt │ └── 16-21.sort.txt ├── MRPC │ ├── 16-13.txt │ ├── 16-13.sort.txt │ ├── 16-21.txt │ ├── 16-42.txt │ ├── 16-21.sort.txt │ ├── 16-42.sort.txt │ ├── 16-100.txt │ └── 16-100.sort.txt └── mr │ ├── 16-21.txt │ └── 16-21.sort.txt └── requirements.txt /figs/AutoSeq.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/thunlp/Seq2Seq-Prompt/HEAD/figs/AutoSeq.png -------------------------------------------------------------------------------- /scripts/t5_man.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for bs in 2 4 8 4 | do 5 | for lr in 2e-5 6e-5 9e-5 6 | do 7 | TAG=exp-man-$task \ 8 | TYPE=prompt \ 9 | TASK=$task \ 10 | BS=$bs \ 11 | LR=$lr \ 12 | SEED=$seed \ 13 | MODEL=google/t5-v1_1-base \ 14 | bash scripts/run_experiment_man.sh 15 | done 16 | done 17 | done -------------------------------------------------------------------------------- /scripts/t5_man_eng.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for bs in 2 4 8 4 | do 5 | for lr in 2e-5 6e-5 9e-5 6 | do 7 | TAG=exp-man-eng-$task \ 8 | TYPE=prompt \ 9 | TASK=$task \ 10 | BS=$bs \ 11 | LR=$lr \ 12 | SEED=$seed \ 13 | MODEL=google/t5-v1_1-base \ 14 | bash scripts/run_experiment_man_eng.sh 15 | done 16 | done 17 | done -------------------------------------------------------------------------------- /scripts/t5_prompt_tuning.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for bs in 2 4 8 4 | do 5 | for lr in 2e-5 6e-5 9e-5 6 | do 7 | TAG=exp-pt-$task \ 8 | TYPE=tprompt \ 9 | TASK=$task \ 10 | BS=$bs \ 11 | LR=$lr \ 12 | SEED=$seed \ 13 | MODEL=google/t5-v1_1-base \ 14 | bash scripts/run_experiment_man.sh 15 | done 16 | done 17 | done -------------------------------------------------------------------------------- /scripts/t5_full_fine_tuning.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for bs in 8 4 | do 5 | for lr in 8e-5 6 | do 7 | TAG=exp-full-fine-tuning-$task \ 8 | TYPE=fprompt \ 9 | TASK=$task \ 10 | BS=$bs \ 11 | LR=$lr \ 12 | SEED=$seed \ 13 | MODEL=google/t5-v1_1-base \ 14 | bash scripts/run_experiment_fine_tuning.sh 15 | done 16 | done 17 | done -------------------------------------------------------------------------------- /scripts/t5_fine_tuning.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for bs in 2 4 8 4 | do 5 | for lr in 7e-5 1e-4 2e-4 6 | do 7 | TAG=exp-fine-tuning-$task \ 8 | TYPE=fprompt \ 9 | TASK=$task \ 10 | BS=$bs \ 11 | LR=$lr \ 12 | SEED=$seed \ 13 | MODEL=google/t5-v1_1-base \ 14 | bash scripts/run_experiment_fine_tuning_k.sh 15 | done 16 | done 17 | done -------------------------------------------------------------------------------- /scripts/t5_word.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for bs in 2 4 8 4 | do 5 | for lr in 2e-5 6e-5 9e-5 6 | do 7 | TAG=exp-autoword-$task \ 8 | TYPE=prompt \ 9 | TASK=$task \ 10 | BS=$bs \ 11 | LR=$lr \ 12 | SEED=$seed \ 13 | MODEL=google/t5-v1_1-base \ 14 | bash scripts/run_experiment.sh "--mapping_path auto_label_words/$task/16-$seed.sort.txt --mapping_id 0" 15 | done 16 | done 17 | done -------------------------------------------------------------------------------- /scripts/t5_seq.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for bs in 2 4 8 4 | do 5 | for lr in 2e-5 6e-5 9e-5 6 | do 7 | TAG=exp-autoseq-$task \ 8 | TYPE=prompt \ 9 | TASK=$task \ 10 | BS=$bs \ 11 | LR=$lr \ 12 | SEED=$seed \ 13 | MODEL=google/t5-v1_1-base \ 14 | bash scripts/run_experiment.sh "--mapping_path auto_label_sequences/$task/16-$seed.sort.txt --mapping_id 0" 15 | done 16 | done 17 | done -------------------------------------------------------------------------------- /auto_label_words/subj/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: '"', 1: '.'} 2 | {0: ')', 1: '.'} 3 | {0: 'C', 1: '.'} 4 | {0: "'", 1: '.'} 5 | {0: '-', 1: '.'} 6 | {0: ',', 1: '.'} 7 | {0: 'R', 1: '.'} 8 | {0: '*', 1: '.'} 9 | {0: 'V', 1: '.'} 10 | {0: 'W', 1: '.'} 11 | {0: 'J', 1: '.'} 12 | {0: 'So', 1: '.'} 13 | {0: 'K', 1: '.'} 14 | {0: '--', 1: '.'} 15 | {0: 'Just', 1: '.'} 16 | {0: 'P', 1: '.'} 17 | {0: 'Bravo', 1: '.'} 18 | {0: 'M', 1: '.'} 19 | {0: 'No', 1: '.'} 20 | {0: 'Un', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'R'} 2 | {0: '.', 1: 'V'} 3 | {0: '.', 1: '#'} 4 | {0: '.', 1: 'C'} 5 | {0: '.', 1: 'W'} 6 | {0: '.', 1: 'Re'} 7 | {0: '.', 1: 'T'} 8 | {0: '.', 1: 'Thanks'} 9 | {0: '.', 1: '('} 10 | {0: '.', 1: 'D'} 11 | {0: '.', 1: 'Bravo'} 12 | {0: '.', 1: 'M'} 13 | {0: '.', 1: 'P'} 14 | {0: '.', 1: 'H'} 15 | {0: '.', 1: ','} 16 | {0: '.', 1: '5'} 17 | {0: '.', 1: 'S'} 18 | {0: '.', 1: 'Best'} 19 | {0: '.', 1: 'com'} 20 | {0: '.', 1: 'O'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'J', 1: '.'} 2 | {0: 'R', 1: '.'} 3 | {0: '*', 1: '.'} 4 | {0: 'W', 1: '.'} 5 | {0: ')', 1: '.'} 6 | {0: "'", 1: '.'} 7 | {0: 'C', 1: '.'} 8 | {0: 'No', 1: '.'} 9 | {0: 'K', 1: '.'} 10 | {0: 'P', 1: '.'} 11 | {0: 'Un', 1: '.'} 12 | {0: 'Just', 1: '.'} 13 | {0: 'V', 1: '.'} 14 | {0: '"', 1: '.'} 15 | {0: 'So', 1: '.'} 16 | {0: 'Bravo', 1: '.'} 17 | {0: 'M', 1: '.'} 18 | {0: ',', 1: '.'} 19 | {0: '--', 1: '.'} 20 | {0: '-', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'Thanks'} 2 | {0: '.', 1: '#'} 3 | {0: '.', 1: 'com'} 4 | {0: '.', 1: '('} 5 | {0: '.', 1: 'Bravo'} 6 | {0: '.', 1: 'Best'} 7 | {0: '.', 1: 'M'} 8 | {0: '.', 1: 'W'} 9 | {0: '.', 1: 'S'} 10 | {0: '.', 1: 'V'} 11 | {0: '.', 1: 'C'} 12 | {0: '.', 1: '5'} 13 | {0: '.', 1: 'D'} 14 | {0: '.', 1: 'R'} 15 | {0: '.', 1: 'Re'} 16 | {0: '.', 1: 'P'} 17 | {0: '.', 1: 'T'} 18 | {0: '.', 1: ','} 19 | {0: '.', 1: 'O'} 20 | {0: '.', 1: 'H'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: '@', 1: '.'} 2 | {0: ')', 1: '.'} 3 | {0: '(', 1: '.'} 4 | {0: '*', 1: '.'} 5 | {0: 'Please', 1: '.'} 6 | {0: 'So', 1: '.'} 7 | {0: 'I', 1: '.'} 8 | {0: '_', 1: '.'} 9 | {0: 'Just', 1: '.'} 10 | {0: 'Un', 1: '.'} 11 | {0: 'Only', 1: '.'} 12 | {0: 'Re', 1: '.'} 13 | {0: 'Also', 1: '.'} 14 | {0: 'Still', 1: '.'} 15 | {0: 'so', 1: '.'} 16 | {0: 'A', 1: '.'} 17 | {0: 'But', 1: '.'} 18 | {0: 'In', 1: '.'} 19 | {0: 'and', 1: '.'} 20 | {0: 'Hi', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: '@', 1: '.'} 2 | {0: 'Un', 1: '.'} 3 | {0: 'NOT', 1: '.'} 4 | {0: 'T', 1: '.'} 5 | {0: 'Still', 1: '.'} 6 | {0: 'Only', 1: '.'} 7 | {0: 'Please', 1: '.'} 8 | {0: 'in', 1: '.'} 9 | {0: 'I', 1: '.'} 10 | {0: 'P', 1: '.'} 11 | {0: 'G', 1: '.'} 12 | {0: 'My', 1: '.'} 13 | {0: 'com', 1: '.'} 14 | {0: 'And', 1: '.'} 15 | {0: 'H', 1: '.'} 16 | {0: 'Re', 1: '.'} 17 | {0: 'No', 1: '.'} 18 | {0: 'In', 1: '.'} 19 | {0: 'LOL', 1: '.'} 20 | {0: 'lol', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'Hello', 1: '.'} 2 | {0: 'Un', 1: '.'} 3 | {0: 'NOT', 1: '.'} 4 | {0: 'Try', 1: '.'} 5 | {0: 'I', 1: '.'} 6 | {0: 'Dis', 1: '.'} 7 | {0: 'Re', 1: '.'} 8 | {0: 'no', 1: '.'} 9 | {0: 'N', 1: '.'} 10 | {0: 'New', 1: '.'} 11 | {0: 'Im', 1: '.'} 12 | {0: 'P', 1: '.'} 13 | {0: 'Only', 1: '.'} 14 | {0: 'H', 1: '.'} 15 | {0: 'and', 1: '.'} 16 | {0: 'Please', 1: '.'} 17 | {0: 'And', 1: '.'} 18 | {0: 'In', 1: '.'} 19 | {0: 'G', 1: '.'} 20 | {0: 'My', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'So', 1: '.'} 2 | {0: '@', 1: '.'} 3 | {0: 'Un', 1: '.'} 4 | {0: 'so', 1: '.'} 5 | {0: 'Only', 1: '.'} 6 | {0: 'Still', 1: '.'} 7 | {0: 'A', 1: '.'} 8 | {0: 'Please', 1: '.'} 9 | {0: '_', 1: '.'} 10 | {0: '*', 1: '.'} 11 | {0: 'Just', 1: '.'} 12 | {0: 'Re', 1: '.'} 13 | {0: '(', 1: '.'} 14 | {0: 'But', 1: '.'} 15 | {0: 'Hi', 1: '.'} 16 | {0: ')', 1: '.'} 17 | {0: 'I', 1: '.'} 18 | {0: 'In', 1: '.'} 19 | {0: 'and', 1: '.'} 20 | {0: 'Also', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '@', 1: '.'} 2 | {0: 'Please', 1: '.'} 3 | {0: 'Only', 1: '.'} 4 | {0: 'Still', 1: '.'} 5 | {0: 'NOT', 1: '.'} 6 | {0: 'com', 1: '.'} 7 | {0: 'No', 1: '.'} 8 | {0: 'LOL', 1: '.'} 9 | {0: 'Re', 1: '.'} 10 | {0: 'lol', 1: '.'} 11 | {0: 'Un', 1: '.'} 12 | {0: 'T', 1: '.'} 13 | {0: 'My', 1: '.'} 14 | {0: 'in', 1: '.'} 15 | {0: 'G', 1: '.'} 16 | {0: 'P', 1: '.'} 17 | {0: 'H', 1: '.'} 18 | {0: 'And', 1: '.'} 19 | {0: 'In', 1: '.'} 20 | {0: 'I', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'R', 1: '.'} 2 | {0: 'W', 1: '.'} 3 | {0: 'A', 1: '.'} 4 | {0: 'So', 1: '.'} 5 | {0: 'V', 1: '.'} 6 | {0: 'C', 1: '.'} 7 | {0: 'Just', 1: '.'} 8 | {0: 'No', 1: '.'} 9 | {0: ',', 1: '.'} 10 | {0: 'Really', 1: '.'} 11 | {0: 'Un', 1: '.'} 12 | {0: 'P', 1: '.'} 13 | {0: 'De', 1: '.'} 14 | {0: 'And', 1: '.'} 15 | {0: 'F', 1: '.'} 16 | {0: 'Bravo', 1: '.'} 17 | {0: 'Only', 1: '.'} 18 | {0: 'and', 1: '.'} 19 | {0: 'Dis', 1: '.'} 20 | {0: 'Great', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: '.'} 2 | {0: 'No', 1: '?'} 3 | {0: 'No', 1: 'And'} 4 | {0: 'Not', 1: '.'} 5 | {0: 'But', 1: '.'} 6 | {0: 'My', 1: '.'} 7 | {0: 'Not', 1: '?'} 8 | {0: 'But', 1: '?'} 9 | {0: 'His', 1: '.'} 10 | {0: 'Oh', 1: '.'} 11 | {0: 'After', 1: '.'} 12 | {0: 'My', 1: '?'} 13 | {0: 'Well', 1: '.'} 14 | {0: 'Ha', 1: '.'} 15 | {0: '!', 1: '.'} 16 | {0: 'Me', 1: '.'} 17 | {0: 'Un', 1: '.'} 18 | {0: 'NO', 1: '.'} 19 | {0: 'Hi', 1: '.'} 20 | {0: 'Instead', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: '1.', 1: '.'} 2 | {0: '•', 1: '.'} 3 | {0: '1.', 1: 'To'} 4 | {0: '*', 1: '.'} 5 | {0: '1.', 1: 'to'} 6 | {0: '1.', 1: '?'} 7 | {0: '1.', 1: "'"} 8 | {0: '1.', 1: 'by'} 9 | {0: '1.', 1: 'U'} 10 | {0: '1.', 1: 'From'} 11 | {0: '1.', 1: 'T'} 12 | {0: '1.', 1: 'the'} 13 | {0: '1.', 1: ')'} 14 | {0: '1.', 1: '['} 15 | {0: '1.', 1: '—'} 16 | {0: '1.', 1: 'P'} 17 | {0: '1.', 1: 'and'} 18 | {0: '1.', 1: 'J'} 19 | {0: '1.', 1: 'Answer'} 20 | {0: '1.', 1: 'M'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'no', 1: '.'} 2 | {0: 'My', 1: '.'} 3 | {0: 'Hello', 1: '.'} 4 | {0: 'N', 1: '.'} 5 | {0: 'P', 1: '.'} 6 | {0: 'Please', 1: '.'} 7 | {0: 'G', 1: '.'} 8 | {0: 'Dis', 1: '.'} 9 | {0: 'Un', 1: '.'} 10 | {0: 'NOT', 1: '.'} 11 | {0: 'Im', 1: '.'} 12 | {0: 'H', 1: '.'} 13 | {0: 'Only', 1: '.'} 14 | {0: 'Try', 1: '.'} 15 | {0: 'New', 1: '.'} 16 | {0: 'Re', 1: '.'} 17 | {0: 'And', 1: '.'} 18 | {0: 'In', 1: '.'} 19 | {0: 'and', 1: '.'} 20 | {0: 'I', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: '['} 2 | {0: '.', 1: 'New'} 3 | {0: '.', 1: 'the'} 4 | {0: '.', 1: 'Best'} 5 | {0: '.', 1: 'Excellent'} 6 | {0: '.', 1: 'more'} 7 | {0: '.', 1: '10'} 8 | {0: '.', 1: 'Most'} 9 | {0: '.', 1: 'My'} 10 | {0: '.', 1: 'From'} 11 | {0: '.', 1: 'Movie'} 12 | {0: '.', 1: 'En'} 13 | {0: '.', 1: 'D'} 14 | {0: '.', 1: ','} 15 | {0: '.', 1: 'S'} 16 | {0: '.', 1: 'Un'} 17 | {0: '.', 1: 'Bravo'} 18 | {0: '.', 1: 'P'} 19 | {0: '.', 1: 'and'} 20 | {0: '.', 1: 'N'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'and'} 2 | {0: '.', 1: 'more'} 3 | {0: '.', 1: 'the'} 4 | {0: '.', 1: 'so'} 5 | {0: '.', 1: 'Bravo'} 6 | {0: '.', 1: 's'} 7 | {0: '.', 1: 'in'} 8 | {0: '.', 1: 'Big'} 9 | {0: '.', 1: 'a'} 10 | {0: '.', 1: 'All'} 11 | {0: '.', 1: 'E'} 12 | {0: '.', 1: 'New'} 13 | {0: '.', 1: 'from'} 14 | {0: '.', 1: 'In'} 15 | {0: '.', 1: 'Simply'} 16 | {0: '.', 1: 'H'} 17 | {0: '.', 1: 'More'} 18 | {0: '.', 1: 'My'} 19 | {0: '.', 1: 'And'} 20 | {0: '.', 1: 'S'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Dis', 1: '.'} 2 | {0: 'De', 1: '.'} 3 | {0: 'Really', 1: '.'} 4 | {0: 'Bravo', 1: '.'} 5 | {0: 'No', 1: '.'} 6 | {0: 'Great', 1: '.'} 7 | {0: 'And', 1: '.'} 8 | {0: 'F', 1: '.'} 9 | {0: 'R', 1: '.'} 10 | {0: 'P', 1: '.'} 11 | {0: 'Just', 1: '.'} 12 | {0: 'So', 1: '.'} 13 | {0: 'W', 1: '.'} 14 | {0: 'A', 1: '.'} 15 | {0: 'Only', 1: '.'} 16 | {0: 'C', 1: '.'} 17 | {0: 'Un', 1: '.'} 18 | {0: 'V', 1: '.'} 19 | {0: 'and', 1: '.'} 20 | {0: ',', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: 'R', 1: '.'} 2 | {0: 'So', 1: '.'} 3 | {0: 'J', 1: '.'} 4 | {0: 'Thanks', 1: '.'} 5 | {0: 'Really', 1: '.'} 6 | {0: 'Bravo', 1: '.'} 7 | {0: 'Just', 1: '.'} 8 | {0: 'No', 1: '.'} 9 | {0: 'Un', 1: '.'} 10 | {0: 'And', 1: '.'} 11 | {0: 'Some', 1: '.'} 12 | {0: 'C', 1: '.'} 13 | {0: 'F', 1: '.'} 14 | {0: 'P', 1: '.'} 15 | {0: 'Great', 1: '.'} 16 | {0: 'Most', 1: '.'} 17 | {0: 'New', 1: '.'} 18 | {0: 'H', 1: '.'} 19 | {0: 'M', 1: '.'} 20 | {0: 'En', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 's'} 2 | {0: 'Cause', 1: 's'} 3 | {0: 'But', 1: 's'} 4 | {0: 'No', 1: '.'} 5 | {0: 'No', 1: 'I'} 6 | {0: 'Cause', 1: '.'} 7 | {0: 'Cause', 1: 'I'} 8 | {0: 'But', 1: '.'} 9 | {0: 'No', 1: '?'} 10 | {0: 'But', 1: 'I'} 11 | {0: 'or', 1: 's'} 12 | {0: 'Or', 1: 's'} 13 | {0: 'Also', 1: 's'} 14 | {0: 'Cause', 1: '?'} 15 | {0: 'Yes', 1: 's'} 16 | {0: 'And', 1: 's'} 17 | {0: 'But', 1: '?'} 18 | {0: '2.', 1: 's'} 19 | {0: 'The', 1: 's'} 20 | {0: 'or', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: '.'} 2 | {0: 'Instead', 1: '.'} 3 | {0: 'But', 1: '?'} 4 | {0: 'But', 1: '.'} 5 | {0: '!', 1: '.'} 6 | {0: 'Hi', 1: '.'} 7 | {0: 'After', 1: '.'} 8 | {0: 'Well', 1: '.'} 9 | {0: 'Me', 1: '.'} 10 | {0: 'NO', 1: '.'} 11 | {0: 'My', 1: '?'} 12 | {0: 'My', 1: '.'} 13 | {0: 'Un', 1: '.'} 14 | {0: 'Not', 1: '.'} 15 | {0: 'Oh', 1: '.'} 16 | {0: 'Ha', 1: '.'} 17 | {0: 'Not', 1: '?'} 18 | {0: 'No', 1: '?'} 19 | {0: 'His', 1: '.'} 20 | {0: 'No', 1: 'And'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: '.'} 2 | {0: 'But', 1: '.'} 3 | {0: 'And', 1: '.'} 4 | {0: 'He', 1: '.'} 5 | {0: 'She', 1: '.'} 6 | {0: 'Not', 1: '.'} 7 | {0: 'However', 1: '.'} 8 | {0: 'Instead', 1: '.'} 9 | {0: ',', 1: '.'} 10 | {0: 'The', 1: '.'} 11 | {0: 'T', 1: '.'} 12 | {0: 'To', 1: '.'} 13 | {0: 'While', 1: '.'} 14 | {0: 'Now', 1: '.'} 15 | {0: 'the', 1: '.'} 16 | {0: 'Yes', 1: '.'} 17 | {0: 'Her', 1: '.'} 18 | {0: 'His', 1: '.'} 19 | {0: 'I', 1: '.'} 20 | {0: 'W', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '1.', 1: 'U'} 2 | {0: '1.', 1: '?'} 3 | {0: '1.', 1: '.'} 4 | {0: '1.', 1: 'Answer'} 5 | {0: '1.', 1: 'and'} 6 | {0: '1.', 1: "'"} 7 | {0: '1.', 1: 'the'} 8 | {0: '1.', 1: 'From'} 9 | {0: '1.', 1: 'P'} 10 | {0: '1.', 1: 'T'} 11 | {0: '1.', 1: '['} 12 | {0: '1.', 1: 'M'} 13 | {0: '1.', 1: 'J'} 14 | {0: '1.', 1: ')'} 15 | {0: '1.', 1: '—'} 16 | {0: '1.', 1: 'To'} 17 | {0: '•', 1: '.'} 18 | {0: '1.', 1: 'by'} 19 | {0: '*', 1: '.'} 20 | {0: '1.', 1: 'to'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: '1.', 1: 'Two'} 2 | {0: '1.', 1: 'When'} 3 | {0: '1.', 1: "'"} 4 | {0: '1.', 1: 'T'} 5 | {0: '1.', 1: 'And'} 6 | {0: '1.', 1: 'An'} 7 | {0: '1.', 1: 'S'} 8 | {0: '1.', 1: 'G'} 9 | {0: '1.', 1: 'De'} 10 | {0: '1.', 1: '?'} 11 | {0: '1.', 1: 'Answer'} 12 | {0: '1.', 1: 'Me'} 13 | {0: '1.', 1: 'W'} 14 | {0: '1.', 1: 'As'} 15 | {0: '1.', 1: 'H'} 16 | {0: '1.', 1: '-'} 17 | {0: '1.', 1: 'In'} 18 | {0: '1.', 1: '('} 19 | {0: '1.', 1: '—'} 20 | {0: '1.', 1: 'O'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'Excellent'} 2 | {0: '.', 1: 'Bravo'} 3 | {0: '.', 1: 'From'} 4 | {0: '.', 1: 'En'} 5 | {0: '.', 1: 'more'} 6 | {0: '.', 1: 'Best'} 7 | {0: '.', 1: '10'} 8 | {0: '.', 1: 'My'} 9 | {0: '.', 1: 'D'} 10 | {0: '.', 1: ','} 11 | {0: '.', 1: 'P'} 12 | {0: '.', 1: 'N'} 13 | {0: '.', 1: 'the'} 14 | {0: '.', 1: 'Most'} 15 | {0: '.', 1: 'Movie'} 16 | {0: '.', 1: 'and'} 17 | {0: '.', 1: '['} 18 | {0: '.', 1: 'New'} 19 | {0: '.', 1: 'S'} 20 | {0: '.', 1: 'Un'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'All'} 2 | {0: '.', 1: 'Bravo'} 3 | {0: '.', 1: 'New'} 4 | {0: '.', 1: 'Simply'} 5 | {0: '.', 1: 'and'} 6 | {0: '.', 1: 'In'} 7 | {0: '.', 1: 'Big'} 8 | {0: '.', 1: 'E'} 9 | {0: '.', 1: 'S'} 10 | {0: '.', 1: 'so'} 11 | {0: '.', 1: 'from'} 12 | {0: '.', 1: 'the'} 13 | {0: '.', 1: 'more'} 14 | {0: '.', 1: 'in'} 15 | {0: '.', 1: 'a'} 16 | {0: '.', 1: 'More'} 17 | {0: '.', 1: 'My'} 18 | {0: '.', 1: 'And'} 19 | {0: '.', 1: 'H'} 20 | {0: '.', 1: 's'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Thanks', 1: '.'} 2 | {0: 'Bravo', 1: '.'} 3 | {0: 'Great', 1: '.'} 4 | {0: 'Really', 1: '.'} 5 | {0: 'Some', 1: '.'} 6 | {0: 'And', 1: '.'} 7 | {0: 'So', 1: '.'} 8 | {0: 'J', 1: '.'} 9 | {0: 'Just', 1: '.'} 10 | {0: 'Most', 1: '.'} 11 | {0: 'Un', 1: '.'} 12 | {0: 'No', 1: '.'} 13 | {0: 'R', 1: '.'} 14 | {0: 'F', 1: '.'} 15 | {0: 'M', 1: '.'} 16 | {0: 'P', 1: '.'} 17 | {0: 'New', 1: '.'} 18 | {0: 'H', 1: '.'} 19 | {0: 'C', 1: '.'} 20 | {0: 'En', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: '?', 1: 'No'} 2 | {0: '?', 1: 'The'} 3 | {0: '?', 1: 'And'} 4 | {0: '.', 1: 'No'} 5 | {0: '?', 1: 'Or'} 6 | {0: '?', 1: 'Not'} 7 | {0: '?', 1: 'Because'} 8 | {0: '?', 1: 'or'} 9 | {0: '?', 1: 'and'} 10 | {0: '?', 1: 'Yes'} 11 | {0: '?', 1: 'But'} 12 | {0: '?', 1: 'As'} 13 | {0: '?', 1: 'He'} 14 | {0: '?', 1: 'Was'} 15 | {0: '?', 1: 'Cause'} 16 | {0: '?', 1: 'When'} 17 | {0: '?', 1: 'She'} 18 | {0: '?', 1: 'Her'} 19 | {0: '?', 1: 'To'} 20 | {0: '?', 1: 'Instead'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Cause', 1: '?'} 2 | {0: 'No', 1: '?'} 3 | {0: 'No', 1: 'I'} 4 | {0: 'No', 1: '.'} 5 | {0: 'No', 1: 's'} 6 | {0: 'or', 1: '.'} 7 | {0: 'or', 1: 's'} 8 | {0: 'The', 1: 's'} 9 | {0: 'Also', 1: 's'} 10 | {0: 'Cause', 1: '.'} 11 | {0: 'Or', 1: 's'} 12 | {0: 'But', 1: '.'} 13 | {0: 'Yes', 1: 's'} 14 | {0: 'But', 1: 's'} 15 | {0: 'But', 1: 'I'} 16 | {0: 'Cause', 1: 'I'} 17 | {0: 'Cause', 1: 's'} 18 | {0: 'And', 1: 's'} 19 | {0: 'But', 1: '?'} 20 | {0: '2.', 1: 's'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'While', 1: '.'} 2 | {0: 'To', 1: '.'} 3 | {0: 'Instead', 1: '.'} 4 | {0: 'Her', 1: '.'} 5 | {0: 'The', 1: '.'} 6 | {0: 'However', 1: '.'} 7 | {0: 'W', 1: '.'} 8 | {0: 'T', 1: '.'} 9 | {0: 'She', 1: '.'} 10 | {0: ',', 1: '.'} 11 | {0: 'He', 1: '.'} 12 | {0: 'the', 1: '.'} 13 | {0: 'But', 1: '.'} 14 | {0: 'No', 1: '.'} 15 | {0: 'His', 1: '.'} 16 | {0: 'Not', 1: '.'} 17 | {0: 'And', 1: '.'} 18 | {0: 'Now', 1: '.'} 19 | {0: 'I', 1: '.'} 20 | {0: 'Yes', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: 'The', 1: '1.'} 2 | {0: '•', 1: '1.'} 3 | {0: '--', 1: '1.'} 4 | {0: '*', 1: '1.'} 5 | {0: 'The', 1: '2.'} 6 | {0: ',', 1: '1.'} 7 | {0: 'The', 1: '3.'} 8 | {0: ':', 1: '1.'} 9 | {0: 'and', 1: '1.'} 10 | {0: '1', 1: '1.'} 11 | {0: 'From', 1: '1.'} 12 | {0: '2', 1: '1.'} 13 | {0: '10', 1: '1.'} 14 | {0: 'A', 1: '1.'} 15 | {0: 'De', 1: '1.'} 16 | {0: '7', 1: '1.'} 17 | {0: 'And', 1: '1.'} 18 | {0: '6', 1: '1.'} 19 | {0: 'As', 1: '1.'} 20 | {0: 'When', 1: '1.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '1.', 1: 'And'} 2 | {0: '1.', 1: 'Me'} 3 | {0: '1.', 1: '—'} 4 | {0: '1.', 1: 'O'} 5 | {0: '1.', 1: 'In'} 6 | {0: '1.', 1: '?'} 7 | {0: '1.', 1: 'W'} 8 | {0: '1.', 1: 'Two'} 9 | {0: '1.', 1: 'Answer'} 10 | {0: '1.', 1: 'De'} 11 | {0: '1.', 1: 'T'} 12 | {0: '1.', 1: 'As'} 13 | {0: '1.', 1: 'S'} 14 | {0: '1.', 1: '-'} 15 | {0: '1.', 1: "'"} 16 | {0: '1.', 1: '('} 17 | {0: '1.', 1: 'When'} 18 | {0: '1.', 1: 'G'} 19 | {0: '1.', 1: 'H'} 20 | {0: '1.', 1: 'An'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: '.'} 2 | {0: 'I', 1: '.'} 3 | {0: 'Please', 1: '.'} 4 | {0: 'Very', 1: '.'} 5 | {0: 'My', 1: '.'} 6 | {0: 'Super', 1: '.'} 7 | {0: 'Only', 1: '.'} 8 | {0: 'the', 1: '.'} 9 | {0: 'Un', 1: '.'} 10 | {0: 'Just', 1: '.'} 11 | {0: 'and', 1: '.'} 12 | {0: 'F', 1: '.'} 13 | {0: 'a', 1: '.'} 14 | {0: 'N', 1: '.'} 15 | {0: 'Excellent', 1: '.'} 16 | {0: 'more', 1: '.'} 17 | {0: 'And', 1: '.'} 18 | {0: 'En', 1: '.'} 19 | {0: 'Re', 1: '.'} 20 | {0: 'Really', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: '*', 1: '.'} 2 | {0: '[', 1: '.'} 3 | {0: 'The', 1: '.'} 4 | {0: 'C', 1: '.'} 5 | {0: '(', 1: '.'} 6 | {0: 'So', 1: '.'} 7 | {0: 'W', 1: '.'} 8 | {0: 'Great', 1: '.'} 9 | {0: 'More', 1: '.'} 10 | {0: 'Just', 1: '.'} 11 | {0: 'No', 1: '.'} 12 | {0: 'Very', 1: '.'} 13 | {0: 'Excellent', 1: '.'} 14 | {0: 'F', 1: '.'} 15 | {0: 'Really', 1: '.'} 16 | {0: 'P', 1: '.'} 17 | {0: 'Un', 1: '.'} 18 | {0: 'Another', 1: '.'} 19 | {0: 'Super', 1: '.'} 20 | {0: 'Some', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '?', 1: 'Yes'} 2 | {0: '?', 1: 'And'} 3 | {0: '?', 1: 'When'} 4 | {0: '?', 1: 'and'} 5 | {0: '?', 1: 'To'} 6 | {0: '?', 1: 'As'} 7 | {0: '?', 1: 'Or'} 8 | {0: '?', 1: 'He'} 9 | {0: '?', 1: 'or'} 10 | {0: '?', 1: 'Instead'} 11 | {0: '?', 1: 'No'} 12 | {0: '?', 1: 'She'} 13 | {0: '?', 1: 'Was'} 14 | {0: '?', 1: 'Because'} 15 | {0: '.', 1: 'No'} 16 | {0: '?', 1: 'But'} 17 | {0: '?', 1: 'Her'} 18 | {0: '?', 1: 'Not'} 19 | {0: '?', 1: 'Cause'} 20 | {0: '?', 1: 'The'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'A', 1: '1.'} 2 | {0: '10', 1: '1.'} 3 | {0: '6', 1: '1.'} 4 | {0: '7', 1: '1.'} 5 | {0: 'When', 1: '1.'} 6 | {0: 'De', 1: '1.'} 7 | {0: 'and', 1: '1.'} 8 | {0: 'The', 1: '3.'} 9 | {0: '1', 1: '1.'} 10 | {0: 'As', 1: '1.'} 11 | {0: 'And', 1: '1.'} 12 | {0: ',', 1: '1.'} 13 | {0: ':', 1: '1.'} 14 | {0: 'The', 1: '2.'} 15 | {0: 'The', 1: '1.'} 16 | {0: '2', 1: '1.'} 17 | {0: 'From', 1: '1.'} 18 | {0: '--', 1: '1.'} 19 | {0: '*', 1: '1.'} 20 | {0: '•', 1: '1.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Only', 1: '.'} 2 | {0: 'No', 1: '.'} 3 | {0: 'My', 1: '.'} 4 | {0: 'F', 1: '.'} 5 | {0: 'Excellent', 1: '.'} 6 | {0: 'Really', 1: '.'} 7 | {0: 'Very', 1: '.'} 8 | {0: 'I', 1: '.'} 9 | {0: 'Un', 1: '.'} 10 | {0: 'N', 1: '.'} 11 | {0: 'Super', 1: '.'} 12 | {0: 'Just', 1: '.'} 13 | {0: 'Re', 1: '.'} 14 | {0: 'En', 1: '.'} 15 | {0: 'and', 1: '.'} 16 | {0: 'more', 1: '.'} 17 | {0: 'Please', 1: '.'} 18 | {0: 'a', 1: '.'} 19 | {0: 'And', 1: '.'} 20 | {0: 'the', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Very', 1: '.'} 2 | {0: 'Great', 1: '.'} 3 | {0: 'No', 1: '.'} 4 | {0: 'Really', 1: '.'} 5 | {0: 'Just', 1: '.'} 6 | {0: 'More', 1: '.'} 7 | {0: 'Super', 1: '.'} 8 | {0: '[', 1: '.'} 9 | {0: 'Un', 1: '.'} 10 | {0: 'W', 1: '.'} 11 | {0: '*', 1: '.'} 12 | {0: 'F', 1: '.'} 13 | {0: 'Another', 1: '.'} 14 | {0: 'So', 1: '.'} 15 | {0: 'The', 1: '.'} 16 | {0: 'Some', 1: '.'} 17 | {0: '(', 1: '.'} 18 | {0: 'Excellent', 1: '.'} 19 | {0: 'C', 1: '.'} 20 | {0: 'P', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'No'} 2 | {0: '?', 1: 'No'} 3 | {0: '.', 1: 'But'} 4 | {0: '.', 1: 'Because'} 5 | {0: '?', 1: 'But'} 6 | {0: '?', 1: 'Because'} 7 | {0: '.', 1: 'Yes'} 8 | {0: '.', 1: 'NO'} 9 | {0: '.', 1: 'Or'} 10 | {0: '.', 1: 'Not'} 11 | {0: '.', 1: 'Actually'} 12 | {0: '.', 1: 'Cause'} 13 | {0: '.', 1: 'She'} 14 | {0: '.', 1: 'Yeah'} 15 | {0: '.', 1: 'Oh'} 16 | {0: '.', 1: 'What'} 17 | {0: '.', 1: 'Well'} 18 | {0: '.', 1: 'Why'} 19 | {0: '.', 1: 'no'} 20 | {0: '.', 1: 'However'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'The', 1: 'C'} 2 | {0: 'The', 1: '--'} 3 | {0: '1.', 1: 'C'} 4 | {0: '1.', 1: '--'} 5 | {0: 'The', 1: ','} 6 | {0: 'The', 1: 'D'} 7 | {0: 'The', 1: 'S'} 8 | {0: 'The', 1: '3.'} 9 | {0: 'The', 1: 'Answer'} 10 | {0: 'The', 1: '('} 11 | {0: 'The', 1: '-'} 12 | {0: '1.', 1: ','} 13 | {0: 'The', 1: '2.'} 14 | {0: 'The', 1: '4.'} 15 | {0: '1.', 1: 'D'} 16 | {0: '1.', 1: 'S'} 17 | {0: '1.', 1: '3.'} 18 | {0: 'The', 1: 'B'} 19 | {0: '1.', 1: 'Answer'} 20 | {0: 'The', 1: 'He'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: '•', 1: 'The'} 2 | {0: '1.', 1: 'The'} 3 | {0: '.', 1: 'The'} 4 | {0: '*', 1: 'The'} 5 | {0: '2.', 1: 'The'} 6 | {0: '3.', 1: 'The'} 7 | {0: ',', 1: 'The'} 8 | {0: '4.', 1: 'The'} 9 | {0: 'K', 1: 'The'} 10 | {0: '--', 1: 'The'} 11 | {0: '(', 1: 'The'} 12 | {0: 'and', 1: 'The'} 13 | {0: 'C', 1: 'The'} 14 | {0: '3', 1: 'The'} 15 | {0: 'And', 1: 'The'} 16 | {0: 'T', 1: 'The'} 17 | {0: '1)', 1: 'The'} 18 | {0: '4', 1: 'The'} 19 | {0: ':', 1: 'The'} 20 | {0: '2', 1: 'The'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: ':', 1: '.'} 2 | {0: ',', 1: '.'} 3 | {0: '?', 1: '.'} 4 | {0: 'very', 1: '.'} 5 | {0: 'just', 1: '.'} 6 | {0: 'pretty', 1: '.'} 7 | {0: 'that', 1: '.'} 8 | {0: 'quite', 1: '.'} 9 | {0: 'me', 1: '.'} 10 | {0: 'really', 1: '.'} 11 | {0: 'of', 1: '.'} 12 | {0: 'so', 1: '.'} 13 | {0: 'un', 1: '.'} 14 | {0: 'less', 1: '.'} 15 | {0: 'not', 1: '.'} 16 | {0: 'overall', 1: '.'} 17 | {0: '100%', 1: '.'} 18 | {0: 'extremely', 1: '.'} 19 | {0: 'up', 1: '.'} 20 | {0: 'about', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'no'} 2 | {0: '.', 1: 'Cause'} 3 | {0: '.', 1: 'However'} 4 | {0: '.', 1: 'She'} 5 | {0: '?', 1: 'Because'} 6 | {0: '.', 1: 'Oh'} 7 | {0: '?', 1: 'But'} 8 | {0: '.', 1: 'But'} 9 | {0: '.', 1: 'Yes'} 10 | {0: '.', 1: 'NO'} 11 | {0: '.', 1: 'Not'} 12 | {0: '.', 1: 'Why'} 13 | {0: '.', 1: 'Well'} 14 | {0: '.', 1: 'Yeah'} 15 | {0: '?', 1: 'No'} 16 | {0: '.', 1: 'Actually'} 17 | {0: '.', 1: 'What'} 18 | {0: '.', 1: 'No'} 19 | {0: '.', 1: 'Because'} 20 | {0: '.', 1: 'Or'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'The', 1: 'Answer'} 2 | {0: '1.', 1: 'Answer'} 3 | {0: 'The', 1: '('} 4 | {0: 'The', 1: '-'} 5 | {0: 'The', 1: ','} 6 | {0: 'The', 1: 'He'} 7 | {0: 'The', 1: '4.'} 8 | {0: 'The', 1: 'B'} 9 | {0: 'The', 1: '2.'} 10 | {0: 'The', 1: 'S'} 11 | {0: 'The', 1: '--'} 12 | {0: 'The', 1: '3.'} 13 | {0: '1.', 1: 'D'} 14 | {0: 'The', 1: 'D'} 15 | {0: 'The', 1: 'C'} 16 | {0: '1.', 1: '--'} 17 | {0: '1.', 1: ','} 18 | {0: '1.', 1: '3.'} 19 | {0: '1.', 1: 'S'} 20 | {0: '1.', 1: 'C'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '•', 1: 'The'} 2 | {0: 'K', 1: 'The'} 3 | {0: '.', 1: 'The'} 4 | {0: ':', 1: 'The'} 5 | {0: '3', 1: 'The'} 6 | {0: 'C', 1: 'The'} 7 | {0: '--', 1: 'The'} 8 | {0: 'and', 1: 'The'} 9 | {0: 'T', 1: 'The'} 10 | {0: '*', 1: 'The'} 11 | {0: '1)', 1: 'The'} 12 | {0: 'And', 1: 'The'} 13 | {0: '2.', 1: 'The'} 14 | {0: '(', 1: 'The'} 15 | {0: '4.', 1: 'The'} 16 | {0: ',', 1: 'The'} 17 | {0: '1.', 1: 'The'} 18 | {0: '3.', 1: 'The'} 19 | {0: '2', 1: 'The'} 20 | {0: '4', 1: 'The'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'pretty', 1: '.'} 2 | {0: ':', 1: '.'} 3 | {0: 'me', 1: '.'} 4 | {0: 'up', 1: '.'} 5 | {0: 'so', 1: '.'} 6 | {0: 'of', 1: '.'} 7 | {0: 'very', 1: '.'} 8 | {0: 'just', 1: '.'} 9 | {0: 'that', 1: '.'} 10 | {0: 'overall', 1: '.'} 11 | {0: 'about', 1: '.'} 12 | {0: '100%', 1: '.'} 13 | {0: 'less', 1: '.'} 14 | {0: 'un', 1: '.'} 15 | {0: '?', 1: '.'} 16 | {0: 'quite', 1: '.'} 17 | {0: 'not', 1: '.'} 18 | {0: 'extremely', 1: '.'} 19 | {0: 'really', 1: '.'} 20 | {0: ',', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: 'So', 1: '.'} 2 | {0: 'Really', 1: '.'} 3 | {0: 'Just', 1: '.'} 4 | {0: 'Bravo', 1: '.'} 5 | {0: 'Excellent', 1: '.'} 6 | {0: 'Thanks', 1: '.'} 7 | {0: 'No', 1: '.'} 8 | {0: 'Great', 1: '.'} 9 | {0: 'Very', 1: '.'} 10 | {0: 'Un', 1: '.'} 11 | {0: 'Best', 1: '.'} 12 | {0: 'An', 1: '.'} 13 | {0: 'F', 1: '.'} 14 | {0: 'Another', 1: '.'} 15 | {0: 'De', 1: '.'} 16 | {0: 'And', 1: '.'} 17 | {0: 'Please', 1: '.'} 18 | {0: 'My', 1: '.'} 19 | {0: 'P', 1: '.'} 20 | {0: 'Book', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Very', 1: '.'} 2 | {0: 'Best', 1: '.'} 3 | {0: 'Really', 1: '.'} 4 | {0: 'De', 1: '.'} 5 | {0: 'Great', 1: '.'} 6 | {0: 'No', 1: '.'} 7 | {0: 'Excellent', 1: '.'} 8 | {0: 'Thanks', 1: '.'} 9 | {0: 'Bravo', 1: '.'} 10 | {0: 'Un', 1: '.'} 11 | {0: 'Just', 1: '.'} 12 | {0: 'So', 1: '.'} 13 | {0: 'An', 1: '.'} 14 | {0: 'F', 1: '.'} 15 | {0: 'Another', 1: '.'} 16 | {0: 'Please', 1: '.'} 17 | {0: 'And', 1: '.'} 18 | {0: 'My', 1: '.'} 19 | {0: 'P', 1: '.'} 20 | {0: 'Book', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'The'} 2 | {0: '.', 1: 'Great'} 3 | {0: '.', 1: 'Excellent'} 4 | {0: '.', 1: 'Awesome'} 5 | {0: '.', 1: 'W'} 6 | {0: '.', 1: 'Amazing'} 7 | {0: '.', 1: 'com'} 8 | {0: '.', 1: 'Nice'} 9 | {0: '.', 1: 'Fantastic'} 10 | {0: '.', 1: 'Best'} 11 | {0: '.', 1: 'the'} 12 | {0: '.', 1: 'Most'} 13 | {0: '.', 1: 'Good'} 14 | {0: '.', 1: 'Happy'} 15 | {0: '.', 1: 'more'} 16 | {0: '.', 1: 'My'} 17 | {0: '.', 1: 'No'} 18 | {0: '.', 1: 'thanks'} 19 | {0: '.', 1: 'New'} 20 | {0: '.', 1: 'Really'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'Bravo'} 2 | {0: '.', 1: 'C'} 3 | {0: '.', 1: 'Thanks'} 4 | {0: '.', 1: 'com'} 5 | {0: '.', 1: 'Excellent'} 6 | {0: '.', 1: 'Book'} 7 | {0: '.', 1: 'Fantastic'} 8 | {0: '.', 1: 'Congratulations'} 9 | {0: '.', 1: 'P'} 10 | {0: '.', 1: 'H'} 11 | {0: '.', 1: 'D'} 12 | {0: '.', 1: 'Best'} 13 | {0: '.', 1: 'En'} 14 | {0: '.', 1: 'Really'} 15 | {0: '.', 1: 'and'} 16 | {0: '.', 1: '100%'} 17 | {0: '.', 1: 'Absolutely'} 18 | {0: '.', 1: 'New'} 19 | {0: '.', 1: 'M'} 20 | {0: '.', 1: 'the'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'Amazing'} 2 | {0: '.', 1: 'Excellent'} 3 | {0: '.', 1: 'more'} 4 | {0: '.', 1: 'No'} 5 | {0: '.', 1: 'My'} 6 | {0: '.', 1: 'thanks'} 7 | {0: '.', 1: 'Nice'} 8 | {0: '.', 1: 'com'} 9 | {0: '.', 1: 'Most'} 10 | {0: '.', 1: 'Happy'} 11 | {0: '.', 1: 'Best'} 12 | {0: '.', 1: 'Fantastic'} 13 | {0: '.', 1: 'Really'} 14 | {0: '.', 1: 'Great'} 15 | {0: '.', 1: 'Awesome'} 16 | {0: '.', 1: 'W'} 17 | {0: '.', 1: 'Good'} 18 | {0: '.', 1: 'The'} 19 | {0: '.', 1: 'New'} 20 | {0: '.', 1: 'the'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: ':', 1: '.'} 2 | {0: 'that', 1: '.'} 3 | {0: ',', 1: '.'} 4 | {0: 'mixed', 1: '.'} 5 | {0: 'this', 1: '.'} 6 | {0: 'negative', 1: '.'} 7 | {0: 'not', 1: '.'} 8 | {0: 'of', 1: '.'} 9 | {0: 'me', 1: '.'} 10 | {0: 'less', 1: '.'} 11 | {0: 'just', 1: '.'} 12 | {0: 'pretty', 1: '.'} 13 | {0: 'no', 1: '.'} 14 | {0: 'overwhelming', 1: '.'} 15 | {0: 'rather', 1: '.'} 16 | {0: 'total', 1: '.'} 17 | {0: 'quite', 1: '.'} 18 | {0: 'from', 1: '.'} 19 | {0: 'absolutely', 1: '.'} 20 | {0: 'strong', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'Excellent'} 2 | {0: '.', 1: 'Fantastic'} 3 | {0: '.', 1: '100%'} 4 | {0: '.', 1: 'Thanks'} 5 | {0: '.', 1: 'Bravo'} 6 | {0: '.', 1: 'com'} 7 | {0: '.', 1: 'Book'} 8 | {0: '.', 1: 'P'} 9 | {0: '.', 1: 'Absolutely'} 10 | {0: '.', 1: 'En'} 11 | {0: '.', 1: 'Really'} 12 | {0: '.', 1: 'and'} 13 | {0: '.', 1: 'Best'} 14 | {0: '.', 1: 'the'} 15 | {0: '.', 1: 'C'} 16 | {0: '.', 1: 'Congratulations'} 17 | {0: '.', 1: 'D'} 18 | {0: '.', 1: 'M'} 19 | {0: '.', 1: 'H'} 20 | {0: '.', 1: 'New'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'absolutely', 1: '.'} 2 | {0: 'less', 1: '.'} 3 | {0: 'not', 1: '.'} 4 | {0: 'that', 1: '.'} 5 | {0: 'negative', 1: '.'} 6 | {0: 'rather', 1: '.'} 7 | {0: 'from', 1: '.'} 8 | {0: 'total', 1: '.'} 9 | {0: 'this', 1: '.'} 10 | {0: 'overwhelming', 1: '.'} 11 | {0: 'no', 1: '.'} 12 | {0: 'of', 1: '.'} 13 | {0: 'just', 1: '.'} 14 | {0: ':', 1: '.'} 15 | {0: ',', 1: '.'} 16 | {0: 'mixed', 1: '.'} 17 | {0: 'me', 1: '.'} 18 | {0: 'quite', 1: '.'} 19 | {0: 'pretty', 1: '.'} 20 | {0: 'strong', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'Thanks'} 2 | {0: '.', 1: 'Very'} 3 | {0: '.', 1: '5'} 4 | {0: '.', 1: '100%'} 5 | {0: '.', 1: 'com'} 6 | {0: '.', 1: 'Really'} 7 | {0: '.', 1: '2'} 8 | {0: '.', 1: 'Great'} 9 | {0: '.', 1: 'Congratulations'} 10 | {0: '.', 1: '4'} 11 | {0: '.', 1: 'Congrats'} 12 | {0: '.', 1: 'Review'} 13 | {0: '.', 1: 'Absolutely'} 14 | {0: '.', 1: 'More'} 15 | {0: '.', 1: 'thanks'} 16 | {0: '.', 1: 'Excellent'} 17 | {0: '.', 1: 'Simply'} 18 | {0: '.', 1: 'Big'} 19 | {0: '.', 1: 'Many'} 20 | {0: '.', 1: 'LOL'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': '?', '1': 'T'} 2 | {'0': '?', '1': '???'} 3 | {'0': '?', '1': '*'} 4 | {'0': '?', '1': '('} 5 | {'0': '?', '1': 'C'} 6 | {'0': '?', '1': 'Yes'} 7 | {'0': '?', '1': 'As'} 8 | {'0': '?', '1': "'"} 9 | {'0': '?', '1': '['} 10 | {'0': '?', '1': 'L'} 11 | {'0': '?', '1': 'D'} 12 | {'0': '?', '1': 'M'} 13 | {'0': '?', '1': 'N'} 14 | {'0': '?', '1': 'A'} 15 | {'0': '?', '1': 'B'} 16 | {'0': '?', '1': 'H'} 17 | {'0': '?', '1': 'a'} 18 | {'0': '?', '1': 'R'} 19 | {'0': '?', '1': 'Re'} 20 | {'0': '?', '1': 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': ',', '1': '.'} 2 | {'0': ',', '1': '?'} 3 | {'0': 'A', '1': '.'} 4 | {'0': 'A', '1': '?'} 5 | {'0': '>', '1': '.'} 6 | {'0': 'No', '1': '.'} 7 | {'0': '!', '1': '.'} 8 | {'0': 'In', '1': '.'} 9 | {'0': '#', '1': '.'} 10 | {'0': 'M', '1': '.'} 11 | {'0': '•', '1': '.'} 12 | {'0': 'Or', '1': '.'} 13 | {'0': 'R', '1': '.'} 14 | {'0': 'W', '1': '.'} 15 | {'0': '*', '1': '.'} 16 | {'0': 'or', '1': '.'} 17 | {'0': 'D', '1': '.'} 18 | {'0': 'After', '1': '.'} 19 | {'0': 'An', '1': '.'} 20 | {'0': 'B', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'thanks'} 2 | {0: '.', 1: 'Congrats'} 3 | {0: '.', 1: 'Thanks'} 4 | {0: '.', 1: 'Very'} 5 | {0: '.', 1: 'Really'} 6 | {0: '.', 1: '100%'} 7 | {0: '.', 1: 'Congratulations'} 8 | {0: '.', 1: 'Excellent'} 9 | {0: '.', 1: 'Many'} 10 | {0: '.', 1: 'Absolutely'} 11 | {0: '.', 1: 'More'} 12 | {0: '.', 1: 'com'} 13 | {0: '.', 1: 'Big'} 14 | {0: '.', 1: '5'} 15 | {0: '.', 1: 'LOL'} 16 | {0: '.', 1: 'Simply'} 17 | {0: '.', 1: '4'} 18 | {0: '.', 1: '2'} 19 | {0: '.', 1: 'Review'} 20 | {0: '.', 1: 'Great'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'good'} 2 | {0: '.', 1: 'very'} 3 | {0: '.', 1: 'great'} 4 | {0: ':', 1: 'good'} 5 | {0: '.', 1: 'really'} 6 | {0: '.', 1: 'the'} 7 | {0: '.', 1: '100%'} 8 | {0: '.', 1: 'my'} 9 | {0: '.', 1: 'excellent'} 10 | {0: '.', 1: 'extremely'} 11 | {0: '.', 1: 'clear'} 12 | {0: '.', 1: 'fantastic'} 13 | {0: '.', 1: 'as'} 14 | {0: '.', 1: 'quite'} 15 | {0: '.', 1: 'right'} 16 | {0: '.', 1: 'correct'} 17 | {0: '.', 1: 'overall'} 18 | {0: '.', 1: 'true'} 19 | {0: '.', 1: 'better'} 20 | {0: '.', 1: 'extreme'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '1.'} 2 | {'0': '.', '1': '2.'} 3 | {'0': '.', '1': '3.'} 4 | {'0': '.', '1': '3.'} 5 | {'0': '.', '1': '5.'} 6 | {'0': '.', '1': '4.'} 7 | {'0': '.', '1': '.”'} 8 | {'0': '.', '1': ')'} 9 | {'0': '.', '1': '2'} 10 | {'0': '.', '1': '1'} 11 | {'0': '.', '1': '“'} 12 | {'0': '.', '1': '3'} 13 | {'0': '.', '1': '_'} 14 | {'0': '.', '1': '*'} 15 | {'0': '.', '1': '...”'} 16 | {'0': '.', '1': "'"} 17 | {'0': '.', '1': 'S'} 18 | {'0': '.', '1': 'And'} 19 | {'0': '.', '1': 'In'} 20 | {'0': '.', '1': 'I'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '1.'} 2 | {'0': '.', '1': '3.'} 3 | {'0': '.', '1': '2.'} 4 | {'0': '.', '1': '1'} 5 | {'0': '.', '1': '>'} 6 | {'0': '.', '1': '2'} 7 | {'0': '.', '1': '3'} 8 | {'0': '.', '1': '*'} 9 | {'0': '.', '1': 'M'} 10 | {'0': '.', '1': 'W'} 11 | {'0': '.', '1': 'Re'} 12 | {'0': '.', '1': 'H'} 13 | {'0': '.', '1': 'etc'} 14 | {'0': '.', '1': 'C'} 15 | {'0': '.', '1': 'Only'} 16 | {'0': '.', '1': 'A'} 17 | {'0': '.', '1': 'O'} 18 | {'0': '.', '1': 'Again'} 19 | {'0': '.', '1': 'Un'} 20 | {'0': '.', '1': 'P'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': '?', '1': 'The'} 2 | {'0': '?', '1': 'A'} 3 | {'0': '?', '1': 'O'} 4 | {'0': '?', '1': 'said'} 5 | {'0': '?', '1': 'C'} 6 | {'0': '?', '1': '['} 7 | {'0': '?', '1': 'N'} 8 | {'0': '?', '1': 'W'} 9 | {'0': '?', '1': 'No'} 10 | {'0': '?', '1': 'E'} 11 | {'0': '?', '1': 'The'} 12 | {'0': '?', '1': 'My'} 13 | {'0': '?', '1': 'An'} 14 | {'0': '?', '1': 'J'} 15 | {'0': '?', '1': 'M'} 16 | {'0': '?', '1': 'H'} 17 | {'0': '?', '1': 'D'} 18 | {'0': '?', '1': 'Yes'} 19 | {'0': '?', '1': 'Well'} 20 | {'0': '?', '1': 'L'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '?', '1': 'M'} 2 | {'0': '?', '1': '('} 3 | {'0': '?', '1': 'H'} 4 | {'0': '?', '1': 'a'} 5 | {'0': '?', '1': 'As'} 6 | {'0': '?', '1': 'R'} 7 | {'0': '?', '1': '???'} 8 | {'0': '?', '1': 'T'} 9 | {'0': '?', '1': 'Yes'} 10 | {'0': '?', '1': 'L'} 11 | {'0': '?', '1': 'C'} 12 | {'0': '?', '1': 'A'} 13 | {'0': '?', '1': '*'} 14 | {'0': '?', '1': 'No'} 15 | {'0': '?', '1': '['} 16 | {'0': '?', '1': 'Re'} 17 | {'0': '?', '1': 'N'} 18 | {'0': '?', '1': 'B'} 19 | {'0': '?', '1': "'"} 20 | {'0': '?', '1': 'D'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': 's', '1': '.'} 2 | {'0': 're', '1': '.'} 3 | {'0': 'T', '1': '.'} 4 | {'0': 'K', '1': '.'} 5 | {'0': 'and', '1': '.'} 6 | {'0': 'and', '1': '.'} 7 | {'0': 'y', '1': '.'} 8 | {'0': 'or', '1': '.'} 9 | {'0': 'a', '1': '.'} 10 | {'0': 'n', '1': '.'} 11 | {'0': 'S', '1': '.'} 12 | {'0': 'While', '1': '.'} 13 | {'0': 'i', '1': '.'} 14 | {'0': 'L', '1': '.'} 15 | {'0': 'e', '1': '.'} 16 | {'0': '•', '1': '.'} 17 | {'0': 'From', '1': '.'} 18 | {'0': 'the', '1': '.'} 19 | {'0': 'No', '1': '.'} 20 | {'0': '-', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'In', '1': '.'} 2 | {'0': 'D', '1': '.'} 3 | {'0': 'After', '1': '.'} 4 | {'0': 'A', '1': '.'} 5 | {'0': 'An', '1': '.'} 6 | {'0': '!', '1': '.'} 7 | {'0': 'R', '1': '.'} 8 | {'0': 'B', '1': '.'} 9 | {'0': 'or', '1': '.'} 10 | {'0': '•', '1': '.'} 11 | {'0': '>', '1': '.'} 12 | {'0': ',', '1': '.'} 13 | {'0': 'No', '1': '.'} 14 | {'0': ',', '1': '?'} 15 | {'0': 'Or', '1': '.'} 16 | {'0': 'W', '1': '.'} 17 | {'0': '*', '1': '.'} 18 | {'0': '#', '1': '.'} 19 | {'0': 'A', '1': '?'} 20 | {'0': 'M', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '?'} 2 | {'0': '.', '1': 'The'} 3 | {'0': '.', '1': "'"} 4 | {'0': '.', '1': '“'} 5 | {'0': '.', '1': 'O'} 6 | {'0': '.', '1': '['} 7 | {'0': '.', '1': '???'} 8 | {'0': '.', '1': 'As'} 9 | {'0': '.', '1': 'I'} 10 | {'0': '.', '1': 'S'} 11 | {'0': '.', '1': 'In'} 12 | {'0': '.', '1': 'M'} 13 | {'0': '.', '1': '('} 14 | {'0': '.', '1': '*'} 15 | {'0': '.', '1': 'the'} 16 | {'0': '.', '1': 'N'} 17 | {'0': '.', '1': 'Yes'} 18 | {'0': '.', '1': 'To'} 19 | {'0': '.', '1': 'But'} 20 | {'0': '.', '1': 'D'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: ':', 1: 'positive'} 2 | {0: ':', 1: 'good'} 3 | {0: ':', 1: 'great'} 4 | {0: ':', 1: 'excellent'} 5 | {0: ':', 1: 'up'} 6 | {0: ':', 1: 'satisfied'} 7 | {0: ':', 1: 'fantastic'} 8 | {0: ':', 1: 'favorable'} 9 | {0: ':', 1: 'better'} 10 | {0: ':', 1: 'Positive'} 11 | {0: ':', 1: 'in'} 12 | {0: ':', 1: 'clear'} 13 | {0: ':', 1: 'optimistic'} 14 | {0: ':', 1: 'so'} 15 | {0: ':', 1: 'fine'} 16 | {0: ':', 1: 'to'} 17 | {0: ':', 1: '5'} 18 | {0: ':', 1: 'something'} 19 | {0: ':', 1: 'true'} 20 | {0: ':', 1: 'extreme'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: '100%'} 2 | {0: '.', 1: 'extremely'} 3 | {0: '.', 1: 'very'} 4 | {0: ':', 1: 'good'} 5 | {0: '.', 1: 'my'} 6 | {0: '.', 1: 'good'} 7 | {0: '.', 1: 'really'} 8 | {0: '.', 1: 'right'} 9 | {0: '.', 1: 'fantastic'} 10 | {0: '.', 1: 'excellent'} 11 | {0: '.', 1: 'great'} 12 | {0: '.', 1: 'clear'} 13 | {0: '.', 1: 'better'} 14 | {0: '.', 1: 'overall'} 15 | {0: '.', 1: 'correct'} 16 | {0: '.', 1: 'true'} 17 | {0: '.', 1: 'extreme'} 18 | {0: '.', 1: 'quite'} 19 | {0: '.', 1: 'as'} 20 | {0: '.', 1: 'the'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'I'} 2 | {'0': '.', '1': '1'} 3 | {'0': '.', '1': '4.'} 4 | {'0': '.', '1': '1.'} 5 | {'0': '.', '1': '_'} 6 | {'0': '.', '1': "'"} 7 | {'0': '.', '1': 'In'} 8 | {'0': '.', '1': '3'} 9 | {'0': '.', '1': '...”'} 10 | {'0': '.', '1': '2'} 11 | {'0': '.', '1': '2.'} 12 | {'0': '.', '1': 'S'} 13 | {'0': '.', '1': '“'} 14 | {'0': '.', '1': '*'} 15 | {'0': '.', '1': '3.'} 16 | {'0': '.', '1': '3.'} 17 | {'0': '.', '1': ')'} 18 | {'0': '.', '1': '.”'} 19 | {'0': '.', '1': 'And'} 20 | {'0': '.', '1': '5.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '3'} 2 | {'0': '.', '1': 'Again'} 3 | {'0': '.', '1': '1.'} 4 | {'0': '.', '1': 'W'} 5 | {'0': '.', '1': 'H'} 6 | {'0': '.', '1': 'Un'} 7 | {'0': '.', '1': 'Re'} 8 | {'0': '.', '1': 'C'} 9 | {'0': '.', '1': '*'} 10 | {'0': '.', '1': '>'} 11 | {'0': '.', '1': 'etc'} 12 | {'0': '.', '1': 'Only'} 13 | {'0': '.', '1': 'A'} 14 | {'0': '.', '1': 'O'} 15 | {'0': '.', '1': '3.'} 16 | {'0': '.', '1': 'M'} 17 | {'0': '.', '1': '1'} 18 | {'0': '.', '1': '2'} 19 | {'0': '.', '1': 'P'} 20 | {'0': '.', '1': '2.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '"'} 2 | {'0': '?', '1': '"'} 3 | {'0': '.', '1': '!'} 4 | {'0': '1.', '1': '"'} 5 | {'0': '2.', '1': '"'} 6 | {'0': '3.', '1': '"'} 7 | {'0': '4.', '1': '"'} 8 | {'0': '5.', '1': '"'} 9 | {'0': '3.', '1': '"'} 10 | {'0': '“', '1': '"'} 11 | {'0': '.”', '1': '"'} 12 | {'0': '1', '1': '"'} 13 | {'0': '2', '1': '"'} 14 | {'0': '3', '1': '"'} 15 | {'0': '5', '1': '"'} 16 | {'0': 'Description', '1': '"'} 17 | {'0': '???', '1': '"'} 18 | {'0': 'I', '1': '"'} 19 | {'0': ',', '1': '"'} 20 | {'0': '(', '1': '"'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '?'} 2 | {'0': 's', '1': '?'} 3 | {'0': '.', '1': '???'} 4 | {'0': ',', '1': '?'} 5 | {'0': 'and', '1': '?'} 6 | {'0': 'And', '1': '?'} 7 | {'0': 'The', '1': '?'} 8 | {'0': 're', '1': '?'} 9 | {'0': 'com', '1': '?'} 10 | {'0': 'L', '1': '?'} 11 | {'0': '.', '1': '??'} 12 | {'0': 'S', '1': '?'} 13 | {'0': 'T', '1': '?'} 14 | {'0': '.', '1': '--'} 15 | {'0': '.', '1': '('} 16 | {'0': 't', '1': '?'} 17 | {'0': 'But', '1': '?'} 18 | {'0': 'T', '1': '?'} 19 | {'0': 'Re', '1': '?'} 20 | {'0': '.', '1': 'W'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '?', '1': 'J'} 2 | {'0': '?', '1': 'My'} 3 | {'0': '?', '1': 'Well'} 4 | {'0': '?', '1': 'M'} 5 | {'0': '?', '1': 'W'} 6 | {'0': '?', '1': 'L'} 7 | {'0': '?', '1': '['} 8 | {'0': '?', '1': 'H'} 9 | {'0': '?', '1': 'E'} 10 | {'0': '?', '1': 'O'} 11 | {'0': '?', '1': 'A'} 12 | {'0': '?', '1': 'D'} 13 | {'0': '?', '1': 'Yes'} 14 | {'0': '?', '1': 'An'} 15 | {'0': '?', '1': 'No'} 16 | {'0': '?', '1': 'said'} 17 | {'0': '?', '1': 'N'} 18 | {'0': '?', '1': 'C'} 19 | {'0': '?', '1': 'The'} 20 | {'0': '?', '1': 'The'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'K', '1': '.'} 2 | {'0': 's', '1': '.'} 3 | {'0': 'From', '1': '.'} 4 | {'0': 'e', '1': '.'} 5 | {'0': '•', '1': '.'} 6 | {'0': 'the', '1': '.'} 7 | {'0': 'y', '1': '.'} 8 | {'0': 'a', '1': '.'} 9 | {'0': 'i', '1': '.'} 10 | {'0': '-', '1': '.'} 11 | {'0': 'No', '1': '.'} 12 | {'0': 'and', '1': '.'} 13 | {'0': 'and', '1': '.'} 14 | {'0': 'T', '1': '.'} 15 | {'0': 'or', '1': '.'} 16 | {'0': 're', '1': '.'} 17 | {'0': 'S', '1': '.'} 18 | {'0': 'n', '1': '.'} 19 | {'0': 'While', '1': '.'} 20 | {'0': 'L', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '"'} 2 | {'0': '.', '1': 'The'} 3 | {'0': '.', '1': 'C'} 4 | {'0': '.', '1': ','} 5 | {'0': '.', '1': 'R'} 6 | {'0': '.', '1': '100%'} 7 | {'0': '.', '1': 'A'} 8 | {'0': '.', '1': '2'} 9 | {'0': '.', '1': '5'} 10 | {'0': '.', '1': 'Bravo'} 11 | {'0': '.', '1': 'Re'} 12 | {'0': '.', '1': '['} 13 | {'0': '.', '1': 'M'} 14 | {'0': '.', '1': 'T'} 15 | {'0': '.', '1': 'W'} 16 | {'0': '.', '1': '1'} 17 | {'0': '.', '1': 'H'} 18 | {'0': '.', '1': '3'} 19 | {'0': '.', '1': 'Thanks'} 20 | {'0': '.', '1': 'Book'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': '(', '1': '.'} 2 | {'0': 'J', '1': '.'} 3 | {'0': 'and', '1': '.'} 4 | {'0': '[', '1': '.'} 5 | {'0': 'So', '1': '.'} 6 | {'0': '_', '1': '.'} 7 | {'0': 'A', '1': '.'} 8 | {'0': 'I', '1': '.'} 9 | {'0': 'L', '1': '.'} 10 | {'0': 'LOL', '1': '.'} 11 | {'0': 'lol', '1': '.'} 12 | {'0': 'Un', '1': '.'} 13 | {'0': 'Just', '1': '.'} 14 | {'0': 'Only', '1': '.'} 15 | {'0': 'G', '1': '.'} 16 | {'0': 'the', '1': '.'} 17 | {'0': 'N', '1': '.'} 18 | {'0': 'S', '1': '.'} 19 | {'0': 'Very', '1': '.'} 20 | {'0': 'In', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '???'} 2 | {'0': '.', '1': '@'} 3 | {'0': '.', '1': 'The'} 4 | {'0': '.', '1': 'Hi'} 5 | {'0': '.', '1': '('} 6 | {'0': '.', '1': 'No'} 7 | {'0': '.', '1': '*'} 8 | {'0': '.', '1': 'Yes'} 9 | {'0': '.', '1': '1.'} 10 | {'0': '.', '1': '['} 11 | {'0': '.', '1': 'He'} 12 | {'0': '.', '1': 'When'} 13 | {'0': '.', '1': '1'} 14 | {'0': '.', '1': '#'} 15 | {'0': '.', '1': 'Ha'} 16 | {'0': '.', '1': 'J'} 17 | {'0': '.', '1': 'An'} 18 | {'0': '.', '1': 'Also'} 19 | {'0': '.', '1': 'R'} 20 | {'0': '.', '1': '>'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': ',', '1': '.'} 2 | {'0': 'In', '1': '.'} 3 | {'0': 'A', '1': '.'} 4 | {'0': 'And', '1': '.'} 5 | {'0': 'S', '1': '.'} 6 | {'0': '!', '1': '.'} 7 | {'0': 'or', '1': '.'} 8 | {'0': 'in', '1': '.'} 9 | {'0': 'Or', '1': '.'} 10 | {'0': 'M', '1': '.'} 11 | {'0': 'and', '1': '.'} 12 | {'0': 'm', '1': '.'} 13 | {'0': 'R', '1': '.'} 14 | {'0': 'An', '1': '.'} 15 | {'0': 'D', '1': '.'} 16 | {'0': 'After', '1': '.'} 17 | {'0': 'n', '1': '.'} 18 | {'0': '1', '1': '.'} 19 | {'0': '4', '1': '.'} 20 | {'0': 'More', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'the'} 2 | {'0': '.', '1': 'N'} 3 | {'0': '.', '1': 'Yes'} 4 | {'0': '.', '1': 'S'} 5 | {'0': '.', '1': 'In'} 6 | {'0': '.', '1': '['} 7 | {'0': '.', '1': '('} 8 | {'0': '.', '1': "'"} 9 | {'0': '.', '1': '?'} 10 | {'0': '.', '1': 'I'} 11 | {'0': '.', '1': 'The'} 12 | {'0': '.', '1': '“'} 13 | {'0': '.', '1': 'O'} 14 | {'0': '.', '1': '???'} 15 | {'0': '.', '1': 'As'} 16 | {'0': '.', '1': 'To'} 17 | {'0': '.', '1': '*'} 18 | {'0': '.', '1': 'D'} 19 | {'0': '.', '1': 'M'} 20 | {'0': '.', '1': 'But'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: ':', 1: 'positive'} 2 | {0: ':', 1: 'good'} 3 | {0: ':', 1: 'the'} 4 | {0: ':', 1: 'very'} 5 | {0: ':', 1: 'great'} 6 | {0: ':', 1: 'excellent'} 7 | {0: ':', 1: 'fantastic'} 8 | {0: ':', 1: 'as'} 9 | {0: ':', 1: 'extremely'} 10 | {0: ':', 1: 'really'} 11 | {0: ':', 1: 'Positive'} 12 | {0: ':', 1: 'quite'} 13 | {0: ':', 1: 'better'} 14 | {0: ':', 1: 'clear'} 15 | {0: ':', 1: 'more'} 16 | {0: ':', 1: 'extreme'} 17 | {0: ':', 1: 'much'} 18 | {0: ':', 1: 'optimistic'} 19 | {0: ':', 1: 'just'} 20 | {0: ':', 1: 'fine'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: ':', 1: 'Positive'} 2 | {0: ':', 1: 'positive'} 3 | {0: ':', 1: 'favorable'} 4 | {0: ':', 1: 'better'} 5 | {0: ':', 1: '5'} 6 | {0: ':', 1: 'optimistic'} 7 | {0: ':', 1: 'satisfied'} 8 | {0: ':', 1: 'great'} 9 | {0: ':', 1: 'fantastic'} 10 | {0: ':', 1: 'up'} 11 | {0: ':', 1: 'to'} 12 | {0: ':', 1: 'clear'} 13 | {0: ':', 1: 'excellent'} 14 | {0: ':', 1: 'good'} 15 | {0: ':', 1: 'extreme'} 16 | {0: ':', 1: 'fine'} 17 | {0: ':', 1: 'true'} 18 | {0: ':', 1: 'so'} 19 | {0: ':', 1: 'something'} 20 | {0: ':', 1: 'in'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '"'} 2 | {'0': '.', '1': '.”'} 3 | {'0': '.', '1': '1.'} 4 | {'0': '.', '1': '2.'} 5 | {'0': '.', '1': '3.'} 6 | {'0': '.', '1': '5.'} 7 | {'0': '.', '1': ')'} 8 | {'0': '.', '1': '4.'} 9 | {'0': '.', '1': '3.'} 10 | {'0': '.', '1': '1'} 11 | {'0': '.', '1': '2'} 12 | {'0': '.', '1': '“'} 13 | {'0': '.', '1': 'Description'} 14 | {'0': '.', '1': '3'} 15 | {'0': '.', '1': '1'} 16 | {'0': '.', '1': '--'} 17 | {'0': '.', '1': '*'} 18 | {'0': '.', '1': '...”'} 19 | {'0': '.', '1': '('} 20 | {'0': '.', '1': '!!'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': ')', '1': '.'} 2 | {'0': "'", '1': '.'} 3 | {'0': 'S', '1': '.'} 4 | {'0': 'The', '1': '.'} 5 | {'0': 'A', '1': '.'} 6 | {'0': 'So', '1': '.'} 7 | {'0': 'But', '1': '.'} 8 | {'0': 'Very', '1': '.'} 9 | {'0': 'Also', '1': '.'} 10 | {'0': 'Many', '1': '.'} 11 | {'0': 'C', '1': '.'} 12 | {'0': 'W', '1': '.'} 13 | {'0': 'Just', '1': '.'} 14 | {'0': 'P', '1': '.'} 15 | {'0': 'Still', '1': '.'} 16 | {'0': 's', '1': '.'} 17 | {'0': 'In', '1': '.'} 18 | {'0': 'Only', '1': '.'} 19 | {'0': 'H', '1': '.'} 20 | {'0': 'Go', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'I', '1': '"'} 2 | {'0': '?', '1': '"'} 3 | {'0': '1.', '1': '"'} 4 | {'0': '3', '1': '"'} 5 | {'0': '.”', '1': '"'} 6 | {'0': '“', '1': '"'} 7 | {'0': '1', '1': '"'} 8 | {'0': '2.', '1': '"'} 9 | {'0': '3.', '1': '"'} 10 | {'0': '4.', '1': '"'} 11 | {'0': '3.', '1': '"'} 12 | {'0': 'Description', '1': '"'} 13 | {'0': '5', '1': '"'} 14 | {'0': '???', '1': '"'} 15 | {'0': ',', '1': '"'} 16 | {'0': '(', '1': '"'} 17 | {'0': '.', '1': '!'} 18 | {'0': '.', '1': '"'} 19 | {'0': '5.', '1': '"'} 20 | {'0': '2', '1': '"'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '?'} 2 | {'0': 't', '1': '?'} 3 | {'0': 'Re', '1': '?'} 4 | {'0': 'T', '1': '?'} 5 | {'0': 'T', '1': '?'} 6 | {'0': 'The', '1': '?'} 7 | {'0': 's', '1': '?'} 8 | {'0': '.', '1': '--'} 9 | {'0': 're', '1': '?'} 10 | {'0': 'com', '1': '?'} 11 | {'0': 'But', '1': '?'} 12 | {'0': '.', '1': 'W'} 13 | {'0': 'L', '1': '?'} 14 | {'0': '.', '1': '???'} 15 | {'0': 'S', '1': '?'} 16 | {'0': 'and', '1': '?'} 17 | {'0': ',', '1': '?'} 18 | {'0': '.', '1': '??'} 19 | {'0': 'And', '1': '?'} 20 | {'0': '.', '1': '('} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': '?', '1': '.'} 2 | {'0': 'The', '1': '.'} 3 | {'0': 'And', '1': '.'} 4 | {'0': 'A', '1': '.'} 5 | {'0': 'T', '1': '.'} 6 | {'0': 'From', '1': '.'} 7 | {'0': 'and', '1': '.'} 8 | {'0': 'W', '1': '.'} 9 | {'0': 'B', '1': '.'} 10 | {'0': 'T', '1': '.'} 11 | {'0': '•', '1': '.'} 12 | {'0': 'In', '1': '.'} 13 | {'0': 'S', '1': '.'} 14 | {'0': '-', '1': '.'} 15 | {'0': 'Also', '1': '.'} 16 | {'0': 'S', '1': '.'} 17 | {'0': 'R', '1': '.'} 18 | {'0': 'C', '1': '.'} 19 | {'0': 'While', '1': '.'} 20 | {'0': 'Meanwhile', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'C'} 2 | {'0': '.', '1': 'T'} 3 | {'0': '.', '1': 'K'} 4 | {'0': '.', '1': 'Why'} 5 | {'0': '.', '1': 'S'} 6 | {'0': '.', '1': 'B'} 7 | {'0': '.', '1': 'Dear'} 8 | {'0': '.', '1': '1.'} 9 | {'0': '.', '1': 'M'} 10 | {'0': '.', '1': 'So'} 11 | {'0': '.', '1': 'P'} 12 | {'0': '.', '1': 'O'} 13 | {'0': '.', '1': 'Well'} 14 | {'0': '.', '1': 'Ok'} 15 | {'0': '.', '1': 'Yes'} 16 | {'0': '.', '1': 'After'} 17 | {'0': '.', '1': 'G'} 18 | {'0': '.', '1': 'Simply'} 19 | {'0': '.', '1': '1'} 20 | {'0': '.', '1': 'Please'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '100%'} 2 | {'0': '.', '1': 'Bravo'} 3 | {'0': '.', '1': 'T'} 4 | {'0': '.', '1': 'Thanks'} 5 | {'0': '.', '1': 'Re'} 6 | {'0': '.', '1': 'C'} 7 | {'0': '.', '1': ','} 8 | {'0': '.', '1': 'W'} 9 | {'0': '.', '1': '1'} 10 | {'0': '.', '1': 'M'} 11 | {'0': '.', '1': '5'} 12 | {'0': '.', '1': 'The'} 13 | {'0': '.', '1': '2'} 14 | {'0': '.', '1': '['} 15 | {'0': '.', '1': 'H'} 16 | {'0': '.', '1': '3'} 17 | {'0': '.', '1': 'Book'} 18 | {'0': '.', '1': 'R'} 19 | {'0': '.', '1': 'A'} 20 | {'0': '.', '1': '"'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Very', '1': '.'} 2 | {'0': 'LOL', '1': '.'} 3 | {'0': 'lol', '1': '.'} 4 | {'0': 'Un', '1': '.'} 5 | {'0': 'J', '1': '.'} 6 | {'0': 'Only', '1': '.'} 7 | {'0': 'Just', '1': '.'} 8 | {'0': 'S', '1': '.'} 9 | {'0': '(', '1': '.'} 10 | {'0': '_', '1': '.'} 11 | {'0': 'So', '1': '.'} 12 | {'0': 'I', '1': '.'} 13 | {'0': 'G', '1': '.'} 14 | {'0': '[', '1': '.'} 15 | {'0': 'L', '1': '.'} 16 | {'0': 'A', '1': '.'} 17 | {'0': 'N', '1': '.'} 18 | {'0': 'the', '1': '.'} 19 | {'0': 'In', '1': '.'} 20 | {'0': 'and', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Hi'} 2 | {'0': '.', '1': '#'} 3 | {'0': '.', '1': 'An'} 4 | {'0': '.', '1': 'No'} 5 | {'0': '.', '1': '>'} 6 | {'0': '.', '1': 'He'} 7 | {'0': '.', '1': '1.'} 8 | {'0': '.', '1': 'Yes'} 9 | {'0': '.', '1': '1'} 10 | {'0': '.', '1': 'J'} 11 | {'0': '.', '1': 'Ha'} 12 | {'0': '.', '1': 'The'} 13 | {'0': '.', '1': '@'} 14 | {'0': '.', '1': 'When'} 15 | {'0': '.', '1': '['} 16 | {'0': '.', '1': 'R'} 17 | {'0': '.', '1': 'Also'} 18 | {'0': '.', '1': '('} 19 | {'0': '.', '1': '*'} 20 | {'0': '.', '1': '???'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': ',', '1': '.'} 2 | {'0': 'And', '1': '.'} 3 | {'0': 'or', '1': '.'} 4 | {'0': 'More', '1': '.'} 5 | {'0': 'and', '1': '.'} 6 | {'0': 'R', '1': '.'} 7 | {'0': 'After', '1': '.'} 8 | {'0': 'S', '1': '.'} 9 | {'0': 'D', '1': '.'} 10 | {'0': 'in', '1': '.'} 11 | {'0': 'In', '1': '.'} 12 | {'0': 'n', '1': '.'} 13 | {'0': '!', '1': '.'} 14 | {'0': 'M', '1': '.'} 15 | {'0': '4', '1': '.'} 16 | {'0': 'Or', '1': '.'} 17 | {'0': 'A', '1': '.'} 18 | {'0': 'm', '1': '.'} 19 | {'0': '1', '1': '.'} 20 | {'0': 'An', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: ':', 1: 'Positive'} 2 | {0: ':', 1: 'better'} 3 | {0: ':', 1: 'positive'} 4 | {0: ':', 1: 'fantastic'} 5 | {0: ':', 1: 'optimistic'} 6 | {0: ':', 1: 'quite'} 7 | {0: ':', 1: 'excellent'} 8 | {0: ':', 1: 'just'} 9 | {0: ':', 1: 'really'} 10 | {0: ':', 1: 'great'} 11 | {0: ':', 1: 'good'} 12 | {0: ':', 1: 'fine'} 13 | {0: ':', 1: 'clear'} 14 | {0: ':', 1: 'as'} 15 | {0: ':', 1: 'more'} 16 | {0: ':', 1: 'much'} 17 | {0: ':', 1: 'extremely'} 18 | {0: ':', 1: 'the'} 19 | {0: ':', 1: 'extreme'} 20 | {0: ':', 1: 'very'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '2.'} 2 | {'0': '.', '1': '5.'} 3 | {'0': '.', '1': '4.'} 4 | {'0': '.', '1': '1.'} 5 | {'0': '.', '1': '.”'} 6 | {'0': '.', '1': '!!'} 7 | {'0': '.', '1': '1'} 8 | {'0': '.', '1': '1'} 9 | {'0': '.', '1': ')'} 10 | {'0': '.', '1': '3.'} 11 | {'0': '.', '1': '3.'} 12 | {'0': '.', '1': '3'} 13 | {'0': '.', '1': '--'} 14 | {'0': '.', '1': '"'} 15 | {'0': '.', '1': '('} 16 | {'0': '.', '1': '*'} 17 | {'0': '.', '1': '“'} 18 | {'0': '.', '1': '2'} 19 | {'0': '.', '1': 'Description'} 20 | {'0': '.', '1': '...”'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'The', '1': '.'} 2 | {'0': 'P', '1': '.'} 3 | {'0': 'Still', '1': '.'} 4 | {'0': 'But', '1': '.'} 5 | {'0': 'Only', '1': '.'} 6 | {'0': 'So', '1': '.'} 7 | {'0': 'Just', '1': '.'} 8 | {'0': 'In', '1': '.'} 9 | {'0': 'A', '1': '.'} 10 | {'0': 'C', '1': '.'} 11 | {'0': 'Also', '1': '.'} 12 | {'0': 'W', '1': '.'} 13 | {'0': 'Many', '1': '.'} 14 | {'0': "'", '1': '.'} 15 | {'0': 'H', '1': '.'} 16 | {'0': 'Very', '1': '.'} 17 | {'0': 'S', '1': '.'} 18 | {'0': ')', '1': '.'} 19 | {'0': 's', '1': '.'} 20 | {'0': 'Go', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'And', '1': '.'} 2 | {'0': '-', '1': '.'} 3 | {'0': 'and', '1': '.'} 4 | {'0': 'The', '1': '.'} 5 | {'0': 'Also', '1': '.'} 6 | {'0': 'In', '1': '.'} 7 | {'0': 'T', '1': '.'} 8 | {'0': 'T', '1': '.'} 9 | {'0': 'While', '1': '.'} 10 | {'0': 'From', '1': '.'} 11 | {'0': '•', '1': '.'} 12 | {'0': 'A', '1': '.'} 13 | {'0': 'B', '1': '.'} 14 | {'0': 'W', '1': '.'} 15 | {'0': '?', '1': '.'} 16 | {'0': 'C', '1': '.'} 17 | {'0': 'R', '1': '.'} 18 | {'0': 'S', '1': '.'} 19 | {'0': 'S', '1': '.'} 20 | {'0': 'Meanwhile', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Well'} 2 | {'0': '.', '1': 'S'} 3 | {'0': '.', '1': 'C'} 4 | {'0': '.', '1': 'Dear'} 5 | {'0': '.', '1': 'B'} 6 | {'0': '.', '1': 'T'} 7 | {'0': '.', '1': 'So'} 8 | {'0': '.', '1': 'O'} 9 | {'0': '.', '1': 'K'} 10 | {'0': '.', '1': 'Simply'} 11 | {'0': '.', '1': 'Yes'} 12 | {'0': '.', '1': '1'} 13 | {'0': '.', '1': '1.'} 14 | {'0': '.', '1': 'M'} 15 | {'0': '.', '1': 'G'} 16 | {'0': '.', '1': 'Please'} 17 | {'0': '.', '1': 'P'} 18 | {'0': '.', '1': 'Ok'} 19 | {'0': '.', '1': 'After'} 20 | {'0': '.', '1': 'Why'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '>'} 2 | {'0': 'And', '1': '>'} 3 | {'0': 'Also', '1': '>'} 4 | {'0': 'and', '1': '>'} 5 | {'0': 'Hi', '1': '>'} 6 | {'0': '.', '1': 'So'} 7 | {'0': '.', '1': '*'} 8 | {'0': 'Hello', '1': '>'} 9 | {'0': '.', '1': '@'} 10 | {'0': '.', '1': '3.'} 11 | {'0': '?', '1': '>'} 12 | {'0': 'For', '1': '>'} 13 | {'0': '.', '1': 'Q'} 14 | {'0': '.', '1': 'Next'} 15 | {'0': '.', '1': 'T'} 16 | {'0': '.', '1': 'Hey'} 17 | {'0': '.', '1': '2'} 18 | {'0': 'Thanks', '1': '>'} 19 | {'0': '.', '1': 'But'} 20 | {'0': '2.', '1': '>'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': '!', '1': '.'} 2 | {'0': ')', '1': '.'} 3 | {'0': ',', '1': '.'} 4 | {'0': '--', '1': '.'} 5 | {'0': '(', '1': '.'} 6 | {'0': '-', '1': '.'} 7 | {'0': '=', '1': '.'} 8 | {'0': 'Just', '1': '.'} 9 | {'0': 'But', '1': '.'} 10 | {'0': 'and', '1': '.'} 11 | {'0': 'LOL', '1': '.'} 12 | {'0': 'J', '1': '.'} 13 | {'0': 'more', '1': '.'} 14 | {'0': 'lol', '1': '.'} 15 | {'0': 'Please', '1': '.'} 16 | {'0': 'Super', '1': '.'} 17 | {'0': 'A', '1': '.'} 18 | {'0': 'com', '1': '.'} 19 | {'0': 'No', '1': '.'} 20 | {'0': 'I', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': 'But', '1': '.'} 2 | {'0': 'J', '1': '.'} 3 | {'0': 'Just', '1': '.'} 4 | {'0': 'Only', '1': '.'} 5 | {'0': 'I', '1': '.'} 6 | {'0': 'the', '1': '.'} 7 | {'0': 'and', '1': '.'} 8 | {'0': 'LOL', '1': '.'} 9 | {'0': 'in', '1': '.'} 10 | {'0': 'En', '1': '.'} 11 | {'0': 'My', '1': '.'} 12 | {'0': 'Please', '1': '.'} 13 | {'0': 'G', '1': '.'} 14 | {'0': 'F', '1': '.'} 15 | {'0': 'N', '1': '.'} 16 | {'0': 'D', '1': '.'} 17 | {'0': 'T', '1': '.'} 18 | {'0': 'Super', '1': '.'} 19 | {'0': 'S', '1': '.'} 20 | {'0': 'In', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'and', '1': '>'} 2 | {'0': 'Also', '1': '>'} 3 | {'0': 'And', '1': '>'} 4 | {'0': '.', '1': 'So'} 5 | {'0': '.', '1': '3.'} 6 | {'0': '.', '1': '2'} 7 | {'0': '.', '1': 'T'} 8 | {'0': '2.', '1': '>'} 9 | {'0': '?', '1': '>'} 10 | {'0': 'Thanks', '1': '>'} 11 | {'0': '.', '1': '@'} 12 | {'0': '.', '1': 'But'} 13 | {'0': '.', '1': 'Hey'} 14 | {'0': 'For', '1': '>'} 15 | {'0': '.', '1': 'Q'} 16 | {'0': '.', '1': 'Next'} 17 | {'0': '.', '1': '*'} 18 | {'0': 'Hello', '1': '>'} 19 | {'0': '.', '1': '>'} 20 | {'0': 'Hi', '1': '>'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'lol', '1': '.'} 2 | {'0': '--', '1': '.'} 3 | {'0': 'LOL', '1': '.'} 4 | {'0': 'Please', '1': '.'} 5 | {'0': 'No', '1': '.'} 6 | {'0': ')', '1': '.'} 7 | {'0': '(', '1': '.'} 8 | {'0': '-', '1': '.'} 9 | {'0': '=', '1': '.'} 10 | {'0': 'But', '1': '.'} 11 | {'0': 'Super', '1': '.'} 12 | {'0': 'Just', '1': '.'} 13 | {'0': 'com', '1': '.'} 14 | {'0': 'I', '1': '.'} 15 | {'0': '!', '1': '.'} 16 | {'0': 'more', '1': '.'} 17 | {'0': 'J', '1': '.'} 18 | {'0': 'A', '1': '.'} 19 | {'0': ',', '1': '.'} 20 | {'0': 'and', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Please', '1': '.'} 2 | {'0': 'S', '1': '.'} 3 | {'0': 'But', '1': '.'} 4 | {'0': 'Only', '1': '.'} 5 | {'0': 'Just', '1': '.'} 6 | {'0': 'D', '1': '.'} 7 | {'0': 'My', '1': '.'} 8 | {'0': 'Super', '1': '.'} 9 | {'0': 'LOL', '1': '.'} 10 | {'0': 'I', '1': '.'} 11 | {'0': 'En', '1': '.'} 12 | {'0': 'In', '1': '.'} 13 | {'0': 'G', '1': '.'} 14 | {'0': 'T', '1': '.'} 15 | {'0': 'J', '1': '.'} 16 | {'0': 'the', '1': '.'} 17 | {'0': 'F', '1': '.'} 18 | {'0': 'in', '1': '.'} 19 | {'0': 'and', '1': '.'} 20 | {'0': 'N', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': 'And', '1': '?'} 2 | {'0': ',', '1': '?'} 3 | {'0': 'No', '1': '?'} 4 | {'0': '!', '1': '?'} 5 | {'0': 'In', '1': '?'} 6 | {'0': 'and', '1': '?'} 7 | {'0': 'But', '1': '?'} 8 | {'0': 'Or', '1': '?'} 9 | {'0': 'Hi', '1': '?'} 10 | {'0': '>', '1': '?'} 11 | {'0': 'While', '1': '?'} 12 | {'0': 'Also', '1': '?'} 13 | {'0': 'Not', '1': '?'} 14 | {'0': 'Well', '1': '?'} 15 | {'0': 'Oh', '1': '?'} 16 | {'0': 'Maybe', '1': '?'} 17 | {'0': 'So', '1': '?'} 18 | {'0': 'or', '1': '?'} 19 | {'0': 'Ha', '1': '?'} 20 | {'0': 'Mr', '1': '?'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Hi'} 2 | {'0': '.', '1': 'Hey'} 3 | {'0': '1.', '1': 'Hi'} 4 | {'0': '2.', '1': 'Hi'} 5 | {'0': '.', '1': 'Hello'} 6 | {'0': '1.', '1': 'Hey'} 7 | {'0': '*', '1': 'Hi'} 8 | {'0': '3.', '1': 'Hi'} 9 | {'0': 'Also', '1': 'Hi'} 10 | {'0': '•', '1': 'Hi'} 11 | {'0': '?', '1': 'Hi'} 12 | {'0': '.', '1': 'Dear'} 13 | {'0': '>', '1': 'Hi'} 14 | {'0': '5.', '1': 'Hi'} 15 | {'0': '4.', '1': 'Hi'} 16 | {'0': '.', '1': 'So'} 17 | {'0': '2.', '1': 'Hey'} 18 | {'0': 'R', '1': 'Hi'} 19 | {'0': '.', '1': 'Like'} 20 | {'0': '.', '1': 'Okay'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'While', '1': '?'} 2 | {'0': 'And', '1': '?'} 3 | {'0': 'Maybe', '1': '?'} 4 | {'0': 'Or', '1': '?'} 5 | {'0': 'Not', '1': '?'} 6 | {'0': ',', '1': '?'} 7 | {'0': 'and', '1': '?'} 8 | {'0': 'Well', '1': '?'} 9 | {'0': 'Ha', '1': '?'} 10 | {'0': 'No', '1': '?'} 11 | {'0': 'Mr', '1': '?'} 12 | {'0': 'Hi', '1': '?'} 13 | {'0': 'But', '1': '?'} 14 | {'0': 'Also', '1': '?'} 15 | {'0': 'So', '1': '?'} 16 | {'0': '>', '1': '?'} 17 | {'0': 'or', '1': '?'} 18 | {'0': 'In', '1': '?'} 19 | {'0': '!', '1': '?'} 20 | {'0': 'Oh', '1': '?'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'Hi'} 2 | {'0': '.', '1': 'Like'} 3 | {'0': '.', '1': 'So'} 4 | {'0': '1.', '1': 'Hi'} 5 | {'0': '5.', '1': 'Hi'} 6 | {'0': '4.', '1': 'Hi'} 7 | {'0': '•', '1': 'Hi'} 8 | {'0': '.', '1': 'Hello'} 9 | {'0': '1.', '1': 'Hey'} 10 | {'0': '2.', '1': 'Hi'} 11 | {'0': '?', '1': 'Hi'} 12 | {'0': '3.', '1': 'Hi'} 13 | {'0': '.', '1': 'Dear'} 14 | {'0': '.', '1': 'Okay'} 15 | {'0': '*', '1': 'Hi'} 16 | {'0': '.', '1': 'Hi'} 17 | {'0': '.', '1': 'Hey'} 18 | {'0': '>', '1': 'Hi'} 19 | {'0': 'R', '1': 'Hi'} 20 | {'0': '2.', '1': 'Hey'} 21 | -------------------------------------------------------------------------------- /scripts/sort_mapping.sh: -------------------------------------------------------------------------------- 1 | for seed in 13 21 42 87 100 2 | do 3 | for mapping_id in {0..19} 4 | do 5 | # To save time, we fix these hyper-parameters 6 | bs=8 7 | lr=6e-5 8 | 9 | # Since we only use dev performance here, use --no_predict to skip testing 10 | TAG=exp-mapping-$task \ 11 | TYPE=prompt \ 12 | TASK=$task \ 13 | BS=$bs \ 14 | LR=$lr \ 15 | SEED=$seed \ 16 | MODEL=google/t5-v1_1-base \ 17 | bash scripts/run_experiment.sh "--mapping_path auto_label_sequences/$task/16-$seed.txt --mapping_id $mapping_id --no_predict" 18 | done 19 | done -------------------------------------------------------------------------------- /auto_label_words/QQP/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Hi'} 2 | {'0': '.', '1': 'Dear'} 3 | {'0': 'And', '1': 'Hi'} 4 | {'0': '.', '1': 'Hello'} 5 | {'0': '.', '1': 'S'} 6 | {'0': '.', '1': 'Hey'} 7 | {'0': 'And', '1': 'Dear'} 8 | {'0': '.', '1': 'Why'} 9 | {'0': '.', '1': 'Really'} 10 | {'0': '.', '1': 'Simply'} 11 | {'0': '.', '1': 'So'} 12 | {'0': '.', '1': 'P'} 13 | {'0': '.', '1': 'Please'} 14 | {'0': '.', '1': 'My'} 15 | {'0': '.', '1': 'Well'} 16 | {'0': '.', '1': '1'} 17 | {'0': '.', '1': 'Yes'} 18 | {'0': '.', '1': 'Question'} 19 | {'0': '.', '1': 'W'} 20 | {'0': '.', '1': 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Excellent'} 2 | {'0': '.', '1': 'Fantastic'} 3 | {'0': '.', '1': 'New'} 4 | {'0': '.', '1': 'Great'} 5 | {'0': '.', '1': 'Bravo'} 6 | {'0': '.', '1': 'P'} 7 | {'0': '.', '1': 'Best'} 8 | {'0': '.', '1': 'the'} 9 | {'0': '.', '1': 'En'} 10 | {'0': '.', '1': 'Simply'} 11 | {'0': '.', '1': 'S'} 12 | {'0': '.', '1': 'H'} 13 | {'0': '.', '1': 'com'} 14 | {'0': '.', '1': 'In'} 15 | {'0': '.', '1': 'D'} 16 | {'0': '.', '1': 'Un'} 17 | {'0': '.', '1': 'N'} 18 | {'0': '.', '1': 'Most'} 19 | {'0': '.', '1': 'From'} 20 | {'0': '.', '1': 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Well'} 2 | {'0': '.', '1': 'So'} 3 | {'0': '.', '1': 'S'} 4 | {'0': '.', '1': 'Really'} 5 | {'0': '.', '1': '1'} 6 | {'0': '.', '1': 'Yes'} 7 | {'0': '.', '1': 'P'} 8 | {'0': '.', '1': 'No'} 9 | {'0': '.', '1': 'Question'} 10 | {'0': '.', '1': 'Why'} 11 | {'0': '.', '1': 'Simply'} 12 | {'0': '.', '1': 'Dear'} 13 | {'0': '.', '1': 'Please'} 14 | {'0': '.', '1': 'W'} 15 | {'0': 'And', '1': 'Dear'} 16 | {'0': '.', '1': 'Hi'} 17 | {'0': '.', '1': 'Hey'} 18 | {'0': '.', '1': 'My'} 19 | {'0': 'And', '1': 'Hi'} 20 | {'0': '.', '1': 'Hello'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Great'} 2 | {'0': '.', '1': 'Excellent'} 3 | {'0': '.', '1': 'Fantastic'} 4 | {'0': '.', '1': 'Best'} 5 | {'0': '.', '1': 'Bravo'} 6 | {'0': '.', '1': 'Simply'} 7 | {'0': '.', '1': 'Un'} 8 | {'0': '.', '1': 'In'} 9 | {'0': '.', '1': 'New'} 10 | {'0': '.', '1': 'From'} 11 | {'0': '.', '1': 'com'} 12 | {'0': '.', '1': 'the'} 13 | {'0': '.', '1': 'S'} 14 | {'0': '.', '1': 'H'} 15 | {'0': '.', '1': 'D'} 16 | {'0': '.', '1': 'No'} 17 | {'0': '.', '1': 'N'} 18 | {'0': '.', '1': 'Most'} 19 | {'0': '.', '1': 'P'} 20 | {'0': '.', '1': 'En'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': 'S.', '1': '.'} 2 | {'0': 'So.', '1': '.'} 3 | {'0': 'P.', '1': '.'} 4 | {'0': 'What?', '1': '.'} 5 | {'0': 'This.', '1': '.'} 6 | {'0': 'Just.', '1': '.'} 7 | {'0': 'But.', '1': '.'} 8 | {'0': 'Well.', '1': '.'} 9 | {'0': 'The.', '1': '.'} 10 | {'0': 'It.', '1': '.'} 11 | {'0': 'And.', '1': '.'} 12 | {'0': 'Ha!', '1': '.'} 13 | {'0': 'Not.', '1': '.'} 14 | {'0': 'Oh.', '1': '.'} 15 | {'0': 'Oh!', '1': '.'} 16 | {'0': 'Now.', '1': '.'} 17 | {'0': 'A.', '1': '.'} 18 | {'0': 'Enjoy!', '1': '.'} 19 | {'0': 'Love.', '1': '.'} 20 | {'0': 'See?', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Just.', '1': '.'} 2 | {'0': 'But.', '1': '.'} 3 | {'0': 'So.', '1': '.'} 4 | {'0': 'It.', '1': '.'} 5 | {'0': 'Not.', '1': '.'} 6 | {'0': 'The.', '1': '.'} 7 | {'0': 'S.', '1': '.'} 8 | {'0': 'P.', '1': '.'} 9 | {'0': 'What?', '1': '.'} 10 | {'0': 'This.', '1': '.'} 11 | {'0': 'Well.', '1': '.'} 12 | {'0': 'And.', '1': '.'} 13 | {'0': 'Ha!', '1': '.'} 14 | {'0': 'Now.', '1': '.'} 15 | {'0': 'Enjoy!', '1': '.'} 16 | {'0': 'Oh.', '1': '.'} 17 | {'0': 'A.', '1': '.'} 18 | {'0': 'See?', '1': '.'} 19 | {'0': 'Oh!', '1': '.'} 20 | {'0': 'Love.', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': '"'} 2 | {'0': '.', '1': 'Enjoy!'} 3 | {'0': '.', '1': 'Thanks!'} 4 | {'0': '?', '1': '"'} 5 | {'0': 'A.', '1': '"'} 6 | {'0': '.', '1': 'Thank you.'} 7 | {'0': '.', '1': '!'} 8 | {'0': 'Great!', '1': '"'} 9 | {'0': 'The.', '1': '"'} 10 | {'0': 'S.', '1': '"'} 11 | {'0': '.', '1': 'LOL!'} 12 | {'0': '.', '1': 'Ha!'} 13 | {'0': '.', '1': 'LOL.'} 14 | {'0': 'Great.', '1': '"'} 15 | {'0': '1.', '1': '"'} 16 | {'0': 'Not.', '1': '"'} 17 | {'0': 'Good.', '1': '"'} 18 | {'0': 'Read.', '1': '"'} 19 | {'0': '?', '1': 'Enjoy!'} 20 | {'0': 'Yes.', '1': '"'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Enjoy!'} 2 | {'0': '?', '1': '"'} 3 | {'0': 'A.', '1': '"'} 4 | {'0': '1.', '1': '"'} 5 | {'0': 'The.', '1': '"'} 6 | {'0': '?', '1': 'Enjoy!'} 7 | {'0': 'Read.', '1': '"'} 8 | {'0': '.', '1': 'Thanks!'} 9 | {'0': '.', '1': 'Thank you.'} 10 | {'0': 'S.', '1': '"'} 11 | {'0': '.', '1': 'LOL.'} 12 | {'0': 'Great.', '1': '"'} 13 | {'0': 'Not.', '1': '"'} 14 | {'0': 'Good.', '1': '"'} 15 | {'0': 'Yes.', '1': '"'} 16 | {'0': '.', '1': '!'} 17 | {'0': '.', '1': '"'} 18 | {'0': '.', '1': 'Ha!'} 19 | {'0': 'Great!', '1': '"'} 20 | {'0': '.', '1': 'LOL!'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-87.txt: -------------------------------------------------------------------------------- 1 | {False: '(', True: '.'} 2 | {False: '=', True: '.'} 3 | {False: '"', True: '.'} 4 | {False: 'in', True: '.'} 5 | {False: ':', True: '.'} 6 | {False: ',', True: '.'} 7 | {False: '--', True: '.'} 8 | {False: '?', True: '.'} 9 | {False: "'", True: '.'} 10 | {False: 'from', True: '.'} 11 | {False: 'means', True: '.'} 12 | {False: ')', True: '.'} 13 | {False: 's', True: '.'} 14 | {False: 'of', True: '.'} 15 | {False: '[', True: '.'} 16 | {False: '+', True: '.'} 17 | {False: 'to', True: '.'} 18 | {False: '-', True: '.'} 19 | {False: 'was', True: '.'} 20 | {False: '*', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 'Yes'} 2 | {0: 'No', 1: 'Or'} 3 | {0: 'No', 1: 'Cause'} 4 | {0: 'No', 1: 'In other words'} 5 | {0: 'No', 1: 'Well'} 6 | {0: 'No', 1: 'Cause? No'} 7 | {0: 'No', 1: 'If so'} 8 | {0: 'No', 1: 'In the end'} 9 | {0: 'No', 1: 'Cause? Yes'} 10 | {0: 'No', 1: 'Finally'} 11 | {0: 'No', 1: 'After all'} 12 | {0: 'No', 1: 'Actually'} 13 | {0: 'Then', 1: 'Yes'} 14 | {0: 'No', 1: 'At the end'} 15 | {0: 'No', 1: 'Cause? Then'} 16 | {0: 'No', 1: 'Cause? Well'} 17 | {0: 'No', 1: 'Because'} 18 | {0: 'No', 1: 'If not'} 19 | {0: 'No', 1: 'Yeah'} 20 | {0: 'No', 1: 'Cause? In the end'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-100.txt: -------------------------------------------------------------------------------- 1 | {False: '1.', True: '.'} 2 | {False: '2.', True: '.'} 3 | {False: 'In', True: '.'} 4 | {False: '3.', True: '.'} 5 | {False: '•', True: '.'} 6 | {False: 'M', True: '.'} 7 | {False: 'B', True: '.'} 8 | {False: 'W', True: '.'} 9 | {False: 'I', True: '.'} 10 | {False: '2', True: '.'} 11 | {False: '>', True: '.'} 12 | {False: '3', True: '.'} 13 | {False: '[', True: '.'} 14 | {False: 'All', True: '.'} 15 | {False: 'J', True: '.'} 16 | {False: 'Answer', True: '.'} 17 | {False: 'Hello', True: '.'} 18 | {False: '1', True: '.'} 19 | {False: 'So', True: '.'} 20 | {False: '*', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {False: 'to', True: '.'} 2 | {False: 'in', True: '.'} 3 | {False: '=', True: '.'} 4 | {False: ',', True: '.'} 5 | {False: 'from', True: '.'} 6 | {False: 'of', True: '.'} 7 | {False: '?', True: '.'} 8 | {False: 'was', True: '.'} 9 | {False: ':', True: '.'} 10 | {False: '"', True: '.'} 11 | {False: '--', True: '.'} 12 | {False: '*', True: '.'} 13 | {False: 'means', True: '.'} 14 | {False: ')', True: '.'} 15 | {False: '+', True: '.'} 16 | {False: '-', True: '.'} 17 | {False: 's', True: '.'} 18 | {False: "'", True: '.'} 19 | {False: '[', True: '.'} 20 | {False: '(', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 'Yes'} 2 | {0: 'Then', 1: 'Yes'} 3 | {0: 'No', 1: 'Cause'} 4 | {0: 'No', 1: 'Cause? In the end'} 5 | {0: 'No', 1: 'Yeah'} 6 | {0: 'No', 1: 'Cause? No'} 7 | {0: 'No', 1: 'In other words'} 8 | {0: 'No', 1: 'Finally'} 9 | {0: 'No', 1: 'Cause? Yes'} 10 | {0: 'No', 1: 'Cause? Well'} 11 | {0: 'No', 1: 'At the end'} 12 | {0: 'No', 1: 'Well'} 13 | {0: 'No', 1: 'In the end'} 14 | {0: 'No', 1: 'Because'} 15 | {0: 'No', 1: 'Cause? Then'} 16 | {0: 'No', 1: 'If so'} 17 | {0: 'No', 1: 'Actually'} 18 | {0: 'No', 1: 'Or'} 19 | {0: 'No', 1: 'If not'} 20 | {0: 'No', 1: 'After all'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'LOL.'} 2 | {'0': '.', '1': 'No.'} 3 | {'0': '.', '1': 'LOL!'} 4 | {'0': '.', '1': '"'} 5 | {'0': '.', '1': 'lol.'} 6 | {'0': '.', '1': 'A.'} 7 | {'0': '.', '1': 'Again.'} 8 | {'0': '.', '1': 'True.'} 9 | {'0': '.', '1': 'Ever.'} 10 | {'0': '.', '1': 'Sorry.'} 11 | {'0': '.', '1': 'Bravo!'} 12 | {'0': '.', '1': 'Period.'} 13 | {'0': '.', '1': 'I.'} 14 | {'0': '.', '1': 'Finally.'} 15 | {'0': '.', '1': 'Great.'} 16 | {'0': '.', '1': '1.'} 17 | {'0': '.', '1': 'Great!'} 18 | {'0': '.', '1': 'Wow!'} 19 | {'0': '.', '1': 'Seriously.'} 20 | {'0': '.', '1': 'Sorry!'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Enjoy!'} 2 | {'0': '.', '1': 'Thanks.'} 3 | {'0': '.', '1': 'Thanks!'} 4 | {'0': '.', '1': 'Enjoy.'} 5 | {'0': '.', '1': 'Period.'} 6 | {'0': '.', '1': 'Thank you.'} 7 | {'0': '.', '1': 'S.'} 8 | {'0': '.', '1': 'Sorry.'} 9 | {'0': '.', '1': 'So.'} 10 | {'0': '.', '1': 'And.'} 11 | {'0': '.', '1': 'Why?'} 12 | {'0': '.', '1': 'No.'} 13 | {'0': '.', '1': 'Not.'} 14 | {'0': '.', '1': 'Ha!'} 15 | {'0': '.', '1': 'Really.'} 16 | {'0': '.', '1': 'Read.'} 17 | {'0': '.', '1': 'Again.'} 18 | {'0': '.', '1': 'But.'} 19 | {'0': '.', '1': 'I.'} 20 | {'0': '.', '1': 'Just.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {False: '2', True: '.'} 2 | {False: 'So', True: '.'} 3 | {False: '2.', True: '.'} 4 | {False: '*', True: '.'} 5 | {False: 'In', True: '.'} 6 | {False: 'I', True: '.'} 7 | {False: 'M', True: '.'} 8 | {False: '3', True: '.'} 9 | {False: '3.', True: '.'} 10 | {False: 'W', True: '.'} 11 | {False: '1.', True: '.'} 12 | {False: '[', True: '.'} 13 | {False: 'Answer', True: '.'} 14 | {False: '>', True: '.'} 15 | {False: 'Hello', True: '.'} 16 | {False: 'B', True: '.'} 17 | {False: '1', True: '.'} 18 | {False: 'All', True: '.'} 19 | {False: 'J', True: '.'} 20 | {False: '•', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-42.txt: -------------------------------------------------------------------------------- 1 | {False: '--', True: '.'} 2 | {False: '1.', True: '.'} 3 | {False: 'In', True: '.'} 4 | {False: '>', True: '.'} 5 | {False: 'Hello', True: '.'} 6 | {False: 'Hi', True: '.'} 7 | {False: 'C', True: '.'} 8 | {False: '2.', True: '.'} 9 | {False: '*', True: '.'} 10 | {False: 'Home', True: '.'} 11 | {False: 'Also', True: '.'} 12 | {False: '3.', True: '.'} 13 | {False: 'New', True: '.'} 14 | {False: '1', True: '.'} 15 | {False: 'in', True: '.'} 16 | {False: 'To', True: '.'} 17 | {False: '(', True: '.'} 18 | {False: 'L', True: '.'} 19 | {False: 'All', True: '.'} 20 | {False: 'From', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': 'and', '1': 'Hello'} 2 | {'0': 'and', '1': 'So'} 3 | {'0': 'and', '1': 'T'} 4 | {'0': 'and', '1': 'Like'} 5 | {'0': 'and', '1': ','} 6 | {'0': 'and', '1': 'Simply'} 7 | {'0': '2.', '1': 'Hello'} 8 | {'0': 'and', '1': 'Dear'} 9 | {'0': '2.', '1': 'So'} 10 | {'0': 'And', '1': 'Hello'} 11 | {'0': 'and', '1': 'The'} 12 | {'0': 'and', '1': 'A'} 13 | {'0': 'and', '1': 'Or'} 14 | {'0': 'and', '1': 'As'} 15 | {'0': '3.', '1': 'Hello'} 16 | {'0': 'and', '1': 'S'} 17 | {'0': '5.', '1': 'Hello'} 18 | {'0': 'and', '1': 'Well'} 19 | {'0': 'and', '1': 'But'} 20 | {'0': 'and', '1': 'Recently'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: 'Then', 1: 'No'} 2 | {0: 'Later', 1: 'No'} 3 | {0: 'Also', 1: 'No'} 4 | {0: 'Finally', 1: 'No'} 5 | {0: 'After that', 1: 'No'} 6 | {0: 'In the end', 1: 'No'} 7 | {0: 'Instead', 1: 'No'} 8 | {0: 'Next', 1: 'No'} 9 | {0: 'After this', 1: 'No'} 10 | {0: 'And', 1: 'No'} 11 | {0: 'At the same time', 1: 'No'} 12 | {0: 'Now', 1: 'No'} 13 | {0: 'In addition', 1: 'No'} 14 | {0: 'The next day', 1: 'No'} 15 | {0: 'By the way', 1: 'No'} 16 | {0: 'In the meantime', 1: 'No'} 17 | {0: 'Not only that', 1: 'No'} 18 | {0: 'So', 1: 'No'} 19 | {0: 'At the end', 1: 'No'} 20 | {0: 'In response', 1: 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'I.'} 2 | {'0': '.', '1': 'No.'} 3 | {'0': '.', '1': 'Great!'} 4 | {'0': '.', '1': 'Seriously.'} 5 | {'0': '.', '1': '1.'} 6 | {'0': '.', '1': 'Great.'} 7 | {'0': '.', '1': 'Again.'} 8 | {'0': '.', '1': 'Ever.'} 9 | {'0': '.', '1': '"'} 10 | {'0': '.', '1': 'Period.'} 11 | {'0': '.', '1': 'lol.'} 12 | {'0': '.', '1': 'True.'} 13 | {'0': '.', '1': 'Sorry.'} 14 | {'0': '.', '1': 'LOL!'} 15 | {'0': '.', '1': 'A.'} 16 | {'0': '.', '1': 'Bravo!'} 17 | {'0': '.', '1': 'LOL.'} 18 | {'0': '.', '1': 'Finally.'} 19 | {'0': '.', '1': 'Wow!'} 20 | {'0': '.', '1': 'Sorry!'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'I.'} 2 | {'0': '.', '1': 'S.'} 3 | {'0': '.', '1': 'No.'} 4 | {'0': '.', '1': 'Not.'} 5 | {'0': '.', '1': 'Read.'} 6 | {'0': '.', '1': 'Ha!'} 7 | {'0': '.', '1': 'Sorry.'} 8 | {'0': '.', '1': 'And.'} 9 | {'0': '.', '1': 'Thanks.'} 10 | {'0': '.', '1': 'Enjoy!'} 11 | {'0': '.', '1': 'So.'} 12 | {'0': '.', '1': 'Really.'} 13 | {'0': '.', '1': 'But.'} 14 | {'0': '.', '1': 'Thanks!'} 15 | {'0': '.', '1': 'Enjoy.'} 16 | {'0': '.', '1': 'Period.'} 17 | {'0': '.', '1': 'Thank you.'} 18 | {'0': '.', '1': 'Why?'} 19 | {'0': '.', '1': 'Again.'} 20 | {'0': '.', '1': 'Just.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 'A'} 2 | {0: 'Of course', 1: 'A'} 3 | {0: 'Why', 1: 'A'} 4 | {0: 'The answer is', 1: 'A'} 5 | {0: 'Well', 1: 'A'} 6 | {0: 'No', 1: 'First'} 7 | {0: 'And', 1: 'A'} 8 | {0: 'Also', 1: 'A'} 9 | {0: 'Then', 1: 'A'} 10 | {0: 'So', 1: 'A'} 11 | {0: 'By the way', 1: 'A'} 12 | {0: 'The answer', 1: 'A'} 13 | {0: 'For the most part', 1: 'A'} 14 | {0: 'The first', 1: 'A'} 15 | {0: 'In this case', 1: 'A'} 16 | {0: 'At the time', 1: 'A'} 17 | {0: 'At the same time', 1: 'A'} 18 | {0: 'For the first time', 1: 'A'} 19 | {0: 'At the end of the day', 1: 'A'} 20 | {0: 'In fact', 1: 'A'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {False: 'Also', True: '.'} 2 | {False: 'in', True: '.'} 3 | {False: '>', True: '.'} 4 | {False: '*', True: '.'} 5 | {False: 'Hello', True: '.'} 6 | {False: '--', True: '.'} 7 | {False: 'All', True: '.'} 8 | {False: 'From', True: '.'} 9 | {False: 'New', True: '.'} 10 | {False: 'L', True: '.'} 11 | {False: 'In', True: '.'} 12 | {False: '3.', True: '.'} 13 | {False: '2.', True: '.'} 14 | {False: 'Home', True: '.'} 15 | {False: 'Hi', True: '.'} 16 | {False: '1', True: '.'} 17 | {False: '(', True: '.'} 18 | {False: 'C', True: '.'} 19 | {False: 'To', True: '.'} 20 | {False: '1.', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'and', '1': 'Dear'} 2 | {'0': 'and', '1': 'As'} 3 | {'0': 'and', '1': 'S'} 4 | {'0': '2.', '1': 'Hello'} 5 | {'0': 'And', '1': 'Hello'} 6 | {'0': 'and', '1': 'A'} 7 | {'0': 'and', '1': 'So'} 8 | {'0': '2.', '1': 'So'} 9 | {'0': 'and', '1': 'Recently'} 10 | {'0': 'and', '1': 'Or'} 11 | {'0': '5.', '1': 'Hello'} 12 | {'0': 'and', '1': 'Simply'} 13 | {'0': 'and', '1': 'Like'} 14 | {'0': 'and', '1': 'But'} 15 | {'0': 'and', '1': 'Well'} 16 | {'0': 'and', '1': 'Hello'} 17 | {'0': 'and', '1': ','} 18 | {'0': 'and', '1': 'The'} 19 | {'0': '3.', '1': 'Hello'} 20 | {'0': 'and', '1': 'T'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'And', 1: 'No'} 2 | {0: 'Instead', 1: 'No'} 3 | {0: 'Not only that', 1: 'No'} 4 | {0: 'At the same time', 1: 'No'} 5 | {0: 'Next', 1: 'No'} 6 | {0: 'Also', 1: 'No'} 7 | {0: 'In addition', 1: 'No'} 8 | {0: 'Later', 1: 'No'} 9 | {0: 'The next day', 1: 'No'} 10 | {0: 'After that', 1: 'No'} 11 | {0: 'Now', 1: 'No'} 12 | {0: 'In the end', 1: 'No'} 13 | {0: 'After this', 1: 'No'} 14 | {0: 'By the way', 1: 'No'} 15 | {0: 'So', 1: 'No'} 16 | {0: 'In response', 1: 'No'} 17 | {0: 'Finally', 1: 'No'} 18 | {0: 'In the meantime', 1: 'No'} 19 | {0: 'Then', 1: 'No'} 20 | {0: 'At the end', 1: 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 'Then'} 2 | {0: 'No', 1: 'Finally'} 3 | {0: 'No', 1: 'Also'} 4 | {0: 'No', 1: 'In addition'} 5 | {0: 'No', 1: 'And'} 6 | {0: 'No', 1: 'Next'} 7 | {0: 'No', 1: 'In other words'} 8 | {0: 'No', 1: 'Again'} 9 | {0: 'No', 1: 'After all'} 10 | {0: 'No', 1: 'In the end'} 11 | {0: 'No', 1: 'At the same time'} 12 | {0: 'No', 1: 'Effect? Yes'} 13 | {0: 'No', 1: 'Cause? Then'} 14 | {0: 'No', 1: 'Effect? Then'} 15 | {0: 'No', 1: 'Or'} 16 | {0: 'No', 1: 'Cause? Yes'} 17 | {0: 'No', 1: 'In fact'} 18 | {0: 'No', 1: 'And then'} 19 | {0: 'No', 1: 'Effect? No'} 20 | {0: 'No', 1: 'At the end'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'The first', 1: 'A'} 2 | {0: 'For the first time', 1: 'A'} 3 | {0: 'Of course', 1: 'A'} 4 | {0: 'For the most part', 1: 'A'} 5 | {0: 'And', 1: 'A'} 6 | {0: 'Then', 1: 'A'} 7 | {0: 'The answer is', 1: 'A'} 8 | {0: 'At the same time', 1: 'A'} 9 | {0: 'At the end of the day', 1: 'A'} 10 | {0: 'No', 1: 'First'} 11 | {0: 'Why', 1: 'A'} 12 | {0: 'At the time', 1: 'A'} 13 | {0: 'By the way', 1: 'A'} 14 | {0: 'The answer', 1: 'A'} 15 | {0: 'No', 1: 'A'} 16 | {0: 'In fact', 1: 'A'} 17 | {0: 'Also', 1: 'A'} 18 | {0: 'In this case', 1: 'A'} 19 | {0: 'Well', 1: 'A'} 20 | {0: 'So', 1: 'A'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-13.txt: -------------------------------------------------------------------------------- 1 | {False: '--', True: 'M'} 2 | {False: '--', True: 'P'} 3 | {False: '--', True: 'From'} 4 | {False: '--', True: 'In'} 5 | {False: '--', True: 'De'} 6 | {False: '--', True: 'H'} 7 | {False: '--', True: 'G'} 8 | {False: '--', True: 'I'} 9 | {False: '--', True: 'N'} 10 | {False: '--', True: 'To'} 11 | {False: '--', True: '3.'} 12 | {False: '--', True: 'All'} 13 | {False: '--', True: '1'} 14 | {False: '--', True: 'C'} 15 | {False: '--', True: 'L'} 16 | {False: '--', True: 'D'} 17 | {False: '--', True: 'When'} 18 | {False: '.', True: 'M'} 19 | {False: '--', True: 'By'} 20 | {False: '--', True: '#'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 'Next'} 2 | {0: 'No', 1: 'In fact'} 3 | {0: 'No', 1: 'Finally'} 4 | {0: 'No', 1: 'Again'} 5 | {0: 'No', 1: 'After all'} 6 | {0: 'No', 1: 'Effect? Then'} 7 | {0: 'No', 1: 'Cause? Then'} 8 | {0: 'No', 1: 'At the end'} 9 | {0: 'No', 1: 'In addition'} 10 | {0: 'No', 1: 'At the same time'} 11 | {0: 'No', 1: 'In the end'} 12 | {0: 'No', 1: 'Effect? Yes'} 13 | {0: 'No', 1: 'Cause? Yes'} 14 | {0: 'No', 1: 'Or'} 15 | {0: 'No', 1: 'Then'} 16 | {0: 'No', 1: 'In other words'} 17 | {0: 'No', 1: 'And then'} 18 | {0: 'No', 1: 'Effect? No'} 19 | {0: 'No', 1: 'And'} 20 | {0: 'No', 1: 'Also'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Enjoy!'} 2 | {'0': '.', '1': 'Thanks!'} 3 | {'0': '.', '1': 'Thanks.'} 4 | {'0': '.', '1': 'Enjoy.'} 5 | {'0': '.', '1': 'Period.'} 6 | {'0': '.', '1': 'Read.'} 7 | {'0': '.', '1': 'Good.'} 8 | {'0': '.', '1': 'Sorry.'} 9 | {'0': '.', '1': 'Please.'} 10 | {'0': '.', '1': 'Why?'} 11 | {'0': '.', '1': 'No.'} 12 | {'0': '.', '1': 'Really?'} 13 | {'0': '.', '1': 'Again.'} 14 | {'0': '.', '1': 'Really.'} 15 | {'0': '.', '1': 'What?'} 16 | {'0': '.', '1': 'Ever.'} 17 | {'0': '.', '1': 'Not.'} 18 | {'0': '.', '1': 'Wow!'} 19 | {'0': '.', '1': 'Thank you.'} 20 | {'0': '.', '1': 'How?'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {False: '--', True: 'D'} 2 | {False: '--', True: '1'} 3 | {False: '--', True: 'C'} 4 | {False: '--', True: 'N'} 5 | {False: '--', True: '#'} 6 | {False: '--', True: 'When'} 7 | {False: '--', True: 'P'} 8 | {False: '--', True: 'G'} 9 | {False: '.', True: 'M'} 10 | {False: '--', True: 'All'} 11 | {False: '--', True: '3.'} 12 | {False: '--', True: 'De'} 13 | {False: '--', True: 'To'} 14 | {False: '--', True: 'H'} 15 | {False: '--', True: 'L'} 16 | {False: '--', True: 'In'} 17 | {False: '--', True: 'From'} 18 | {False: '--', True: 'I'} 19 | {False: '--', True: 'By'} 20 | {False: '--', True: 'M'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-21.txt: -------------------------------------------------------------------------------- 1 | {False: 'A', True: '.'} 2 | {False: 'W', True: '.'} 3 | {False: 'The', True: '.'} 4 | {False: 'A', True: '--'} 5 | {False: 'K', True: '.'} 6 | {False: 'No', True: '.'} 7 | {False: 'Re', True: '.'} 8 | {False: 'By', True: '.'} 9 | {False: 'Title', True: '.'} 10 | {False: 'or', True: '.'} 11 | {False: 'Michael', True: '.'} 12 | {False: 'Hello', True: '.'} 13 | {False: 'And', True: '.'} 14 | {False: 'L', True: '.'} 15 | {False: 'From', True: '.'} 16 | {False: 'and', True: '.'} 17 | {False: 'About', True: '.'} 18 | {False: 'When', True: '.'} 19 | {False: 'Dear', True: '.'} 20 | {False: 'W', True: '--'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-42.txt: -------------------------------------------------------------------------------- 1 | {False: '.', True: '='} 2 | {False: '.', True: '('} 3 | {False: '.', True: '"'} 4 | {False: '.', True: 'means'} 5 | {False: '.', True: 's'} 6 | {False: '.', True: '['} 7 | {False: '.', True: '--'} 8 | {False: '.', True: '+'} 9 | {False: '.', True: 'was'} 10 | {False: '.', True: 'meaning'} 11 | {False: '.', True: 'from'} 12 | {False: '.', True: 'see'} 13 | {False: '.', True: 'not'} 14 | {False: '.', True: '='} 15 | {False: '.', True: 'before'} 16 | {False: '.', True: 'at'} 17 | {False: '.', True: 'like'} 18 | {False: '.', True: 'The'} 19 | {False: '.', True: 'or'} 20 | {False: '.', True: 'becomes'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {0: '.', 1: 'Thanks'} 2 | 0.84375 {0: '.', 1: '#'} 3 | 0.84375 {0: '.', 1: 'com'} 4 | 0.81250 {0: '.', 1: '('} 5 | 0.81250 {0: '.', 1: 'Bravo'} 6 | 0.81250 {0: '.', 1: 'Best'} 7 | 0.75000 {0: '.', 1: 'M'} 8 | 0.71875 {0: '.', 1: 'W'} 9 | 0.71875 {0: '.', 1: 'S'} 10 | 0.68750 {0: '.', 1: 'V'} 11 | 0.68750 {0: '.', 1: 'C'} 12 | 0.68750 {0: '.', 1: '5'} 13 | 0.65625 {0: '.', 1: 'D'} 14 | 0.62500 {0: '.', 1: 'R'} 15 | 0.59375 {0: '.', 1: 'Re'} 16 | 0.59375 {0: '.', 1: 'P'} 17 | 0.56250 {0: '.', 1: 'T'} 18 | 0.56250 {0: '.', 1: ','} 19 | 0.56250 {0: '.', 1: 'O'} 20 | 0.53125 {0: '.', 1: 'H'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.96875 {0: 'J', 1: '.'} 2 | 0.96875 {0: 'R', 1: '.'} 3 | 0.96875 {0: '*', 1: '.'} 4 | 0.96875 {0: 'W', 1: '.'} 5 | 0.96875 {0: ')', 1: '.'} 6 | 0.96875 {0: "'", 1: '.'} 7 | 0.96875 {0: 'C', 1: '.'} 8 | 0.96875 {0: 'No', 1: '.'} 9 | 0.96875 {0: 'K', 1: '.'} 10 | 0.96875 {0: 'P', 1: '.'} 11 | 0.96875 {0: 'Un', 1: '.'} 12 | 0.96875 {0: 'Just', 1: '.'} 13 | 0.93750 {0: 'V', 1: '.'} 14 | 0.93750 {0: '"', 1: '.'} 15 | 0.93750 {0: 'So', 1: '.'} 16 | 0.93750 {0: 'Bravo', 1: '.'} 17 | 0.93750 {0: 'M', 1: '.'} 18 | 0.90625 {0: ',', 1: '.'} 19 | 0.84375 {0: '--', 1: '.'} 20 | 0.71875 {0: '-', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'Also', 1: 'No'} 2 | {0: 'Then', 1: 'No'} 3 | {0: 'After that', 1: 'No'} 4 | {0: 'And', 1: 'No'} 5 | {0: 'In the end', 1: 'No'} 6 | {0: 'Next', 1: 'No'} 7 | {0: 'Now', 1: 'No'} 8 | {0: 'At the same time', 1: 'No'} 9 | {0: 'So', 1: 'No'} 10 | {0: 'Finally', 1: 'No'} 11 | {0: 'In addition', 1: 'No'} 12 | {0: 'By the way', 1: 'No'} 13 | {0: 'Later', 1: 'No'} 14 | {0: 'After this', 1: 'No'} 15 | {0: 'However', 1: 'No'} 16 | {0: 'The next day', 1: 'No'} 17 | {0: 'In the meantime', 1: 'No'} 18 | {0: 'On the other hand', 1: 'No'} 19 | {0: 'In this case', 1: 'No'} 20 | {0: 'Because of this', 1: 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '.', '1': 'Enjoy!'} 2 | {'0': '.', '1': 'What?'} 3 | {'0': '.', '1': 'No.'} 4 | {'0': '.', '1': 'Thanks!'} 5 | {'0': '.', '1': 'Good.'} 6 | {'0': '.', '1': 'Ever.'} 7 | {'0': '.', '1': 'Wow!'} 8 | {'0': '.', '1': 'Thank you.'} 9 | {'0': '.', '1': 'Enjoy.'} 10 | {'0': '.', '1': 'Again.'} 11 | {'0': '.', '1': 'Not.'} 12 | {'0': '.', '1': 'Really.'} 13 | {'0': '.', '1': 'How?'} 14 | {'0': '.', '1': 'Period.'} 15 | {'0': '.', '1': 'Read.'} 16 | {'0': '.', '1': 'Please.'} 17 | {'0': '.', '1': 'Why?'} 18 | {'0': '.', '1': 'Sorry.'} 19 | {'0': '.', '1': 'Really?'} 20 | {'0': '.', '1': 'Thanks.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {False: 'From', True: '.'} 2 | {False: 'Title', True: '.'} 3 | {False: 'or', True: '.'} 4 | {False: 'Re', True: '.'} 5 | {False: 'L', True: '.'} 6 | {False: 'and', True: '.'} 7 | {False: 'Dear', True: '.'} 8 | {False: 'And', True: '.'} 9 | {False: 'A', True: '--'} 10 | {False: 'K', True: '.'} 11 | {False: 'About', True: '.'} 12 | {False: 'A', True: '.'} 13 | {False: 'W', True: '--'} 14 | {False: 'W', True: '.'} 15 | {False: 'Hello', True: '.'} 16 | {False: 'When', True: '.'} 17 | {False: 'The', True: '.'} 18 | {False: 'Michael', True: '.'} 19 | {False: 'By', True: '.'} 20 | {False: 'No', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-100.txt: -------------------------------------------------------------------------------- 1 | {False: '>', True: '.'} 2 | {False: '+', True: '.'} 3 | {False: '*', True: '.'} 4 | {False: 'meaning', True: '.'} 5 | {False: '/', True: '.'} 6 | {False: '=', True: '.'} 7 | {False: 'the', True: '.'} 8 | {False: 'for', True: '.'} 9 | {False: 'before', True: '.'} 10 | {False: 'more', True: '.'} 11 | {False: 'English', True: '.'} 12 | {False: 'after', True: '.'} 13 | {False: 'into', True: '.'} 14 | {False: 'like', True: '.'} 15 | {False: 'see', True: '.'} 16 | {False: 'then', True: '.'} 17 | {False: 'The', True: '.'} 18 | {False: 'with', True: '.'} 19 | {False: '2', True: '.'} 20 | {False: 'not', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {False: '.', True: 's'} 2 | {False: '.', True: '+'} 3 | {False: '.', True: 'before'} 4 | {False: '.', True: 'was'} 5 | {False: '.', True: 'means'} 6 | {False: '.', True: 'or'} 7 | {False: '.', True: 'becomes'} 8 | {False: '.', True: 'The'} 9 | {False: '.', True: 'like'} 10 | {False: '.', True: '['} 11 | {False: '.', True: 'meaning'} 12 | {False: '.', True: '"'} 13 | {False: '.', True: '--'} 14 | {False: '.', True: 'from'} 15 | {False: '.', True: 'see'} 16 | {False: '.', True: 'not'} 17 | {False: '.', True: '='} 18 | {False: '.', True: 'at'} 19 | {False: '.', True: '('} 20 | {False: '.', True: '='} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Now', 1: 'No'} 2 | {0: 'However', 1: 'No'} 3 | {0: 'In addition', 1: 'No'} 4 | {0: 'So', 1: 'No'} 5 | {0: 'Also', 1: 'No'} 6 | {0: 'Finally', 1: 'No'} 7 | {0: 'Next', 1: 'No'} 8 | {0: 'At the same time', 1: 'No'} 9 | {0: 'In the meantime', 1: 'No'} 10 | {0: 'After this', 1: 'No'} 11 | {0: 'Later', 1: 'No'} 12 | {0: 'In the end', 1: 'No'} 13 | {0: 'And', 1: 'No'} 14 | {0: 'On the other hand', 1: 'No'} 15 | {0: 'Because of this', 1: 'No'} 16 | {0: 'In this case', 1: 'No'} 17 | {0: 'By the way', 1: 'No'} 18 | {0: 'After that', 1: 'No'} 19 | {0: 'The next day', 1: 'No'} 20 | {0: 'Then', 1: 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {False: '2', True: '.'} 2 | {False: '>', True: '.'} 3 | {False: 'with', True: '.'} 4 | {False: 'like', True: '.'} 5 | {False: '*', True: '.'} 6 | {False: 'not', True: '.'} 7 | {False: 'The', True: '.'} 8 | {False: 'into', True: '.'} 9 | {False: '+', True: '.'} 10 | {False: 'see', True: '.'} 11 | {False: '/', True: '.'} 12 | {False: 'meaning', True: '.'} 13 | {False: 'after', True: '.'} 14 | {False: 'then', True: '.'} 15 | {False: 'English', True: '.'} 16 | {False: 'more', True: '.'} 17 | {False: 'for', True: '.'} 18 | {False: '=', True: '.'} 19 | {False: 'the', True: '.'} 20 | {False: 'before', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-13.txt: -------------------------------------------------------------------------------- 1 | {False: '.', True: 'means'} 2 | {False: '.', True: 'from'} 3 | {False: '.', True: '='} 4 | {False: '.', True: '+'} 5 | {False: '.', True: 's'} 6 | {False: '.', True: 'to'} 7 | {False: '.', True: 'and'} 8 | {False: '.', True: 'of'} 9 | {False: '.', True: 'or'} 10 | {False: '.', True: 'also'} 11 | {False: '.', True: 'with'} 12 | {False: '.', True: 'for'} 13 | {False: '.', True: '='} 14 | {False: '.', True: 'before'} 15 | {False: '.', True: 'after'} 16 | {False: '.', True: 'then'} 17 | {False: '.', True: 'becomes'} 18 | {False: '.', True: 'into'} 19 | {False: '.', True: 'without'} 20 | {False: '.', True: 'de'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 'Then'} 2 | {0: 'Also', 1: 'Then'} 3 | {0: 'Cause', 1: 'Then'} 4 | {0: 'In addition', 1: 'Then'} 5 | {0: 'The next day', 1: 'Then'} 6 | {0: 'By the way', 1: 'Then'} 7 | {0: 'Or', 1: 'Then'} 8 | {0: 'No', 1: 'After that'} 9 | {0: 'Cause? No', 1: 'Then'} 10 | {0: 'On the other hand', 1: 'Then'} 11 | {0: 'At the same time', 1: 'Then'} 12 | {0: 'No', 1: 'Yes'} 13 | {0: 'Nope', 1: 'Then'} 14 | {0: 'And', 1: 'Then'} 15 | {0: 'However', 1: 'Then'} 16 | {0: 'No', 1: 'Again'} 17 | {0: 'Cause? Well', 1: 'Then'} 18 | {0: 'Cause? Yes', 1: 'Then'} 19 | {0: 'Also', 1: 'After that'} 20 | {0: 'Later', 1: 'Then'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: 'negative', 1: 'good'} 2 | {0: 'mixed', 1: 'good'} 3 | {0: 'this', 1: 'good'} 4 | {0: 'that', 1: 'good'} 5 | {0: 'bad', 1: 'good'} 6 | {0: 'poor', 1: 'good'} 7 | {0: 'not good', 1: 'good'} 8 | {0: 'wrong', 1: 'good'} 9 | {0: 'low', 1: 'good'} 10 | {0: 'overwhelming', 1: 'good'} 11 | {0: 'very negative', 1: 'good'} 12 | {0: 'very strong', 1: 'good'} 13 | {0: 'not great', 1: 'good'} 14 | {0: 'rather positive', 1: 'good'} 15 | {0: ':', 1: 'good'} 16 | {0: 'unchanged', 1: 'good'} 17 | {0: 'one', 1: 'good'} 18 | {0: 'quite positive', 1: 'good'} 19 | {0: 'below', 1: 'good'} 20 | {0: 'pretty positive', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-87.txt: -------------------------------------------------------------------------------- 1 | {False: 'The', True: '--'} 2 | {False: 'American', True: '--'} 3 | {False: 'R', True: '--'} 4 | {False: 'National', True: '--'} 5 | {False: 'D', True: '--'} 6 | {False: 'US', True: '--'} 7 | {False: 'the', True: '--'} 8 | {False: '1)', True: '--'} 9 | {False: 'N', True: '--'} 10 | {False: 'I', True: '--'} 11 | {False: 'Dear', True: '--'} 12 | {False: 'W', True: '--'} 13 | {False: 'And', True: '--'} 14 | {False: 'So', True: '--'} 15 | {False: 'P', True: '--'} 16 | {False: '1', True: '--'} 17 | {False: 'L', True: '--'} 18 | {False: 'All', True: '--'} 19 | {False: 'About', True: '--'} 20 | {False: 'No', True: '--'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {False: '.', True: 'becomes'} 2 | {False: '.', True: 'or'} 3 | {False: '.', True: 'means'} 4 | {False: '.', True: '='} 5 | {False: '.', True: 'from'} 6 | {False: '.', True: '='} 7 | {False: '.', True: 's'} 8 | {False: '.', True: 'with'} 9 | {False: '.', True: 'to'} 10 | {False: '.', True: 'de'} 11 | {False: '.', True: '+'} 12 | {False: '.', True: 'of'} 13 | {False: '.', True: 'without'} 14 | {False: '.', True: 'also'} 15 | {False: '.', True: 'for'} 16 | {False: '.', True: 'then'} 17 | {False: '.', True: 'after'} 18 | {False: '.', True: 'before'} 19 | {False: '.', True: 'and'} 20 | {False: '.', True: 'into'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-21.txt: -------------------------------------------------------------------------------- 1 | {False: 's', True: '.'} 2 | {False: 'of', True: '.'} 3 | {False: '[', True: '.'} 4 | {False: 'see', True: '.'} 5 | {False: 'then', True: '.'} 6 | {False: 'after', True: '.'} 7 | {False: 'before', True: '.'} 8 | {False: 'implies', True: '.'} 9 | {False: 'de', True: '.'} 10 | {False: 'was', True: '.'} 11 | {False: 'becomes', True: '.'} 12 | {False: 'into', True: '.'} 13 | {False: 'like', True: '.'} 14 | {False: 'verb', True: '.'} 15 | {False: 'English', True: '.'} 16 | {False: 'as', True: '.'} 17 | {False: 'not', True: '.'} 18 | {False: 'more', True: '.'} 19 | {False: 'The', True: '.'} 20 | {False: 'the', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.93750 {0: 'no', 1: '.'} 2 | 0.93750 {0: 'My', 1: '.'} 3 | 0.90625 {0: 'Hello', 1: '.'} 4 | 0.90625 {0: 'N', 1: '.'} 5 | 0.90625 {0: 'P', 1: '.'} 6 | 0.90625 {0: 'Please', 1: '.'} 7 | 0.90625 {0: 'G', 1: '.'} 8 | 0.87500 {0: 'Dis', 1: '.'} 9 | 0.87500 {0: 'Un', 1: '.'} 10 | 0.87500 {0: 'NOT', 1: '.'} 11 | 0.87500 {0: 'Im', 1: '.'} 12 | 0.87500 {0: 'H', 1: '.'} 13 | 0.87500 {0: 'Only', 1: '.'} 14 | 0.84375 {0: 'Try', 1: '.'} 15 | 0.84375 {0: 'New', 1: '.'} 16 | 0.81250 {0: 'Re', 1: '.'} 17 | 0.78125 {0: 'And', 1: '.'} 18 | 0.78125 {0: 'In', 1: '.'} 19 | 0.78125 {0: 'and', 1: '.'} 20 | 0.62500 {0: 'I', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {0: 'So', 1: '.'} 2 | 0.87500 {0: '@', 1: '.'} 3 | 0.87500 {0: 'Un', 1: '.'} 4 | 0.87500 {0: 'so', 1: '.'} 5 | 0.84375 {0: 'Only', 1: '.'} 6 | 0.84375 {0: 'Still', 1: '.'} 7 | 0.84375 {0: 'A', 1: '.'} 8 | 0.81250 {0: 'Please', 1: '.'} 9 | 0.81250 {0: '_', 1: '.'} 10 | 0.81250 {0: '*', 1: '.'} 11 | 0.81250 {0: 'Just', 1: '.'} 12 | 0.81250 {0: 'Re', 1: '.'} 13 | 0.81250 {0: '(', 1: '.'} 14 | 0.81250 {0: 'But', 1: '.'} 15 | 0.81250 {0: 'Hi', 1: '.'} 16 | 0.78125 {0: ')', 1: '.'} 17 | 0.78125 {0: 'I', 1: '.'} 18 | 0.78125 {0: 'In', 1: '.'} 19 | 0.78125 {0: 'and', 1: '.'} 20 | 0.75000 {0: 'Also', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.81250 {0: '@', 1: '.'} 2 | 0.81250 {0: 'Please', 1: '.'} 3 | 0.81250 {0: 'Only', 1: '.'} 4 | 0.81250 {0: 'Still', 1: '.'} 5 | 0.81250 {0: 'NOT', 1: '.'} 6 | 0.81250 {0: 'com', 1: '.'} 7 | 0.81250 {0: 'No', 1: '.'} 8 | 0.81250 {0: 'LOL', 1: '.'} 9 | 0.81250 {0: 'Re', 1: '.'} 10 | 0.81250 {0: 'lol', 1: '.'} 11 | 0.78125 {0: 'Un', 1: '.'} 12 | 0.71875 {0: 'T', 1: '.'} 13 | 0.68750 {0: 'My', 1: '.'} 14 | 0.65625 {0: 'in', 1: '.'} 15 | 0.65625 {0: 'G', 1: '.'} 16 | 0.62500 {0: 'P', 1: '.'} 17 | 0.62500 {0: 'H', 1: '.'} 18 | 0.59375 {0: 'And', 1: '.'} 19 | 0.59375 {0: 'In', 1: '.'} 20 | 0.53125 {0: 'I', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.93750 {0: 'Dis', 1: '.'} 2 | 0.93750 {0: 'De', 1: '.'} 3 | 0.93750 {0: 'Really', 1: '.'} 4 | 0.93750 {0: 'Bravo', 1: '.'} 5 | 0.93750 {0: 'No', 1: '.'} 6 | 0.93750 {0: 'Great', 1: '.'} 7 | 0.93750 {0: 'And', 1: '.'} 8 | 0.93750 {0: 'F', 1: '.'} 9 | 0.93750 {0: 'R', 1: '.'} 10 | 0.90625 {0: 'P', 1: '.'} 11 | 0.90625 {0: 'Just', 1: '.'} 12 | 0.90625 {0: 'So', 1: '.'} 13 | 0.90625 {0: 'W', 1: '.'} 14 | 0.90625 {0: 'A', 1: '.'} 15 | 0.90625 {0: 'Only', 1: '.'} 16 | 0.84375 {0: 'C', 1: '.'} 17 | 0.81250 {0: 'Un', 1: '.'} 18 | 0.81250 {0: 'V', 1: '.'} 19 | 0.75000 {0: 'and', 1: '.'} 20 | 0.56250 {0: ',', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'No', 1: 'After that'} 2 | {0: 'Cause? Yes', 1: 'Then'} 3 | {0: 'No', 1: 'Yes'} 4 | {0: 'Nope', 1: 'Then'} 5 | {0: 'No', 1: 'Then'} 6 | {0: 'Or', 1: 'Then'} 7 | {0: 'In addition', 1: 'Then'} 8 | {0: 'Cause', 1: 'Then'} 9 | {0: 'And', 1: 'Then'} 10 | {0: 'Cause? Well', 1: 'Then'} 11 | {0: 'No', 1: 'Again'} 12 | {0: 'Also', 1: 'After that'} 13 | {0: 'On the other hand', 1: 'Then'} 14 | {0: 'Also', 1: 'Then'} 15 | {0: 'By the way', 1: 'Then'} 16 | {0: 'Cause? No', 1: 'Then'} 17 | {0: 'The next day', 1: 'Then'} 18 | {0: 'At the same time', 1: 'Then'} 19 | {0: 'However', 1: 'Then'} 20 | {0: 'Later', 1: 'Then'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'Yes'} 2 | {'0': 'No', '1': 'Yes'} 3 | {'0': 'Then', '1': 'Yes'} 4 | {'0': 'And', '1': 'Yes'} 5 | {'0': 'Next', '1': 'Yes'} 6 | {'0': 'Finally', '1': 'Yes'} 7 | {'0': 'Or', '1': 'Yes'} 8 | {'0': 'First', '1': 'Yes'} 9 | {'0': 'On the other hand', '1': 'Yes'} 10 | {'0': 'This time', '1': 'Yes'} 11 | {'0': 'Hi', '1': 'Yes'} 12 | {'0': 'and', '1': 'Yes'} 13 | {'0': 'Here', '1': 'Yes'} 14 | {'0': 's', '1': 'Yes'} 15 | {'0': 'Now', '1': 'Yes'} 16 | {'0': 'A', '1': 'Yes'} 17 | {'0': 'Oh', '1': 'Yes'} 18 | {'0': 'This week', '1': 'Yes'} 19 | {'0': 'I mean', '1': 'Yes'} 20 | {'0': '. Also', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: 'negative', 1: 'good'} 2 | {0: 'pretty good', 1: 'good'} 3 | {0: 'mixed', 1: 'good'} 4 | {0: 'poor', 1: 'good'} 5 | {0: 'very good', 1: 'good'} 6 | {0: 'very positive', 1: 'good'} 7 | {0: 'bad', 1: 'good'} 8 | {0: 'one', 1: 'good'} 9 | {0: 'very high', 1: 'good'} 10 | {0: 'quite positive', 1: 'good'} 11 | {0: 'not bad', 1: 'good'} 12 | {0: 'quite good', 1: 'good'} 13 | {0: 'the best', 1: 'good'} 14 | {0: 'not good', 1: 'good'} 15 | {0: 'below', 1: 'good'} 16 | {0: 'the same', 1: 'good'} 17 | {0: 'really good', 1: 'good'} 18 | {0: 'amazing', 1: 'good'} 19 | {0: 'above', 1: 'good'} 20 | {0: 'better', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'below', 1: 'good'} 2 | {0: 'very negative', 1: 'good'} 3 | {0: 'mixed', 1: 'good'} 4 | {0: 'unchanged', 1: 'good'} 5 | {0: 'poor', 1: 'good'} 6 | {0: 'very strong', 1: 'good'} 7 | {0: 'overwhelming', 1: 'good'} 8 | {0: 'negative', 1: 'good'} 9 | {0: 'not good', 1: 'good'} 10 | {0: 'pretty positive', 1: 'good'} 11 | {0: 'that', 1: 'good'} 12 | {0: 'quite positive', 1: 'good'} 13 | {0: 'bad', 1: 'good'} 14 | {0: 'low', 1: 'good'} 15 | {0: 'rather positive', 1: 'good'} 16 | {0: 'wrong', 1: 'good'} 17 | {0: ':', 1: 'good'} 18 | {0: 'not great', 1: 'good'} 19 | {0: 'this', 1: 'good'} 20 | {0: 'one', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {False: '1', True: '--'} 2 | {False: 'L', True: '--'} 3 | {False: 'Dear', True: '--'} 4 | {False: 'D', True: '--'} 5 | {False: 'I', True: '--'} 6 | {False: 'National', True: '--'} 7 | {False: 'N', True: '--'} 8 | {False: '1)', True: '--'} 9 | {False: 'American', True: '--'} 10 | {False: 'R', True: '--'} 11 | {False: 'W', True: '--'} 12 | {False: 'So', True: '--'} 13 | {False: 'US', True: '--'} 14 | {False: 'And', True: '--'} 15 | {False: 'the', True: '--'} 16 | {False: 'P', True: '--'} 17 | {False: 'No', True: '--'} 18 | {False: 'The', True: '--'} 19 | {False: 'About', True: '--'} 20 | {False: 'All', True: '--'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {False: 'into', True: '.'} 2 | {False: 'verb', True: '.'} 3 | {False: 'The', True: '.'} 4 | {False: 'more', True: '.'} 5 | {False: 'after', True: '.'} 6 | {False: 'like', True: '.'} 7 | {False: 'English', True: '.'} 8 | {False: 'before', True: '.'} 9 | {False: 's', True: '.'} 10 | {False: 'as', True: '.'} 11 | {False: 'becomes', True: '.'} 12 | {False: 'the', True: '.'} 13 | {False: 'of', True: '.'} 14 | {False: 'implies', True: '.'} 15 | {False: 'not', True: '.'} 16 | {False: 'then', True: '.'} 17 | {False: 'see', True: '.'} 18 | {False: 'was', True: '.'} 19 | {False: '[', True: '.'} 20 | {False: 'de', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {0: '.', 1: 'All'} 2 | 0.81250 {0: '.', 1: 'Bravo'} 3 | 0.68750 {0: '.', 1: 'New'} 4 | 0.68750 {0: '.', 1: 'Simply'} 5 | 0.59375 {0: '.', 1: 'and'} 6 | 0.59375 {0: '.', 1: 'In'} 7 | 0.56250 {0: '.', 1: 'Big'} 8 | 0.56250 {0: '.', 1: 'E'} 9 | 0.56250 {0: '.', 1: 'S'} 10 | 0.53125 {0: '.', 1: 'so'} 11 | 0.53125 {0: '.', 1: 'from'} 12 | 0.50000 {0: '.', 1: 'the'} 13 | 0.50000 {0: '.', 1: 'more'} 14 | 0.50000 {0: '.', 1: 'in'} 15 | 0.50000 {0: '.', 1: 'a'} 16 | 0.50000 {0: '.', 1: 'More'} 17 | 0.50000 {0: '.', 1: 'My'} 18 | 0.50000 {0: '.', 1: 'And'} 19 | 0.50000 {0: '.', 1: 'H'} 20 | 0.46875 {0: '.', 1: 's'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 1.00000 {0: 'Thanks', 1: '.'} 2 | 0.96875 {0: 'Bravo', 1: '.'} 3 | 0.93750 {0: 'Great', 1: '.'} 4 | 0.90625 {0: 'Really', 1: '.'} 5 | 0.90625 {0: 'Some', 1: '.'} 6 | 0.90625 {0: 'And', 1: '.'} 7 | 0.90625 {0: 'So', 1: '.'} 8 | 0.90625 {0: 'J', 1: '.'} 9 | 0.90625 {0: 'Just', 1: '.'} 10 | 0.90625 {0: 'Most', 1: '.'} 11 | 0.87500 {0: 'Un', 1: '.'} 12 | 0.87500 {0: 'No', 1: '.'} 13 | 0.87500 {0: 'R', 1: '.'} 14 | 0.87500 {0: 'F', 1: '.'} 15 | 0.87500 {0: 'M', 1: '.'} 16 | 0.87500 {0: 'P', 1: '.'} 17 | 0.87500 {0: 'New', 1: '.'} 18 | 0.81250 {0: 'H', 1: '.'} 19 | 0.78125 {0: 'C', 1: '.'} 20 | 0.78125 {0: 'En', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-87.txt: -------------------------------------------------------------------------------- 1 | {0: 'A', 1: 'The answer is'} 2 | {0: 'A', 1: 'Well'} 3 | {0: 'I', 1: 'The answer is'} 4 | {0: 'I', 1: 'Well'} 5 | {0: 'B', 1: 'The answer is'} 6 | {0: 'B', 1: 'Well'} 7 | {0: 'C', 1: 'The answer is'} 8 | {0: 'C', 1: 'Well'} 9 | {0: 'Here', 1: 'The answer is'} 10 | {0: 'Here', 1: 'Well'} 11 | {0: 'No', 1: 'The answer is'} 12 | {0: 'I.e.', 1: 'The answer is'} 13 | {0: 'E.g.', 1: 'The answer is'} 14 | {0: 'See also', 1: 'The answer is'} 15 | {0: 'No', 1: 'Well'} 16 | {0: 'I.e.', 1: 'Well'} 17 | {0: 'E.g.', 1: 'Well'} 18 | {0: 'A.', 1: 'The answer is'} 19 | {0: 'B.', 1: 'The answer is'} 20 | {0: 'See also', 1: 'Well'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'A', '1': 'Yes'} 2 | {'0': 'And', '1': 'Yes'} 3 | {'0': 'Now', '1': 'Yes'} 4 | {'0': 'Or', '1': 'Yes'} 5 | {'0': 'This time', '1': 'Yes'} 6 | {'0': 'Oh', '1': 'Yes'} 7 | {'0': 'and', '1': 'Yes'} 8 | {'0': 'Next', '1': 'Yes'} 9 | {'0': '. Also', '1': 'Yes'} 10 | {'0': 'First', '1': 'Yes'} 11 | {'0': 'On the other hand', '1': 'Yes'} 12 | {'0': 'This week', '1': 'Yes'} 13 | {'0': 'Here', '1': 'Yes'} 14 | {'0': 'Then', '1': 'Yes'} 15 | {'0': 'No', '1': 'Yes'} 16 | {'0': 'Also', '1': 'Yes'} 17 | {'0': 'I mean', '1': 'Yes'} 18 | {'0': 'Finally', '1': 'Yes'} 19 | {'0': 'Hi', '1': 'Yes'} 20 | {'0': 's', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'bad', 1: 'good'} 2 | {0: 'quite good', 1: 'good'} 3 | {0: 'really good', 1: 'good'} 4 | {0: 'very positive', 1: 'good'} 5 | {0: 'very good', 1: 'good'} 6 | {0: 'quite positive', 1: 'good'} 7 | {0: 'very high', 1: 'good'} 8 | {0: 'pretty good', 1: 'good'} 9 | {0: 'mixed', 1: 'good'} 10 | {0: 'one', 1: 'good'} 11 | {0: 'above', 1: 'good'} 12 | {0: 'not bad', 1: 'good'} 13 | {0: 'poor', 1: 'good'} 14 | {0: 'amazing', 1: 'good'} 15 | {0: 'not good', 1: 'good'} 16 | {0: 'the best', 1: 'good'} 17 | {0: 'better', 1: 'good'} 18 | {0: 'negative', 1: 'good'} 19 | {0: 'the same', 1: 'good'} 20 | {0: 'below', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.56250 {0: 'No', 1: '.'} 2 | 0.53125 {0: 'Instead', 1: '.'} 3 | 0.53125 {0: 'But', 1: '?'} 4 | 0.53125 {0: 'But', 1: '.'} 5 | 0.53125 {0: '!', 1: '.'} 6 | 0.50000 {0: 'Hi', 1: '.'} 7 | 0.50000 {0: 'After', 1: '.'} 8 | 0.50000 {0: 'Well', 1: '.'} 9 | 0.50000 {0: 'Me', 1: '.'} 10 | 0.50000 {0: 'NO', 1: '.'} 11 | 0.50000 {0: 'My', 1: '?'} 12 | 0.50000 {0: 'My', 1: '.'} 13 | 0.50000 {0: 'Un', 1: '.'} 14 | 0.50000 {0: 'Not', 1: '.'} 15 | 0.50000 {0: 'Oh', 1: '.'} 16 | 0.50000 {0: 'Ha', 1: '.'} 17 | 0.50000 {0: 'Not', 1: '?'} 18 | 0.50000 {0: 'No', 1: '?'} 19 | 0.46875 {0: 'His', 1: '.'} 20 | 0.46875 {0: 'No', 1: 'And'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.62500 {0: 'While', 1: '.'} 2 | 0.62500 {0: 'To', 1: '.'} 3 | 0.59375 {0: 'Instead', 1: '.'} 4 | 0.59375 {0: 'Her', 1: '.'} 5 | 0.59375 {0: 'The', 1: '.'} 6 | 0.59375 {0: 'However', 1: '.'} 7 | 0.56250 {0: 'W', 1: '.'} 8 | 0.56250 {0: 'T', 1: '.'} 9 | 0.56250 {0: 'She', 1: '.'} 10 | 0.56250 {0: ',', 1: '.'} 11 | 0.56250 {0: 'He', 1: '.'} 12 | 0.56250 {0: 'the', 1: '.'} 13 | 0.56250 {0: 'But', 1: '.'} 14 | 0.53125 {0: 'No', 1: '.'} 15 | 0.53125 {0: 'His', 1: '.'} 16 | 0.53125 {0: 'Not', 1: '.'} 17 | 0.53125 {0: 'And', 1: '.'} 18 | 0.53125 {0: 'Now', 1: '.'} 19 | 0.50000 {0: 'I', 1: '.'} 20 | 0.50000 {0: 'Yes', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.50000 {0: '1.', 1: 'U'} 2 | 0.50000 {0: '1.', 1: '?'} 3 | 0.40625 {0: '1.', 1: '.'} 4 | 0.40625 {0: '1.', 1: 'Answer'} 5 | 0.40625 {0: '1.', 1: 'and'} 6 | 0.37500 {0: '1.', 1: "'"} 7 | 0.37500 {0: '1.', 1: 'the'} 8 | 0.34375 {0: '1.', 1: 'From'} 9 | 0.34375 {0: '1.', 1: 'P'} 10 | 0.34375 {0: '1.', 1: 'T'} 11 | 0.31250 {0: '1.', 1: '['} 12 | 0.18750 {0: '1.', 1: 'M'} 13 | 0.18750 {0: '1.', 1: 'J'} 14 | 0.18750 {0: '1.', 1: ')'} 15 | 0.18750 {0: '1.', 1: '—'} 16 | 0.18750 {0: '1.', 1: 'To'} 17 | 0.18750 {0: '•', 1: '.'} 18 | 0.12500 {0: '1.', 1: 'by'} 19 | 0.09375 {0: '*', 1: '.'} 20 | 0.00000 {0: '1.', 1: 'to'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.50000 {0: '1.', 1: 'And'} 2 | 0.43750 {0: '1.', 1: 'Me'} 3 | 0.40625 {0: '1.', 1: '—'} 4 | 0.37500 {0: '1.', 1: 'O'} 5 | 0.37500 {0: '1.', 1: 'In'} 6 | 0.34375 {0: '1.', 1: '?'} 7 | 0.31250 {0: '1.', 1: 'W'} 8 | 0.31250 {0: '1.', 1: 'Two'} 9 | 0.31250 {0: '1.', 1: 'Answer'} 10 | 0.28125 {0: '1.', 1: 'De'} 11 | 0.28125 {0: '1.', 1: 'T'} 12 | 0.25000 {0: '1.', 1: 'As'} 13 | 0.25000 {0: '1.', 1: 'S'} 14 | 0.25000 {0: '1.', 1: '-'} 15 | 0.25000 {0: '1.', 1: "'"} 16 | 0.21875 {0: '1.', 1: '('} 17 | 0.21875 {0: '1.', 1: 'When'} 18 | 0.21875 {0: '1.', 1: 'G'} 19 | 0.18750 {0: '1.', 1: 'H'} 20 | 0.15625 {0: '1.', 1: 'An'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {0: '.', 1: 'Excellent'} 2 | 0.81250 {0: '.', 1: 'Bravo'} 3 | 0.71875 {0: '.', 1: 'From'} 4 | 0.71875 {0: '.', 1: 'En'} 5 | 0.68750 {0: '.', 1: 'more'} 6 | 0.65625 {0: '.', 1: 'Best'} 7 | 0.65625 {0: '.', 1: '10'} 8 | 0.65625 {0: '.', 1: 'My'} 9 | 0.65625 {0: '.', 1: 'D'} 10 | 0.65625 {0: '.', 1: ','} 11 | 0.65625 {0: '.', 1: 'P'} 12 | 0.65625 {0: '.', 1: 'N'} 13 | 0.62500 {0: '.', 1: 'the'} 14 | 0.62500 {0: '.', 1: 'Most'} 15 | 0.62500 {0: '.', 1: 'Movie'} 16 | 0.62500 {0: '.', 1: 'and'} 17 | 0.59375 {0: '.', 1: '['} 18 | 0.59375 {0: '.', 1: 'New'} 19 | 0.59375 {0: '.', 1: 'S'} 20 | 0.53125 {0: '.', 1: 'Un'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'I.e.', 1: 'The answer is'} 2 | {0: 'A', 1: 'The answer is'} 3 | {0: 'I', 1: 'Well'} 4 | {0: 'E.g.', 1: 'Well'} 5 | {0: 'See also', 1: 'Well'} 6 | {0: 'B', 1: 'Well'} 7 | {0: 'E.g.', 1: 'The answer is'} 8 | {0: 'C', 1: 'Well'} 9 | {0: 'I.e.', 1: 'Well'} 10 | {0: 'B.', 1: 'The answer is'} 11 | {0: 'C', 1: 'The answer is'} 12 | {0: 'Here', 1: 'Well'} 13 | {0: 'A', 1: 'Well'} 14 | {0: 'A.', 1: 'The answer is'} 15 | {0: 'No', 1: 'Well'} 16 | {0: 'B', 1: 'The answer is'} 17 | {0: 'I', 1: 'The answer is'} 18 | {0: 'Here', 1: 'The answer is'} 19 | {0: 'See also', 1: 'The answer is'} 20 | {0: 'No', 1: 'The answer is'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: 'negative', 1: 'good'} 2 | {0: 'mixed', 1: 'good'} 3 | {0: 'this', 1: 'good'} 4 | {0: 'that', 1: 'good'} 5 | {0: 'pretty good', 1: 'good'} 6 | {0: 'not good', 1: 'good'} 7 | {0: 'quite positive', 1: 'good'} 8 | {0: 'the following', 1: 'good'} 9 | {0: 'poor', 1: 'good'} 10 | {0: 'bad', 1: 'good'} 11 | {0: 'very positive', 1: 'good'} 12 | {0: 'below', 1: 'good'} 13 | {0: 'pretty positive', 1: 'good'} 14 | {0: 'neutral', 1: 'good'} 15 | {0: 'unchanged', 1: 'good'} 16 | {0: 'fair', 1: 'good'} 17 | {0: 'not great', 1: 'good'} 18 | {0: 'the same', 1: 'good'} 19 | {0: 'very negative', 1: 'good'} 20 | {0: 'very mixed', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.81250 {0: '?', 1: 'Yes'} 2 | 0.78125 {0: '?', 1: 'And'} 3 | 0.75000 {0: '?', 1: 'When'} 4 | 0.75000 {0: '?', 1: 'and'} 5 | 0.68750 {0: '?', 1: 'To'} 6 | 0.68750 {0: '?', 1: 'As'} 7 | 0.68750 {0: '?', 1: 'Or'} 8 | 0.65625 {0: '?', 1: 'He'} 9 | 0.65625 {0: '?', 1: 'or'} 10 | 0.62500 {0: '?', 1: 'Instead'} 11 | 0.62500 {0: '?', 1: 'No'} 12 | 0.62500 {0: '?', 1: 'She'} 13 | 0.62500 {0: '?', 1: 'Was'} 14 | 0.62500 {0: '?', 1: 'Because'} 15 | 0.62500 {0: '.', 1: 'No'} 16 | 0.59375 {0: '?', 1: 'But'} 17 | 0.59375 {0: '?', 1: 'Her'} 18 | 0.59375 {0: '?', 1: 'Not'} 19 | 0.59375 {0: '?', 1: 'Cause'} 20 | 0.59375 {0: '?', 1: 'The'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.65625 {0: 'Cause', 1: '?'} 2 | 0.62500 {0: 'No', 1: '?'} 3 | 0.56250 {0: 'No', 1: 'I'} 4 | 0.56250 {0: 'No', 1: '.'} 5 | 0.56250 {0: 'No', 1: 's'} 6 | 0.53125 {0: 'or', 1: '.'} 7 | 0.53125 {0: 'or', 1: 's'} 8 | 0.50000 {0: 'The', 1: 's'} 9 | 0.50000 {0: 'Also', 1: 's'} 10 | 0.50000 {0: 'Cause', 1: '.'} 11 | 0.50000 {0: 'Or', 1: 's'} 12 | 0.50000 {0: 'But', 1: '.'} 13 | 0.50000 {0: 'Yes', 1: 's'} 14 | 0.50000 {0: 'But', 1: 's'} 15 | 0.50000 {0: 'But', 1: 'I'} 16 | 0.50000 {0: 'Cause', 1: 'I'} 17 | 0.50000 {0: 'Cause', 1: 's'} 18 | 0.46875 {0: 'And', 1: 's'} 19 | 0.46875 {0: 'But', 1: '?'} 20 | 0.43750 {0: '2.', 1: 's'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.50000 {0: 'A', 1: '1.'} 2 | 0.50000 {0: '10', 1: '1.'} 3 | 0.50000 {0: '6', 1: '1.'} 4 | 0.50000 {0: '7', 1: '1.'} 5 | 0.46875 {0: 'When', 1: '1.'} 6 | 0.46875 {0: 'De', 1: '1.'} 7 | 0.43750 {0: 'and', 1: '1.'} 8 | 0.43750 {0: 'The', 1: '3.'} 9 | 0.43750 {0: '1', 1: '1.'} 10 | 0.43750 {0: 'As', 1: '1.'} 11 | 0.43750 {0: 'And', 1: '1.'} 12 | 0.43750 {0: ',', 1: '1.'} 13 | 0.43750 {0: ':', 1: '1.'} 14 | 0.43750 {0: 'The', 1: '2.'} 15 | 0.40625 {0: 'The', 1: '1.'} 16 | 0.40625 {0: '2', 1: '1.'} 17 | 0.37500 {0: 'From', 1: '1.'} 18 | 0.34375 {0: '--', 1: '1.'} 19 | 0.25000 {0: '*', 1: '1.'} 20 | 0.25000 {0: '•', 1: '1.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.90625 {0: 'Only', 1: '.'} 2 | 0.87500 {0: 'No', 1: '.'} 3 | 0.87500 {0: 'My', 1: '.'} 4 | 0.87500 {0: 'F', 1: '.'} 5 | 0.87500 {0: 'Excellent', 1: '.'} 6 | 0.87500 {0: 'Really', 1: '.'} 7 | 0.84375 {0: 'Very', 1: '.'} 8 | 0.81250 {0: 'I', 1: '.'} 9 | 0.81250 {0: 'Un', 1: '.'} 10 | 0.81250 {0: 'N', 1: '.'} 11 | 0.75000 {0: 'Super', 1: '.'} 12 | 0.75000 {0: 'Just', 1: '.'} 13 | 0.75000 {0: 'Re', 1: '.'} 14 | 0.71875 {0: 'En', 1: '.'} 15 | 0.68750 {0: 'and', 1: '.'} 16 | 0.65625 {0: 'more', 1: '.'} 17 | 0.59375 {0: 'Please', 1: '.'} 18 | 0.56250 {0: 'a', 1: '.'} 19 | 0.56250 {0: 'And', 1: '.'} 20 | 0.56250 {0: 'the', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.96875 {0: 'Very', 1: '.'} 2 | 0.93750 {0: 'Great', 1: '.'} 3 | 0.93750 {0: 'No', 1: '.'} 4 | 0.93750 {0: 'Really', 1: '.'} 5 | 0.90625 {0: 'Just', 1: '.'} 6 | 0.90625 {0: 'More', 1: '.'} 7 | 0.90625 {0: 'Super', 1: '.'} 8 | 0.87500 {0: '[', 1: '.'} 9 | 0.87500 {0: 'Un', 1: '.'} 10 | 0.84375 {0: 'W', 1: '.'} 11 | 0.84375 {0: '*', 1: '.'} 12 | 0.84375 {0: 'F', 1: '.'} 13 | 0.84375 {0: 'Another', 1: '.'} 14 | 0.81250 {0: 'So', 1: '.'} 15 | 0.81250 {0: 'The', 1: '.'} 16 | 0.78125 {0: 'Some', 1: '.'} 17 | 0.75000 {0: '(', 1: '.'} 18 | 0.71875 {0: 'Excellent', 1: '.'} 19 | 0.68750 {0: 'C', 1: '.'} 20 | 0.68750 {0: 'P', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'Well', 1: 'Yes'} 2 | {0: 'And', 1: 'Yes'} 3 | {0: 'Also', 1: 'Yes'} 4 | {0: 'In fact', 1: 'Yes'} 5 | {0: 'First', 1: 'Yes'} 6 | {0: 'So', 1: 'Yes'} 7 | {0: 'Now', 1: 'Yes'} 8 | {0: 'In other words', 1: 'Yes'} 9 | {0: 'By the way', 1: 'Yes'} 10 | {0: 'In this case', 1: 'Yes'} 11 | {0: 'After all', 1: 'Yes'} 12 | {0: 'In the end', 1: 'Yes'} 13 | {0: 'One', 1: 'Yes'} 14 | {0: 'On the other hand', 1: 'Yes'} 15 | {0: 'In addition', 1: 'Yes'} 16 | {0: 'For the most part', 1: 'Yes'} 17 | {0: 'Then', 1: 'Yes'} 18 | {0: 'For the first time', 1: 'Yes'} 19 | {0: 'At the time', 1: 'Yes'} 20 | {0: 'At the end of the day', 1: 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'very negative', 1: 'good'} 2 | {0: 'poor', 1: 'good'} 3 | {0: 'not great', 1: 'good'} 4 | {0: 'bad', 1: 'good'} 5 | {0: 'pretty good', 1: 'good'} 6 | {0: 'mixed', 1: 'good'} 7 | {0: 'negative', 1: 'good'} 8 | {0: 'this', 1: 'good'} 9 | {0: 'pretty positive', 1: 'good'} 10 | {0: 'not good', 1: 'good'} 11 | {0: 'very positive', 1: 'good'} 12 | {0: 'the same', 1: 'good'} 13 | {0: 'neutral', 1: 'good'} 14 | {0: 'fair', 1: 'good'} 15 | {0: 'below', 1: 'good'} 16 | {0: 'the following', 1: 'good'} 17 | {0: 'very mixed', 1: 'good'} 18 | {0: 'that', 1: 'good'} 19 | {0: 'quite positive', 1: 'good'} 20 | {0: 'unchanged', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'For the most part', 1: 'Yes'} 2 | {0: 'By the way', 1: 'Yes'} 3 | {0: 'Also', 1: 'Yes'} 4 | {0: 'At the time', 1: 'Yes'} 5 | {0: 'Then', 1: 'Yes'} 6 | {0: 'For the first time', 1: 'Yes'} 7 | {0: 'At the end of the day', 1: 'Yes'} 8 | {0: 'And', 1: 'Yes'} 9 | {0: 'One', 1: 'Yes'} 10 | {0: 'In the end', 1: 'Yes'} 11 | {0: 'In fact', 1: 'Yes'} 12 | {0: 'After all', 1: 'Yes'} 13 | {0: 'So', 1: 'Yes'} 14 | {0: 'First', 1: 'Yes'} 15 | {0: 'In other words', 1: 'Yes'} 16 | {0: 'In addition', 1: 'Yes'} 17 | {0: 'Now', 1: 'Yes'} 18 | {0: 'In this case', 1: 'Yes'} 19 | {0: 'On the other hand', 1: 'Yes'} 20 | {0: 'Well', 1: 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.50000 {0: 'The', 1: 'Answer'} 2 | 0.50000 {0: '1.', 1: 'Answer'} 3 | 0.50000 {0: 'The', 1: '('} 4 | 0.50000 {0: 'The', 1: '-'} 5 | 0.50000 {0: 'The', 1: ','} 6 | 0.46875 {0: 'The', 1: 'He'} 7 | 0.46875 {0: 'The', 1: '4.'} 8 | 0.46875 {0: 'The', 1: 'B'} 9 | 0.46875 {0: 'The', 1: '2.'} 10 | 0.46875 {0: 'The', 1: 'S'} 11 | 0.46875 {0: 'The', 1: '--'} 12 | 0.46875 {0: 'The', 1: '3.'} 13 | 0.43750 {0: '1.', 1: 'D'} 14 | 0.43750 {0: 'The', 1: 'D'} 15 | 0.40625 {0: 'The', 1: 'C'} 16 | 0.40625 {0: '1.', 1: '--'} 17 | 0.37500 {0: '1.', 1: ','} 18 | 0.28125 {0: '1.', 1: '3.'} 19 | 0.25000 {0: '1.', 1: 'S'} 20 | 0.21875 {0: '1.', 1: 'C'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MultiRC/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.43750 {0: '•', 1: 'The'} 2 | 0.40625 {0: 'K', 1: 'The'} 3 | 0.40625 {0: '.', 1: 'The'} 4 | 0.37500 {0: ':', 1: 'The'} 5 | 0.34375 {0: '3', 1: 'The'} 6 | 0.34375 {0: 'C', 1: 'The'} 7 | 0.34375 {0: '--', 1: 'The'} 8 | 0.34375 {0: 'and', 1: 'The'} 9 | 0.34375 {0: 'T', 1: 'The'} 10 | 0.34375 {0: '*', 1: 'The'} 11 | 0.31250 {0: '1)', 1: 'The'} 12 | 0.28125 {0: 'And', 1: 'The'} 13 | 0.28125 {0: '2.', 1: 'The'} 14 | 0.25000 {0: '(', 1: 'The'} 15 | 0.25000 {0: '4.', 1: 'The'} 16 | 0.21875 {0: ',', 1: 'The'} 17 | 0.21875 {0: '1.', 1: 'The'} 18 | 0.18750 {0: '3.', 1: 'The'} 19 | 0.15625 {0: '2', 1: 'The'} 20 | 0.15625 {0: '4', 1: 'The'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.81250 {0: 'pretty', 1: '.'} 2 | 0.81250 {0: ':', 1: '.'} 3 | 0.78125 {0: 'me', 1: '.'} 4 | 0.78125 {0: 'up', 1: '.'} 5 | 0.78125 {0: 'so', 1: '.'} 6 | 0.78125 {0: 'of', 1: '.'} 7 | 0.75000 {0: 'very', 1: '.'} 8 | 0.75000 {0: 'just', 1: '.'} 9 | 0.75000 {0: 'that', 1: '.'} 10 | 0.75000 {0: 'overall', 1: '.'} 11 | 0.75000 {0: 'about', 1: '.'} 12 | 0.75000 {0: '100%', 1: '.'} 13 | 0.75000 {0: 'less', 1: '.'} 14 | 0.75000 {0: 'un', 1: '.'} 15 | 0.71875 {0: '?', 1: '.'} 16 | 0.71875 {0: 'quite', 1: '.'} 17 | 0.71875 {0: 'not', 1: '.'} 18 | 0.71875 {0: 'extremely', 1: '.'} 19 | 0.68750 {0: 'really', 1: '.'} 20 | 0.65625 {0: ',', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': 'No', '1': 'Yes'} 2 | {'0': 'Then', '1': 'Yes'} 3 | {'0': 'On the other hand', '1': 'Yes'} 4 | {'0': 'Also', '1': 'Yes'} 5 | {'0': 'And', '1': 'Yes'} 6 | {'0': 'Or', '1': 'Yes'} 7 | {'0': 'Finally', '1': 'Yes'} 8 | {'0': 'However', '1': 'Yes'} 9 | {'0': 'Actually', '1': 'Yes'} 10 | {'0': 'But', '1': 'Yes'} 11 | {'0': 'At the same time', '1': 'Yes'} 12 | {'0': 'Oh', '1': 'Yes'} 13 | {'0': 'Next', '1': 'Yes'} 14 | {'0': 'Of course', '1': 'Yes'} 15 | {'0': 'Yeah', '1': 'Yes'} 16 | {'0': 'Hi', '1': 'Yes'} 17 | {'0': 'Nope', '1': 'Yes'} 18 | {'0': 'No, no', '1': 'Yes'} 19 | {'0': 'By the way', '1': 'Yes'} 20 | {'0': 'If so', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_words/subj/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.96875 {0: 'Very', 1: '.'} 2 | 0.96875 {0: 'Best', 1: '.'} 3 | 0.96875 {0: 'Really', 1: '.'} 4 | 0.96875 {0: 'De', 1: '.'} 5 | 0.93750 {0: 'Great', 1: '.'} 6 | 0.93750 {0: 'No', 1: '.'} 7 | 0.93750 {0: 'Excellent', 1: '.'} 8 | 0.93750 {0: 'Thanks', 1: '.'} 9 | 0.93750 {0: 'Bravo', 1: '.'} 10 | 0.93750 {0: 'Un', 1: '.'} 11 | 0.93750 {0: 'Just', 1: '.'} 12 | 0.93750 {0: 'So', 1: '.'} 13 | 0.93750 {0: 'An', 1: '.'} 14 | 0.93750 {0: 'F', 1: '.'} 15 | 0.93750 {0: 'Another', 1: '.'} 16 | 0.93750 {0: 'Please', 1: '.'} 17 | 0.93750 {0: 'And', 1: '.'} 18 | 0.90625 {0: 'My', 1: '.'} 19 | 0.90625 {0: 'P', 1: '.'} 20 | 0.90625 {0: 'Book', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'And', '1': 'Yes'} 2 | {'0': 'Oh', '1': 'Yes'} 3 | {'0': 'Of course', '1': 'Yes'} 4 | {'0': 'Also', '1': 'Yes'} 5 | {'0': 'But', '1': 'Yes'} 6 | {'0': 'Actually', '1': 'Yes'} 7 | {'0': 'Or', '1': 'Yes'} 8 | {'0': 'However', '1': 'Yes'} 9 | {'0': 'On the other hand', '1': 'Yes'} 10 | {'0': 'If so', '1': 'Yes'} 11 | {'0': 'At the same time', '1': 'Yes'} 12 | {'0': 'No, no', '1': 'Yes'} 13 | {'0': 'Yeah', '1': 'Yes'} 14 | {'0': 'Then', '1': 'Yes'} 15 | {'0': 'No', '1': 'Yes'} 16 | {'0': 'Finally', '1': 'Yes'} 17 | {'0': 'Hi', '1': 'Yes'} 18 | {'0': 'Next', '1': 'Yes'} 19 | {'0': 'Nope', '1': 'Yes'} 20 | {'0': 'By the way', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'negative', 1: 'positive'} 2 | {0: 'this', 1: 'positive'} 3 | {0: 'negative', 1: 'good'} 4 | {0: 'wrong', 1: 'positive'} 5 | {0: 'mixed', 1: 'positive'} 6 | {0: 'that', 1: 'positive'} 7 | {0: 'bad', 1: 'positive'} 8 | {0: 'correct', 1: 'positive'} 9 | {0: 'negative', 1: 'great'} 10 | {0: 'poor', 1: 'positive'} 11 | {0: 'valid', 1: 'positive'} 12 | {0: 'low', 1: 'positive'} 13 | {0: 'fair', 1: 'positive'} 14 | {0: 'right', 1: 'positive'} 15 | {0: 'here', 1: 'positive'} 16 | {0: 'not good', 1: 'positive'} 17 | {0: 'the following', 1: 'positive'} 18 | {0: 'accurate', 1: 'positive'} 19 | {0: 'below', 1: 'positive'} 20 | {0: ':', 1: 'positive'} 21 | -------------------------------------------------------------------------------- /auto_label_words/COPA/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.687520 {0: '.', 1: 'no'} 2 | 0.68750 {0: '.', 1: 'Cause'} 3 | 0.65625 {0: '.', 1: 'However'} 4 | 0.65625 {0: '.', 1: 'She'} 5 | 0.65625 {0: '?', 1: 'Because'} 6 | 0.65625 {0: '.', 1: 'Oh'} 7 | 0.65625 {0: '?', 1: 'But'} 8 | 0.65625 {0: '.', 1: 'But'} 9 | 0.65625 {0: '.', 1: 'Yes'} 10 | 0.62500 {0: '.', 1: 'NO'}queue 11 | 0.62500 {0: '.', 1: 'Not'} 12 | 0.59375 {0: '.', 1: 'Why'} 13 | 0.59375 {0: '.', 1: 'Well'} 14 | 0.59375 {0: '.', 1: 'Yeah'} 15 | 0.59375 {0: '?', 1: 'No'} 16 | 0.59375 {0: '.', 1: 'Actually'} 17 | 0.56250 {0: '.', 1: 'What'} 18 | 0.56250 {0: '.', 1: 'No'} 19 | 0.56250 {0: '.', 1: 'Because'} 20 | 0.50000 {0: '.', 1: 'Or'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'mixed', 1: 'positive'} 2 | {0: 'negative', 1: 'great'} 3 | {0: 'here', 1: 'positive'} 4 | {0: 'negative', 1: 'good'} 5 | {0: 'bad', 1: 'positive'} 6 | {0: 'that', 1: 'positive'} 7 | {0: 'low', 1: 'positive'} 8 | {0: 'below', 1: 'positive'} 9 | {0: 'valid', 1: 'positive'} 10 | {0: 'wrong', 1: 'positive'} 11 | {0: 'accurate', 1: 'positive'} 12 | {0: 'negative', 1: 'positive'} 13 | {0: 'the following', 1: 'positive'} 14 | {0: 'poor', 1: 'positive'} 15 | {0: 'this', 1: 'positive'} 16 | {0: 'not good', 1: 'positive'} 17 | {0: ':', 1: 'positive'} 18 | {0: 'fair', 1: 'positive'} 19 | {0: 'right', 1: 'positive'} 20 | {0: 'correct', 1: 'positive'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.84375 {0: '.', 1: 'Amazing'} 2 | 0.84375 {0: '.', 1: 'Excellent'} 3 | 0.84375 {0: '.', 1: 'more'} 4 | 0.84375 {0: '.', 1: 'No'} 5 | 0.84375 {0: '.', 1: 'My'} 6 | 0.84375 {0: '.', 1: 'thanks'} 7 | 0.81250 {0: '.', 1: 'Nice'} 8 | 0.81250 {0: '.', 1: 'com'} 9 | 0.81250 {0: '.', 1: 'Most'} 10 | 0.81250 {0: '.', 1: 'Happy'} 11 | 0.81250 {0: '.', 1: 'Best'} 12 | 0.81250 {0: '.', 1: 'Fantastic'} 13 | 0.81250 {0: '.', 1: 'Really'} 14 | 0.78125 {0: '.', 1: 'Great'} 15 | 0.78125 {0: '.', 1: 'Awesome'} 16 | 0.78125 {0: '.', 1: 'W'} 17 | 0.78125 {0: '.', 1: 'Good'} 18 | 0.75000 {0: '.', 1: 'The'} 19 | 0.75000 {0: '.', 1: 'New'} 20 | 0.56250 {0: '.', 1: 'the'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mr/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.93750 {0: '.', 1: 'Excellent'} 2 | 0.84375 {0: '.', 1: 'Fantastic'} 3 | 0.81250 {0: '.', 1: '100%'} 4 | 0.71875 {0: '.', 1: 'Thanks'} 5 | 0.65625 {0: '.', 1: 'Bravo'} 6 | 0.65625 {0: '.', 1: 'com'} 7 | 0.65625 {0: '.', 1: 'Book'} 8 | 0.62500 {0: '.', 1: 'P'} 9 | 0.62500 {0: '.', 1: 'Absolutely'} 10 | 0.59375 {0: '.', 1: 'En'} 11 | 0.59375 {0: '.', 1: 'Really'} 12 | 0.59375 {0: '.', 1: 'and'} 13 | 0.59375 {0: '.', 1: 'Best'} 14 | 0.59375 {0: '.', 1: 'the'} 15 | 0.56250 {0: '.', 1: 'C'} 16 | 0.56250 {0: '.', 1: 'Congratulations'} 17 | 0.56250 {0: '.', 1: 'D'} 18 | 0.56250 {0: '.', 1: 'M'} 19 | 0.53125 {0: '.', 1: 'H'} 20 | 0.53125 {0: '.', 1: 'New'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {0: 'absolutely', 1: '.'} 2 | 0.84375 {0: 'less', 1: '.'} 3 | 0.84375 {0: 'not', 1: '.'} 4 | 0.84375 {0: 'that', 1: '.'} 5 | 0.81250 {0: 'negative', 1: '.'} 6 | 0.81250 {0: 'rather', 1: '.'} 7 | 0.81250 {0: 'from', 1: '.'} 8 | 0.81250 {0: 'total', 1: '.'} 9 | 0.78125 {0: 'this', 1: '.'} 10 | 0.78125 {0: 'overwhelming', 1: '.'} 11 | 0.78125 {0: 'no', 1: '.'} 12 | 0.75000 {0: 'of', 1: '.'} 13 | 0.75000 {0: 'just', 1: '.'} 14 | 0.71875 {0: ':', 1: '.'} 15 | 0.71875 {0: ',', 1: '.'} 16 | 0.71875 {0: 'mixed', 1: '.'} 17 | 0.71875 {0: 'me', 1: '.'} 18 | 0.71875 {0: 'quite', 1: '.'} 19 | 0.71875 {0: 'pretty', 1: '.'} 20 | 0.68750 {0: 'strong', 1: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: 'Also', 1: 'The answer is'} 2 | {0: 'Also', 1: 'Then'} 3 | {0: 'For example', 1: 'The answer is'} 4 | {0: 'And', 1: 'The answer is'} 5 | {0: 'For example', 1: 'Then'} 6 | {0: 'And', 1: 'Then'} 7 | {0: 'I', 1: 'The answer is'} 8 | {0: 'and', 1: 'The answer is'} 9 | {0: 'Also', 1: 'Well'} 10 | {0: 'So', 1: 'The answer is'} 11 | {0: 'Also', 1: 'In fact'} 12 | {0: "That's right", 1: 'The answer is'} 13 | {0: 'Also', 1: 'In this case'} 14 | {0: 'Also', 1: 'Here'} 15 | {0: 'See also', 1: 'The answer is'} 16 | {0: 'No', 1: 'The answer is'} 17 | {0: 'Also', 1: 'Of course'} 18 | {0: 'I', 1: 'Then'} 19 | {0: 'Answer', 1: 'The answer is'} 20 | {0: 'and', 1: 'Then'} 21 | -------------------------------------------------------------------------------- /auto_label_words/cr/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 1.00000 {0: '.', 1: 'thanks'} 2 | 0.96875 {0: '.', 1: 'Congrats'} 3 | 0.96875 {0: '.', 1: 'Thanks'} 4 | 0.96875 {0: '.', 1: 'Very'} 5 | 0.96875 {0: '.', 1: 'Really'} 6 | 0.96875 {0: '.', 1: '100%'} 7 | 0.96875 {0: '.', 1: 'Congratulations'} 8 | 0.96875 {0: '.', 1: 'Excellent'} 9 | 0.96875 {0: '.', 1: 'Many'} 10 | 0.93750 {0: '.', 1: 'Absolutely'} 11 | 0.90625 {0: '.', 1: 'More'} 12 | 0.90625 {0: '.', 1: 'com'} 13 | 0.90625 {0: '.', 1: 'Big'} 14 | 0.87500 {0: '.', 1: '5'} 15 | 0.87500 {0: '.', 1: 'LOL'} 16 | 0.87500 {0: '.', 1: 'Simply'} 17 | 0.84375 {0: '.', 1: '4'} 18 | 0.84375 {0: '.', 1: '2'} 19 | 0.81250 {0: '.', 1: 'Review'} 20 | 0.75000 {0: '.', 1: 'Great'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'and', 1: 'The answer is'} 2 | {0: 'and', 1: 'Then'} 3 | {0: "That's right", 1: 'The answer is'} 4 | {0: 'I', 1: 'The answer is'} 5 | {0: 'So', 1: 'The answer is'} 6 | {0: 'Also', 1: 'In fact'} 7 | {0: 'And', 1: 'The answer is'} 8 | {0: 'No', 1: 'The answer is'} 9 | {0: 'I', 1: 'Then'} 10 | {0: 'For example', 1: 'The answer is'} 11 | {0: 'Answer', 1: 'The answer is'} 12 | {0: 'Also', 1: 'Well'} 13 | {0: 'Also', 1: 'The answer is'} 14 | {0: 'And', 1: 'Then'} 15 | {0: 'For example', 1: 'Then'} 16 | {0: 'Also', 1: 'In this case'} 17 | {0: 'Also', 1: 'Of course'} 18 | {0: 'Also', 1: 'Here'} 19 | {0: 'Also', 1: 'Then'} 20 | {0: 'See also', 1: 'The answer is'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.81250 {'0': '?', '1': 'M'} 2 | 0.80000 {'0': '?', '1': '('} 3 | 0.80000 {'0': '?', '1': 'H'} 4 | 0.78947 {'0': '?', '1': 'a'} 5 | 0.76471 {'0': '?', '1': 'As'} 6 | 0.76190 {'0': '?', '1': 'R'} 7 | 0.75000 {'0': '?', '1': '???'} 8 | 0.75000 {'0': '?', '1': 'T'} 9 | 0.73171 {'0': '?', '1': 'Yes'} 10 | 0.72727 {'0': '?', '1': 'L'} 11 | 0.72727 {'0': '?', '1': 'C'} 12 | 0.72727 {'0': '?', '1': 'A'} 13 | 0.71111 {'0': '?', '1': '*'} 14 | 0.70270 {'0': '?', '1': 'No'} 15 | 0.70000 {'0': '?', '1': '['} 16 | 0.69767 {'0': '?', '1': 'Re'} 17 | 0.68421 {'0': '?', '1': 'N'} 18 | 0.64516 {'0': '?', '1': 'B'} 19 | 0.64000 {'0': '?', '1': "'"} 20 | 0.53846 {'0': '?', '1': 'D'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.68750 {0: '.', 1: '100%'} 2 | 0.65625 {0: '.', 1: 'extremely'} 3 | 0.65625 {0: '.', 1: 'very'} 4 | 0.62500 {0: ':', 1: 'good'} 5 | 0.62500 {0: '.', 1: 'my'} 6 | 0.62500 {0: '.', 1: 'good'} 7 | 0.62500 {0: '.', 1: 'really'} 8 | 0.62500 {0: '.', 1: 'right'} 9 | 0.62500 {0: '.', 1: 'fantastic'} 10 | 0.59375 {0: '.', 1: 'excellent'} 11 | 0.59375 {0: '.', 1: 'great'} 12 | 0.59375 {0: '.', 1: 'clear'} 13 | 0.59375 {0: '.', 1: 'better'} 14 | 0.59375 {0: '.', 1: 'overall'} 15 | 0.56250 {0: '.', 1: 'correct'} 16 | 0.56250 {0: '.', 1: 'true'} 17 | 0.56250 {0: '.', 1: 'extreme'} 18 | 0.53125 {0: '.', 1: 'quite'} 19 | 0.53125 {0: '.', 1: 'as'} 20 | 0.50000 {0: '.', 1: 'the'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.31814 {'0': '.', '1': 'I'} 2 | 0.25820 {'0': '.', '1': '1'} 3 | 0.25820 {'0': '.', '1': '4.'} 4 | 0.25820 {'0': '.', '1': '1.'} 5 | 0.25820 {'0': '.', '1': '_'} 6 | 0.18898 {'0': '.', '1': "'"} 7 | 0.18898 {'0': '.', '1': 'In'} 8 | 0.17961 {'0': '.', '1': '3'} 9 | 0.17961 {'0': '.', '1': '...”'} 10 | 0.12910 {'0': '.', '1': '2'} 11 | 0.10721 {'0': '.', '1': '2.'} 12 | 0.10721 {'0': '.', '1': 'S'} 13 | 0.07559 {'0': '.', '1': '“'} 14 | 0.06950 {'0': '.', '1': '*'} 15 | 0.00000 {'0': '.', '1': '3.'} 16 | 0.00000 {'0': '.', '1': '3.'} 17 | 0.00000 {'0': '.', '1': ')'} 18 | 0.00000 {'0': '.', '1': '.”'} 19 | 0.00000 {'0': '.', '1': 'And'} 20 | 0.00000 {'0': '.', '1': '5.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.52915 {'0': '.', '1': '3'} 2 | 0.48038 {'0': '.', '1': 'Again'} 3 | 0.37796 {'0': '.', '1': '1.'} 4 | 0.37796 {'0': '.', '1': 'W'} 5 | 0.37796 {'0': '.', '1': 'H'} 6 | 0.37796 {'0': '.', '1': 'Un'} 7 | 0.32163 {'0': '.', '1': 'Re'} 8 | 0.32163 {'0': '.', '1': 'C'} 9 | 0.32026 {'0': '.', '1': '*'} 10 | 0.25820 {'0': '.', '1': '>'} 11 | 0.25820 {'0': '.', '1': 'etc'} 12 | 0.25820 {'0': '.', '1': 'Only'} 13 | 0.25820 {'0': '.', '1': 'A'} 14 | 0.25820 {'0': '.', '1': 'O'} 15 | 0.25820 {'0': '.', '1': '3.'} 16 | 0.20851 {'0': '.', '1': 'M'} 17 | 0.19089 {'0': '.', '1': '1'} 18 | 0.18898 {'0': '.', '1': '2'} 19 | 0.18787 {'0': '.', '1': 'P'} 20 | 0.17961 {'0': '.', '1': '2.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.82051 {'0': '?', '1': 'J'} 2 | 0.76190 {'0': '?', '1': 'My'} 3 | 0.76190 {'0': '?', '1': 'Well'} 4 | 0.75676 {'0': '?', '1': 'M'} 5 | 0.75000 {'0': '?', '1': 'W'} 6 | 0.75000 {'0': '?', '1': 'L'} 7 | 0.74419 {'0': '?', '1': '['} 8 | 0.74419 {'0': '?', '1': 'H'} 9 | 0.72727 {'0': '?', '1': 'E'} 10 | 0.71429 {'0': '?', '1': 'O'} 11 | 0.71429 {'0': '?', '1': 'A'} 12 | 0.71111 {'0': '?', '1': 'D'} 13 | 0.70000 {'0': '?', '1': 'Yes'} 14 | 0.69565 {'0': '?', '1': 'An'} 15 | 0.68085 {'0': '?', '1': 'No'} 16 | 0.66667 {'0': '?', '1': 'said'} 17 | 0.66667 {'0': '?', '1': 'N'} 18 | 0.65116 {'0': '?', '1': 'C'} 19 | 0.60606 {'0': '?', '1': 'The'} 20 | 0.60606 {'0': '?', '1': 'The'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.51674 {'0': 'In', '1': '.'} 2 | 0.47590 {'0': 'D', '1': '.'} 3 | 0.46944 {'0': 'After', '1': '.'} 4 | 0.46811 {'0': 'A', '1': '.'} 5 | 0.44161 {'0': 'An', '1': '.'} 6 | 0.41330 {'0': '!', '1': '.'} 7 | 0.39849 {'0': 'R', '1': '.'} 8 | 0.38437 {'0': 'B', '1': '.'} 9 | 0.38093 {'0': 'or', '1': '.'} 10 | 0.37727 {'0': '•', '1': '.'} 11 | 0.36408 {'0': '>', '1': '.'} 12 | 0.35310 {'0': ',', '1': '.'} 13 | 0.30608 {'0': 'No', '1': '.'} 14 | 0.28085 {'0': ',', '1': '?'} 15 | 0.26029 {'0': 'Or', '1': '.'} 16 | 0.24699 {'0': 'W', '1': '.'} 17 | 0.24122 {'0': '*', '1': '.'} 18 | 0.23616 {'0': '#', '1': '.'} 19 | 0.21407 {'0': 'A', '1': '?'} 20 | 0.18970 {'0': 'M', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.58680 {'0': '.', '1': 'the'} 2 | 0.46256 {'0': '.', '1': 'N'} 3 | 0.44374 {'0': '.', '1': 'Yes'} 4 | 0.42683 {'0': '.', '1': 'S'} 5 | 0.41747 {'0': '.', '1': 'In'} 6 | 0.41259 {'0': '.', '1': '['} 7 | 0.39125 {'0': '.', '1': '('} 8 | 0.38912 {'0': '.', '1': "'"} 9 | 0.38413 {'0': '.', '1': '?'} 10 | 0.38263 {'0': '.', '1': 'I'} 11 | 0.37737 {'0': '.', '1': 'The'} 12 | 0.37066 {'0': '.', '1': '“'} 13 | 0.33475 {'0': '.', '1': 'O'} 14 | 0.22015 {'0': '.', '1': '???'} 15 | 0.13995 {'0': '.', '1': 'As'} 16 | 0.13191 {'0': '.', '1': 'To'} 17 | 0.10237 {'0': '.', '1': '*'} 18 | 0.08948 {'0': '.', '1': 'D'} 19 | 0.04512 {'0': '.', '1': 'M'} 20 | -0.12371 {'0': '.', '1': 'But'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.81250 {0: ':', 1: 'Positive'} 2 | 0.78125 {0: ':', 1: 'positive'} 3 | 0.78125 {0: ':', 1: 'favorable'} 4 | 0.78125 {0: ':', 1: 'better'} 5 | 0.78125 {0: ':', 1: '5'} 6 | 0.78125 {0: ':', 1: 'optimistic'} 7 | 0.75000 {0: ':', 1: 'satisfied'} 8 | 0.75000 {0: ':', 1: 'great'} 9 | 0.75000 {0: ':', 1: 'fantastic'} 10 | 0.75000 {0: ':', 1: 'up'} 11 | 0.71875 {0: ':', 1: 'to'} 12 | 0.71875 {0: ':', 1: 'clear'} 13 | 0.68750 {0: ':', 1: 'excellent'} 14 | 0.68750 {0: ':', 1: 'good'} 15 | 0.68750 {0: ':', 1: 'extreme'} 16 | 0.68750 {0: ':', 1: 'fine'} 17 | 0.68750 {0: ':', 1: 'true'} 18 | 0.65625 {0: ':', 1: 'so'} 19 | 0.65625 {0: ':', 1: 'something'} 20 | 0.59375 {0: ':', 1: 'in'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: 'negative', 1: 'positive'} 2 | {0: 'this', 1: 'positive'} 3 | {0: 'mixed', 1: 'positive'} 4 | {0: 'that', 1: 'positive'} 5 | {0: 'pretty good', 1: 'positive'} 6 | {0: 'bad', 1: 'positive'} 7 | {0: 'wrong', 1: 'positive'} 8 | {0: 'poor', 1: 'positive'} 9 | {0: 'not good', 1: 'positive'} 10 | {0: 'correct', 1: 'positive'} 11 | {0: 'neutral', 1: 'positive'} 12 | {0: 'low', 1: 'positive'} 13 | {0: 'fair', 1: 'positive'} 14 | {0: 'accurate', 1: 'positive'} 15 | {0: 'the same', 1: 'positive'} 16 | {0: 'mostly positive', 1: 'positive'} 17 | {0: 'not great', 1: 'positive'} 18 | {0: 'right', 1: 'positive'} 19 | {0: 'below', 1: 'positive'} 20 | {0: 'pretty positive', 1: 'positive'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.76923 {'0': '.', '1': '?'} 2 | 0.73171 {'0': 't', '1': '?'} 3 | 0.72727 {'0': 'Re', '1': '?'} 4 | 0.72222 {'0': 'T', '1': '?'} 5 | 0.72222 {'0': 'T', '1': '?'} 6 | 0.71795 {'0': 'The', '1': '?'} 7 | 0.71111 {'0': 's', '1': '?'} 8 | 0.70588 {'0': '.', '1': '--'} 9 | 0.70000 {'0': 're', '1': '?'} 10 | 0.68421 {'0': 'com', '1': '?'} 11 | 0.68293 {'0': 'But', '1': '?'} 12 | 0.68182 {'0': '.', '1': 'W'} 13 | 0.68085 {'0': 'L', '1': '?'} 14 | 0.68085 {'0': '.', '1': '???'} 15 | 0.66667 {'0': 'S', '1': '?'} 16 | 0.66667 {'0': 'and', '1': '?'} 17 | 0.65217 {'0': ',', '1': '?'} 18 | 0.65000 {'0': '.', '1': '??'} 19 | 0.64865 {'0': 'And', '1': '?'} 20 | 0.46154 {'0': '.', '1': '('} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.68085 {'0': 'K', '1': '.'} 2 | 0.66667 {'0': 's', '1': '.'} 3 | 0.66667 {'0': 'From', '1': '.'} 4 | 0.66667 {'0': 'e', '1': '.'} 5 | 0.66667 {'0': '•', '1': '.'} 6 | 0.66667 {'0': 'the', '1': '.'} 7 | 0.65116 {'0': 'y', '1': '.'} 8 | 0.63830 {'0': 'a', '1': '.'} 9 | 0.63830 {'0': 'i', '1': '.'} 10 | 0.63830 {'0': '-', '1': '.'} 11 | 0.62857 {'0': 'No', '1': '.'} 12 | 0.62222 {'0': 'and', '1': '.'} 13 | 0.62222 {'0': 'and', '1': '.'} 14 | 0.58824 {'0': 'T', '1': '.'} 15 | 0.57778 {'0': 'or', '1': '.'} 16 | 0.57143 {'0': 're', '1': '.'} 17 | 0.55814 {'0': 'S', '1': '.'} 18 | 0.54054 {'0': 'n', '1': '.'} 19 | 0.47059 {'0': 'While', '1': '.'} 20 | 0.42857 {'0': 'L', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.96875 {'0': '.', '1': '100%'} 2 | 0.93750 {'0': '.', '1': 'Bravo'} 3 | 0.90625 {'0': '.', '1': 'T'} 4 | 0.90625 {'0': '.', '1': 'Thanks'} 5 | 0.81250 {'0': '.', '1': 'Re'} 6 | 0.75000 {'0': '.', '1': 'C'} 7 | 0.68750 {'0': '.', '1': ','} 8 | 0.68750 {'0': '.', '1': 'W'} 9 | 0.68750 {'0': '.', '1': '1'} 10 | 0.68750 {'0': '.', '1': 'M'} 11 | 0.65625 {'0': '.', '1': '5'} 12 | 0.62500 {'0': '.', '1': 'The'} 13 | 0.62500 {'0': '.', '1': '2'} 14 | 0.62500 {'0': '.', '1': '['} 15 | 0.62500 {'0': '.', '1': 'H'} 16 | 0.62500 {'0': '.', '1': '3'} 17 | 0.62500 {'0': '.', '1': 'Book'} 18 | 0.59375 {'0': '.', '1': 'R'} 19 | 0.53125 {'0': '.', '1': 'A'} 20 | 0.50000 {'0': '.', '1': '"'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.61915 {'0': '.', '1': 'Hi'} 2 | 0.52302 {'0': '.', '1': '#'} 3 | 0.49637 {'0': '.', '1': 'An'} 4 | 0.48914 {'0': '.', '1': 'No'} 5 | 0.46851 {'0': '.', '1': '>'} 6 | 0.43485 {'0': '.', '1': 'He'} 7 | 0.41222 {'0': '.', '1': '1.'} 8 | 0.39425 {'0': '.', '1': 'Yes'} 9 | 0.32823 {'0': '.', '1': '1'} 10 | 0.29383 {'0': '.', '1': 'J'} 11 | 0.29184 {'0': '.', '1': 'Ha'} 12 | 0.28514 {'0': '.', '1': 'The'} 13 | 0.28355 {'0': '.', '1': '@'} 14 | 0.26382 {'0': '.', '1': 'When'} 15 | 0.24225 {'0': '.', '1': '['} 16 | 0.21500 {'0': '.', '1': 'R'} 17 | 0.19710 {'0': '.', '1': 'Also'} 18 | 0.18856 {'0': '.', '1': '('} 19 | 0.16590 {'0': '.', '1': '*'} 20 | 0.15091 {'0': '.', '1': '???'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.42020 {'0': ',', '1': '.'} 2 | 0.41972 {'0': 'And', '1': '.'} 3 | 0.41127 {'0': 'or', '1': '.'} 4 | 0.37389 {'0': 'More', '1': '.'} 5 | 0.37020 {'0': 'and', '1': '.'} 6 | 0.36916 {'0': 'R', '1': '.'} 7 | 0.35014 {'0': 'After', '1': '.'} 8 | 0.34584 {'0': 'S', '1': '.'} 9 | 0.27286 {'0': 'D', '1': '.'} 10 | 0.26236 {'0': 'in', '1': '.'} 11 | 0.24152 {'0': 'In', '1': '.'} 12 | 0.23261 {'0': 'n', '1': '.'} 13 | 0.22645 {'0': '!', '1': '.'} 14 | 0.20115 {'0': 'M', '1': '.'} 15 | 0.18533 {'0': '4', '1': '.'} 16 | 0.17467 {'0': 'Or', '1': '.'} 17 | 0.15823 {'0': 'A', '1': '.'} 18 | 0.15344 {'0': 'm', '1': '.'} 19 | 0.14353 {'0': '1', '1': '.'} 20 | 0.12280 {'0': 'An', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/mpqa/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.90625 {0: ':', 1: 'Positive'} 2 | 0.90625 {0: ':', 1: 'better'} 3 | 0.81250 {0: ':', 1: 'positive'} 4 | 0.81250 {0: ':', 1: 'fantastic'} 5 | 0.81250 {0: ':', 1: 'optimistic'} 6 | 0.81250 {0: ':', 1: 'quite'} 7 | 0.78125 {0: ':', 1: 'excellent'} 8 | 0.78125 {0: ':', 1: 'just'} 9 | 0.75000 {0: ':', 1: 'really'} 10 | 0.75000 {0: ':', 1: 'great'} 11 | 0.75000 {0: ':', 1: 'good'} 12 | 0.75000 {0: ':', 1: 'fine'} 13 | 0.75000 {0: ':', 1: 'clear'} 14 | 0.71875 {0: ':', 1: 'as'} 15 | 0.71875 {0: ':', 1: 'more'} 16 | 0.71875 {0: ':', 1: 'much'} 17 | 0.68750 {0: ':', 1: 'extremely'} 18 | 0.68750 {0: ':', 1: 'the'} 19 | 0.65625 {0: ':', 1: 'extreme'} 20 | 0.62500 {0: ':', 1: 'very'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': 'And', '1': 'Yes'} 2 | {'0': 'Next', '1': 'Yes'} 3 | {'0': 'Now', '1': 'Yes'} 4 | {'0': 'Finally', '1': 'Yes'} 5 | {'0': 'Oh', '1': 'Yes'} 6 | {'0': 's', '1': 'Yes'} 7 | {'0': 'Then', '1': 'Yes'} 8 | {'0': ',', '1': 'Yes'} 9 | {'0': 'In the meantime', '1': 'Yes'} 10 | {'0': 'On the other hand', '1': 'Yes'} 11 | {'0': 'and', '1': 'Yes'} 12 | {'0': 'In the end', '1': 'Yes'} 13 | {'0': 'Why', '1': 'Yes'} 14 | {'0': 'On the other side', '1': 'Yes'} 15 | {'0': 'No, no', '1': 'Yes'} 16 | {'0': 'At the same time', '1': 'Yes'} 17 | {'0': 'In other news', '1': 'Yes'} 18 | {'0': 'By the way', '1': 'Yes'} 19 | {'0': 'In the background', '1': 'Yes'} 20 | {'0': 'In the middle', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'bad', 1: 'positive'} 2 | {0: 'negative', 1: 'positive'} 3 | {0: 'low', 1: 'positive'} 4 | {0: 'not great', 1: 'positive'} 5 | {0: 'poor', 1: 'positive'} 6 | {0: 'the same', 1: 'positive'} 7 | {0: 'wrong', 1: 'positive'} 8 | {0: 'that', 1: 'positive'} 9 | {0: 'mixed', 1: 'positive'} 10 | {0: 'accurate', 1: 'positive'} 11 | {0: 'not good', 1: 'positive'} 12 | {0: 'fair', 1: 'positive'} 13 | {0: 'pretty good', 1: 'positive'} 14 | {0: 'pretty positive', 1: 'positive'} 15 | {0: 'below', 1: 'positive'} 16 | {0: 'this', 1: 'positive'} 17 | {0: 'correct', 1: 'positive'} 18 | {0: 'mostly positive', 1: 'positive'} 19 | {0: 'neutral', 1: 'positive'} 20 | {0: 'right', 1: 'positive'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.38730 {'0': '.', '1': '2.'} 2 | 0.32898 {'0': '.', '1': '5.'} 3 | 0.31814 {'0': '.', '1': '4.'} 4 | 0.31311 {'0': '.', '1': '1.'} 5 | 0.28868 {'0': '.', '1': '.”'} 6 | 0.28868 {'0': '.', '1': '!!'} 7 | 0.26968 {'0': '.', '1': '1'} 8 | 0.26968 {'0': '.', '1': '1'} 9 | 0.25820 {'0': '.', '1': ')'} 10 | 0.25820 {'0': '.', '1': '3.'} 11 | 0.25820 {'0': '.', '1': '3.'} 12 | 0.25000 {'0': '.', '1': '3'} 13 | 0.22678 {'0': '.', '1': '--'} 14 | 0.19089 {'0': '.', '1': '"'} 15 | 0.17961 {'0': '.', '1': '('} 16 | 0.17961 {'0': '.', '1': '*'} 17 | 0.12910 {'0': '.', '1': '“'} 18 | 0.12910 {'0': '.', '1': '2'} 19 | 0.06950 {'0': '.', '1': 'Description'} 20 | 0.00000 {'0': '.', '1': '...”'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.22678 {'0': 'I', '1': '"'} 2 | 0.17961 {'0': '?', '1': '"'} 3 | 0.17961 {'0': '1.', '1': '"'} 4 | 0.17961 {'0': '3', '1': '"'} 5 | 0.14434 {'0': '.”', '1': '"'} 6 | 0.12599 {'0': '“', '1': '"'} 7 | 0.07559 {'0': '1', '1': '"'} 8 | 0.00000 {'0': '2.', '1': '"'} 9 | 0.00000 {'0': '3.', '1': '"'} 10 | 0.00000 {'0': '4.', '1': '"'} 11 | 0.00000 {'0': '3.', '1': '"'} 12 | 0.00000 {'0': 'Description', '1': '"'} 13 | 0.00000 {'0': '5', '1': '"'} 14 | 0.00000 {'0': '???', '1': '"'} 15 | 0.00000 {'0': ',', '1': '"'} 16 | 0.00000 {'0': '(', '1': '"'} 17 | -0.06363 {'0': '.', '1': '!'} 18 | -0.06580 {'0': '.', '1': '"'} 19 | -0.08607 {'0': '5.', '1': '"'} 20 | -0.12599 {'0': '2', '1': '"'} 21 | -------------------------------------------------------------------------------- /auto_label_words/MRPC/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.73171 {'0': 'And', '1': '.'} 2 | 0.71111 {'0': '-', '1': '.'} 3 | 0.70000 {'0': 'and', '1': '.'} 4 | 0.69767 {'0': 'The', '1': '.'} 5 | 0.68750 {'0': 'Also', '1': '.'} 6 | 0.68421 {'0': 'In', '1': '.'} 7 | 0.68421 {'0': 'T', '1': '.'} 8 | 0.68421 {'0': 'T', '1': '.'} 9 | 0.68421 {'0': 'While', '1': '.'} 10 | 0.68421 {'0': 'From', '1': '.'} 11 | 0.68293 {'0': '•', '1': '.'} 12 | 0.68293 {'0': 'A', '1': '.'} 13 | 0.68085 {'0': 'B', '1': '.'} 14 | 0.66667 {'0': 'W', '1': '.'} 15 | 0.66667 {'0': '?', '1': '.'} 16 | 0.66667 {'0': 'C', '1': '.'} 17 | 0.66667 {'0': 'R', '1': '.'} 18 | 0.65217 {'0': 'S', '1': '.'} 19 | 0.65217 {'0': 'S', '1': '.'} 20 | 0.64865 {'0': 'Meanwhile', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.93750 {'0': 'Very', '1': '.'} 2 | 0.90625 {'0': 'LOL', '1': '.'} 3 | 0.90625 {'0': 'lol', '1': '.'} 4 | 0.90625 {'0': 'Un', '1': '.'} 5 | 0.87500 {'0': 'J', '1': '.'} 6 | 0.87500 {'0': 'Only', '1': '.'} 7 | 0.87500 {'0': 'Just', '1': '.'} 8 | 0.87500 {'0': 'S', '1': '.'} 9 | 0.84375 {'0': '(', '1': '.'} 10 | 0.84375 {'0': '_', '1': '.'} 11 | 0.84375 {'0': 'So', '1': '.'} 12 | 0.84375 {'0': 'I', '1': '.'} 13 | 0.84375 {'0': 'G', '1': '.'} 14 | 0.78125 {'0': '[', '1': '.'} 15 | 0.78125 {'0': 'L', '1': '.'} 16 | 0.75000 {'0': 'A', '1': '.'} 17 | 0.75000 {'0': 'N', '1': '.'} 18 | 0.75000 {'0': 'the', '1': '.'} 19 | 0.75000 {'0': 'In', '1': '.'} 20 | 0.68750 {'0': 'and', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Then', '1': 'Yes'} 2 | {'0': 'Next', '1': 'Yes'} 3 | {'0': 'In the end', '1': 'Yes'} 4 | {'0': 'In the background', '1': 'Yes'} 5 | {'0': 'Why', '1': 'Yes'} 6 | {'0': 'And', '1': 'Yes'} 7 | {'0': 'Finally', '1': 'Yes'} 8 | {'0': 'Now', '1': 'Yes'} 9 | {'0': 'No, no', '1': 'Yes'} 10 | {'0': 'and', '1': 'Yes'} 11 | {'0': 'Oh', '1': 'Yes'} 12 | {'0': 's', '1': 'Yes'} 13 | {'0': 'In the meantime', '1': 'Yes'} 14 | {'0': 'In other news', '1': 'Yes'} 15 | {'0': 'In the middle', '1': 'Yes'} 16 | {'0': 'On the other hand', '1': 'Yes'} 17 | {'0': 'By the way', '1': 'Yes'} 18 | {'0': ',', '1': 'Yes'} 19 | {'0': 'On the other side', '1': 'Yes'} 20 | {'0': 'At the same time', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.78947 {'0': '.', '1': 'Well'} 2 | 0.78049 {'0': '.', '1': 'S'} 3 | 0.76923 {'0': '.', '1': 'C'} 4 | 0.76190 {'0': '.', '1': 'Dear'} 5 | 0.76190 {'0': '.', '1': 'B'} 6 | 0.75676 {'0': '.', '1': 'T'} 7 | 0.75000 {'0': '.', '1': 'So'} 8 | 0.74419 {'0': '.', '1': 'O'} 9 | 0.74286 {'0': '.', '1': 'K'} 10 | 0.73684 {'0': '.', '1': 'Simply'} 11 | 0.73684 {'0': '.', '1': 'Yes'} 12 | 0.73684 {'0': '.', '1': '1'} 13 | 0.73171 {'0': '.', '1': '1.'} 14 | 0.73171 {'0': '.', '1': 'M'} 15 | 0.73171 {'0': '.', '1': 'G'} 16 | 0.73171 {'0': '.', '1': 'Please'} 17 | 0.72727 {'0': '.', '1': 'P'} 18 | 0.72222 {'0': '.', '1': 'Ok'} 19 | 0.71429 {'0': '.', '1': 'After'} 20 | 0.70000 {'0': '.', '1': 'Why'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.82353 {'0': 'and', '1': '>'} 2 | 0.82051 {'0': 'Also', '1': '>'} 3 | 0.81081 {'0': 'And', '1': '>'} 4 | 0.81081 {'0': '.', '1': 'So'} 5 | 0.80000 {'0': '.', '1': '3.'} 6 | 0.77778 {'0': '.', '1': '2'} 7 | 0.76923 {'0': '.', '1': 'T'} 8 | 0.76923 {'0': '2.', '1': '>'} 9 | 0.76471 {'0': '?', '1': '>'} 10 | 0.76471 {'0': 'Thanks', '1': '>'} 11 | 0.75000 {'0': '.', '1': '@'} 12 | 0.75000 {'0': '.', '1': 'But'} 13 | 0.74286 {'0': '.', '1': 'Hey'} 14 | 0.73684 {'0': 'For', '1': '>'} 15 | 0.71795 {'0': '.', '1': 'Q'} 16 | 0.71795 {'0': '.', '1': 'Next'} 17 | 0.71111 {'0': '.', '1': '*'} 18 | 0.70588 {'0': 'Hello', '1': '>'} 19 | 0.70000 {'0': '.', '1': '>'} 20 | 0.68750 {'0': 'Hi', '1': '>'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.90625 {'0': 'lol', '1': '.'} 2 | 0.87500 {'0': '--', '1': '.'} 3 | 0.87500 {'0': 'LOL', '1': '.'} 4 | 0.87500 {'0': 'Please', '1': '.'} 5 | 0.87500 {'0': 'No', '1': '.'} 6 | 0.84375 {'0': ')', '1': '.'} 7 | 0.84375 {'0': '(', '1': '.'} 8 | 0.84375 {'0': '-', '1': '.'} 9 | 0.84375 {'0': '=', '1': '.'} 10 | 0.84375 {'0': 'But', '1': '.'} 11 | 0.84375 {'0': 'Super', '1': '.'} 12 | 0.81250 {'0': 'Just', '1': '.'} 13 | 0.81250 {'0': 'com', '1': '.'} 14 | 0.81250 {'0': 'I', '1': '.'} 15 | 0.75000 {'0': '!', '1': '.'} 16 | 0.75000 {'0': 'more', '1': '.'} 17 | 0.68750 {'0': 'J', '1': '.'} 18 | 0.65625 {'0': 'A', '1': '.'} 19 | 0.62500 {'0': ',', '1': '.'} 20 | 0.56250 {'0': 'and', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.93750 {'0': 'Please', '1': '.'} 2 | 0.93750 {'0': 'S', '1': '.'} 3 | 0.90625 {'0': 'But', '1': '.'} 4 | 0.90625 {'0': 'Only', '1': '.'} 5 | 0.90625 {'0': 'Just', '1': '.'} 6 | 0.90625 {'0': 'D', '1': '.'} 7 | 0.87500 {'0': 'My', '1': '.'} 8 | 0.84375 {'0': 'Super', '1': '.'} 9 | 0.84375 {'0': 'LOL', '1': '.'} 10 | 0.81250 {'0': 'I', '1': '.'} 11 | 0.81250 {'0': 'En', '1': '.'} 12 | 0.78125 {'0': 'In', '1': '.'} 13 | 0.75000 {'0': 'G', '1': '.'} 14 | 0.75000 {'0': 'T', '1': '.'} 15 | 0.68750 {'0': 'J', '1': '.'} 16 | 0.68750 {'0': 'the', '1': '.'} 17 | 0.68750 {'0': 'F', '1': '.'} 18 | 0.65625 {'0': 'in', '1': '.'} 19 | 0.65625 {'0': 'and', '1': '.'} 20 | 0.62500 {'0': 'N', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/CoLA/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.17961 {'0': 'The', '1': '.'} 2 | 0.16013 {'0': 'P', '1': '.'} 3 | 0.14434 {'0': 'Still', '1': '.'} 4 | 0.12500 {'0': 'But', '1': '.'} 5 | 0.12500 {'0': 'Only', '1': '.'} 6 | 0.10721 {'0': 'So', '1': '.'} 7 | 0.06950 {'0': 'Just', '1': '.'} 8 | 0.06262 {'0': 'In', '1': '.'} 9 | 0.00000 {'0': 'A', '1': '.'} 10 | 0.00000 {'0': 'C', '1': '.'} 11 | 0.00000 {'0': 'Also', '1': '.'} 12 | 0.00000 {'0': 'W', '1': '.'} 13 | 0.00000 {'0': 'Many', '1': '.'} 14 | 0.00000 {'0': "'", '1': '.'} 15 | 0.00000 {'0': 'H', '1': '.'} 16 | -0.06262 {'0': 'Very', '1': '.'} 17 | -0.07559 {'0': 'S', '1': '.'} 18 | -0.08607 {'0': ')', '1': '.'} 19 | -0.10721 {'0': 's', '1': '.'} 20 | -0.13484 {'0': 'Go', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/STS-B/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.68291 {'0': 'While', '1': '?'} 2 | 0.65277 {'0': 'And', '1': '?'} 3 | 0.64778 {'0': 'Maybe', '1': '?'} 4 | 0.62590 {'0': 'Or', '1': '?'} 5 | 0.62457 {'0': 'Not', '1': '?'} 6 | 0.59081 {'0': ',', '1': '?'} 7 | 0.58933 {'0': 'and', '1': '?'} 8 | 0.54165 {'0': 'Well', '1': '?'} 9 | 0.51584 {'0': 'Ha', '1': '?'} 10 | 0.46038 {'0': 'No', '1': '?'} 11 | 0.44012 {'0': 'Mr', '1': '?'} 12 | 0.43552 {'0': 'Hi', '1': '?'} 13 | 0.38787 {'0': 'But', '1': '?'} 14 | 0.37535 {'0': 'Also', '1': '?'} 15 | 0.35304 {'0': 'So', '1': '?'} 16 | 0.32824 {'0': '>', '1': '?'} 17 | 0.32400 {'0': 'or', '1': '?'} 18 | 0.32350 {'0': 'In', '1': '?'} 19 | 0.31089 {'0': '!', '1': '?'} 20 | 0.30455 {'0': 'Oh', '1': '?'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/cr/16-13.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'I love it.'} 2 | {0: 'Thanks!', 1: 'I love it.'} 3 | {0: 'Thanks.', 1: 'I love it.'} 4 | {0: '.', 1: 'I love it!'} 5 | {0: 'Thanks!', 1: 'I love it!'} 6 | {0: 'Thanks.', 1: 'I love it!'} 7 | {0: 'Sorry.', 1: 'I love it.'} 8 | {0: '.', 1: 'Highly recommended.'} 9 | {0: '.', 1: 'I recommend it.'} 10 | {0: 'Sorry!', 1: 'I love it.'} 11 | {0: 'Good luck.', 1: 'I love it.'} 12 | {0: 'thanks.', 1: 'I love it.'} 13 | {0: '.', 1: 'I like it.'} 14 | {0: 'Why?', 1: 'I love it.'} 15 | {0: 'Enjoy!', 1: 'I love it.'} 16 | {0: 'lol.', 1: 'I love it.'} 17 | {0: '. Thanks.', 1: 'I love it.'} 18 | {0: 'thanks!', 1: 'I love it.'} 19 | {0: 'LOL.', 1: 'I love it.'} 20 | {0: 'Please help.', 1: 'I love it.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/cr/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '.', 1: 'I love it.'} 2 | {0: 'Thanks.', 1: 'I love it.'} 3 | {0: '.', 1: 'I love it!'} 4 | {0: '.', 1: 'Highly recommended.'} 5 | {0: 'Why?', 1: 'I love it.'} 6 | {0: '. Thanks.', 1: 'I love it.'} 7 | {0: 'LOL.', 1: 'I love it.'} 8 | {0: 'Sorry.', 1: 'I love it.'} 9 | {0: '.', 1: 'I recommend it.'} 10 | {0: 'Good luck.', 1: 'I love it.'} 11 | {0: 'Enjoy!', 1: 'I love it.'} 12 | {0: 'lol.', 1: 'I love it.'} 13 | {0: 'Please help.', 1: 'I love it.'} 14 | {0: 'Thanks!', 1: 'I love it.'} 15 | {0: 'Thanks!', 1: 'I love it!'} 16 | {0: 'Thanks.', 1: 'I love it!'} 17 | {0: 'Sorry!', 1: 'I love it.'} 18 | {0: 'thanks.', 1: 'I love it.'} 19 | {0: 'thanks!', 1: 'I love it.'} 20 | {0: '.', 1: 'I like it.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.74419 {'0': 'Also', '1': 'Hi'} 2 | 0.74419 {'0': '.', '1': 'Like'} 3 | 0.73171 {'0': '.', '1': 'So'} 4 | 0.69767 {'0': '1.', '1': 'Hi'} 5 | 0.69565 {'0': '5.', '1': 'Hi'} 6 | 0.69565 {'0': '4.', '1': 'Hi'} 7 | 0.68421 {'0': '•', '1': 'Hi'} 8 | 0.68421 {'0': '.', '1': 'Hello'} 9 | 0.68421 {'0': '1.', '1': 'Hey'} 10 | 0.68421 {'0': '2.', '1': 'Hi'} 11 | 0.68293 {'0': '?', '1': 'Hi'} 12 | 0.68293 {'0': '3.', '1': 'Hi'} 13 | 0.68182 {'0': '.', '1': 'Dear'} 14 | 0.68182 {'0': '.', '1': 'Okay'} 15 | 0.66667 {'0': '*', '1': 'Hi'} 16 | 0.66667 {'0': '.', '1': 'Hi'} 17 | 0.66667 {'0': '.', '1': 'Hey'} 18 | 0.65116 {'0': '>', '1': 'Hi'} 19 | 0.64865 {'0': 'R', '1': 'Hi'} 20 | 0.63415 {'0': '2.', '1': 'Hey'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'So'} 2 | {'0': 'Also', '1': 'In short'} 3 | {'0': 'Also', '1': 'In other words'} 4 | {'0': 'Also', '1': 'If so'} 5 | {'0': 'Also', '1': 'I mean'} 6 | {'0': 'Also', '1': 'In your opinion'} 7 | {'0': 'Also', '1': 'Hi'} 8 | {'0': 'Also', '1': 'I want to know'} 9 | {'0': 'Also', '1': 'Hey'} 10 | {'0': 'Also', '1': 'By the way'} 11 | {'0': 'Also', '1': 'Well'} 12 | {'0': 'Also', '1': 'Please'} 13 | {'0': 'Also', '1': 'In general'} 14 | {'0': 'Also', '1': 'If not'} 15 | {'0': 'Also', '1': 'In the end'} 16 | {'0': 'Also', '1': 'Hello'} 17 | {'0': 'Also', '1': 'After all'} 18 | {'0': 'Also', '1': 'I am wondering'} 19 | {'0': 'Also', '1': 'How do I know'} 20 | {'0': 'Also', '1': 'I have to ask'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': 'No', '1': 'In other words'} 2 | {'0': 'No', '1': 'In the meantime'} 3 | {'0': 'No', '1': 'In this case'} 4 | {'0': 'No', '1': 'In short'} 5 | {'0': 'No', '1': 'In fact'} 6 | {'0': 'No', '1': 'First'} 7 | {'0': 'No', '1': 'In addition'} 8 | {'0': 'No', '1': 'And'} 9 | {'0': 'No', '1': 'At the same time'} 10 | {'0': 'No', '1': 'However'} 11 | {'0': 'No', '1': 'On the other hand'} 12 | {'0': 'No', '1': 'In the end'} 13 | {'0': 'No', '1': 'This week'} 14 | {'0': 'No', '1': 'That is'} 15 | {'0': 'No', '1': 'In the video'} 16 | {'0': 'No', '1': 'For the first time'} 17 | {'0': 'No', '1': 'In the past'} 18 | {'0': 'No', '1': 'At the moment'} 19 | {'0': 'No', '1': 'In this video'} 20 | {'0': 'No', '1': 's'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.88889 {'0': '.', '1': 'Well'} 2 | 0.86486 {'0': '.', '1': 'So'} 3 | 0.83333 {'0': '.', '1': 'S'} 4 | 0.83333 {'0': '.', '1': 'Really'} 5 | 0.83333 {'0': '.', '1': '1'} 6 | 0.82353 {'0': '.', '1': 'Yes'} 7 | 0.82353 {'0': '.', '1': 'P'} 8 | 0.82051 {'0': '.', '1': 'No'} 9 | 0.80000 {'0': '.', '1': 'Question'} 10 | 0.77778 {'0': '.', '1': 'Why'} 11 | 0.76471 {'0': '.', '1': 'Simply'} 12 | 0.76471 {'0': '.', '1': 'Dear'} 13 | 0.75676 {'0': '.', '1': 'Please'} 14 | 0.75000 {'0': '.', '1': 'W'} 15 | 0.75000 {'0': 'And', '1': 'Dear'} 16 | 0.74286 {'0': '.', '1': 'Hi'} 17 | 0.71795 {'0': '.', '1': 'Hey'} 18 | 0.70270 {'0': '.', '1': 'My'} 19 | 0.70000 {'0': 'And', '1': 'Hi'} 20 | 0.64706 {'0': '.', '1': 'Hello'} 21 | -------------------------------------------------------------------------------- /auto_label_words/SST-2/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {'0': '.', '1': 'Great'} 2 | 0.87500 {'0': '.', '1': 'Excellent'} 3 | 0.81250 {'0': '.', '1': 'Fantastic'} 4 | 0.78125 {'0': '.', '1': 'Best'} 5 | 0.78125 {'0': '.', '1': 'Bravo'} 6 | 0.78125 {'0': '.', '1': 'Simply'} 7 | 0.71875 {'0': '.', '1': 'Un'} 8 | 0.68750 {'0': '.', '1': 'In'} 9 | 0.65625 {'0': '.', '1': 'New'} 10 | 0.65625 {'0': '.', '1': 'From'} 11 | 0.62500 {'0': '.', '1': 'com'} 12 | 0.59375 {'0': '.', '1': 'the'} 13 | 0.59375 {'0': '.', '1': 'S'} 14 | 0.59375 {'0': '.', '1': 'H'} 15 | 0.59375 {'0': '.', '1': 'D'} 16 | 0.59375 {'0': '.', '1': 'No'} 17 | 0.50000 {'0': '.', '1': 'N'} 18 | 0.50000 {'0': '.', '1': 'Most'} 19 | 0.46875 {'0': '.', '1': 'P'} 20 | 0.46875 {'0': '.', '1': 'En'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/BoolQ/16-87.txt: -------------------------------------------------------------------------------- 1 | {False: 'No', True: 'If so'} 2 | {False: 'No', True: 'Definition'} 3 | {False: 'No', True: 'Answer'} 4 | {False: 'No', True: 'If yes'} 5 | {False: 'No', True: 'Answer: Yes'} 6 | {False: 'No', True: 'Hi'} 7 | {False: 'No', True: 'A'} 8 | {False: 'No', True: 'About'} 9 | {False: 'No', True: '-- Yes'} 10 | {False: 'No', True: 'In short'} 11 | {False: 'No', True: 'In general'} 12 | {False: 'No', True: 'See also'} 13 | {False: 'No', True: ','} 14 | {False: 'No', True: 'For example'} 15 | {False: 'No', True: 'Ans'} 16 | {False: 'No', True: 'The answer is yes'} 17 | {False: 'No', True: 'The answer is'} 18 | {False: 'No', True: 'Answer:Yes'} 19 | {False: 'No', True: 'If not'} 20 | {False: 'No', True: 'In this article'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'So'} 2 | {'0': 'Also', '1': 'In your opinion'} 3 | {'0': 'For example', '1': 'So'} 4 | {'0': 'Hi', '1': 'So'} 5 | {'0': 'Hello', '1': 'So'} 6 | {'0': 'And finally', '1': 'So'} 7 | {'0': 'As an example', '1': 'So'} 8 | {'0': 'Or', '1': 'So'} 9 | {'0': 'Also', '1': 'If so'} 10 | {'0': 'In the same way', '1': 'So'} 11 | {'0': 'Also', '1': 'In short'} 12 | {'0': 'How do I know', '1': 'So'} 13 | {'0': "I'm curious", '1': 'So'} 14 | {'0': 'How do you know', '1': 'So'} 15 | {'0': 'Finally', '1': 'So'} 16 | {'0': 'I am not sure', '1': 'So'} 17 | {'0': 'In addition to this', '1': 'So'} 18 | {'0': 'I want to ask', '1': 'So'} 19 | {'0': 'How do you say', '1': 'So'} 20 | {'0': "I'm not sure", '1': 'So'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'In your opinion'} 2 | {'0': 'Also', '1': 'I mean'} 3 | {'0': 'Also', '1': 'I have to ask'} 4 | {'0': 'Also', '1': 'In short'} 5 | {'0': 'Also', '1': 'So'} 6 | {'0': 'Also', '1': 'In other words'} 7 | {'0': 'Also', '1': 'I want to know'} 8 | {'0': 'Also', '1': 'After all'} 9 | {'0': 'Also', '1': 'I am wondering'} 10 | {'0': 'Also', '1': 'If so'} 11 | {'0': 'Also', '1': 'Well'} 12 | {'0': 'Also', '1': 'In the end'} 13 | {'0': 'Also', '1': 'Hi'} 14 | {'0': 'Also', '1': 'By the way'} 15 | {'0': 'Also', '1': 'Please'} 16 | {'0': 'Also', '1': 'If not'} 17 | {'0': 'Also', '1': 'How do I know'} 18 | {'0': 'Also', '1': 'In general'} 19 | {'0': 'Also', '1': 'Hey'} 20 | {'0': 'Also', '1': 'Hello'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'No', '1': 'In short'} 2 | {'0': 'No', '1': 'In the end'} 3 | {'0': 'No', '1': 'First'} 4 | {'0': 'No', '1': 'In the meantime'} 5 | {'0': 'No', '1': 'On the other hand'} 6 | {'0': 'No', '1': 'And'} 7 | {'0': 'No', '1': 'In fact'} 8 | {'0': 'No', '1': 'For the first time'} 9 | {'0': 'No', '1': 'In the video'} 10 | {'0': 'No', '1': 'This week'} 11 | {'0': 'No', '1': 'However'} 12 | {'0': 'No', '1': 's'} 13 | {'0': 'No', '1': 'At the moment'} 14 | {'0': 'No', '1': 'In this case'} 15 | {'0': 'No', '1': 'In the past'} 16 | {'0': 'No', '1': 'At the same time'} 17 | {'0': 'No', '1': 'In addition'} 18 | {'0': 'No', '1': 'In other words'} 19 | {'0': 'No', '1': 'That is'} 20 | {'0': 'No', '1': 'In this video'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/BoolQ/16-42.txt: -------------------------------------------------------------------------------- 1 | {False: 'No', True: 'Summary'} 2 | {False: 'No', True: 'About'} 3 | {False: 'No', True: 'If so'} 4 | {False: 'Yes', True: 'Summary'} 5 | {False: 'Yes', True: 'About'} 6 | {False: 'Yes', True: 'If so'} 7 | {False: 'No', True: '-- Yes'} 8 | {False: 'Yes', True: '-- Yes'} 9 | {False: 'No', True: 'U.S.'} 10 | {False: 'No', True: 'Answer: Yes'} 11 | {False: 'No', True: 'For example'} 12 | {False: 'Yes', True: 'U.S.'} 13 | {False: 'Yes', True: 'Answer: Yes'} 14 | {False: 'No', True: 'So'} 15 | {False: 'Yes', True: 'For example'} 16 | {False: 'No', True: 'And'} 17 | {False: 'No', True: 'About this page'} 18 | {False: 'No', True: 'The answer is yes'} 19 | {False: 'No', True: 'In this case'} 20 | {False: 'No', True: 'If not'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/BoolQ/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {False: 'No', True: 'About'} 2 | {False: 'No', True: 'Ans'} 3 | {False: 'No', True: 'If so'} 4 | {False: 'No', True: 'If not'} 5 | {False: 'No', True: 'For example'} 6 | {False: 'No', True: 'Answer: Yes'} 7 | {False: 'No', True: 'Answer:Yes'} 8 | {False: 'No', True: 'In short'} 9 | {False: 'No', True: 'Definition'} 10 | {False: 'No', True: 'If yes'} 11 | {False: 'No', True: 'In general'} 12 | {False: 'No', True: 'The answer is'} 13 | {False: 'No', True: 'The answer is yes'} 14 | {False: 'No', True: 'In this article'} 15 | {False: 'No', True: 'A'} 16 | {False: 'No', True: 'Hi'} 17 | {False: 'No', True: 'Answer'} 18 | {False: 'No', True: '-- Yes'} 19 | {False: 'No', True: 'See also'} 20 | {False: 'No', True: ','} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'So'} 2 | {'0': 'Hello', '1': 'So'} 3 | {'0': 'Also', '1': 'In short'} 4 | {'0': 'How do I know', '1': 'So'} 5 | {'0': 'And finally', '1': 'So'} 6 | {'0': 'For example', '1': 'So'} 7 | {'0': 'How do you say', '1': 'So'} 8 | {'0': 'Also', '1': 'In your opinion'} 9 | {'0': 'Or', '1': 'So'} 10 | {'0': 'Also', '1': 'If so'} 11 | {'0': 'How do you know', '1': 'So'} 12 | {'0': 'Finally', '1': 'So'} 13 | {'0': 'I am not sure', '1': 'So'} 14 | {'0': 'In addition to this', '1': 'So'} 15 | {'0': 'In the same way', '1': 'So'} 16 | {'0': 'As an example', '1': 'So'} 17 | {'0': "I'm not sure", '1': 'So'} 18 | {'0': "I'm curious", '1': 'So'} 19 | {'0': 'I want to ask', '1': 'So'} 20 | {'0': 'Hi', '1': 'So'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/BoolQ/16-21.txt: -------------------------------------------------------------------------------- 1 | {False: 'No', True: 'Yes'} 2 | {False: 'Also', True: 'Yes'} 3 | {False: 'Well', True: 'Yes'} 4 | {False: 'Title', True: 'Yes'} 5 | {False: 'Ah', True: 'Yes'} 6 | {False: 'About', True: 'Yes'} 7 | {False: 'Hello', True: 'Yes'} 8 | {False: 'From Wikipedia', True: 'Yes'} 9 | {False: 'First', True: 'Yes'} 10 | {False: 'Hi', True: 'Yes'} 11 | {False: 'New York', True: 'Yes'} 12 | {False: 'And', True: 'Yes'} 13 | {False: 'If not', True: 'Yes'} 14 | {False: 'According to Wikipedia', True: 'Yes'} 15 | {False: 'On the other hand', True: 'Yes'} 16 | {False: 'About this page', True: 'Yes'} 17 | {False: 'A: No', True: 'Yes'} 18 | {False: 'About this article', True: 'Yes'} 19 | {False: 'So', True: 'Yes'} 20 | {False: 'Or', True: 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/BoolQ/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {False: 'No', True: 'And'} 2 | {False: 'No', True: 'So'} 3 | {False: 'Yes', True: '-- Yes'} 4 | {False: 'No', True: 'In this case'} 5 | {False: 'No', True: 'Answer: Yes'} 6 | {False: 'No', True: 'For example'} 7 | {False: 'Yes', True: 'For example'} 8 | {False: 'No', True: 'About'} 9 | {False: 'No', True: 'About this page'} 10 | {False: 'No', True: 'If so'} 11 | {False: 'No', True: 'The answer is yes'} 12 | {False: 'No', True: '-- Yes'} 13 | {False: 'Yes', True: 'Answer: Yes'} 14 | {False: 'Yes', True: 'Summary'} 15 | {False: 'No', True: 'U.S.'} 16 | {False: 'No', True: 'If not'} 17 | {False: 'No', True: 'Summary'} 18 | {False: 'Yes', True: 'About'} 19 | {False: 'Yes', True: 'If so'} 20 | {False: 'Yes', True: 'U.S.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.18898 {'0': 'Just.', '1': '.'} 2 | 0.18787 {'0': 'But.', '1': '.'} 3 | 0.17961 {'0': 'So.', '1': '.'} 4 | 0.17961 {'0': 'It.', '1': '.'} 5 | 0.12500 {'0': 'Not.', '1': '.'} 6 | 0.07559 {'0': 'The.', '1': '.'} 7 | 0.00000 {'0': 'S.', '1': '.'} 8 | 0.00000 {'0': 'P.', '1': '.'} 9 | 0.00000 {'0': 'What?', '1': '.'} 10 | 0.00000 {'0': 'This.', '1': '.'} 11 | 0.00000 {'0': 'Well.', '1': '.'} 12 | 0.00000 {'0': 'And.', '1': '.'} 13 | 0.00000 {'0': 'Ha!', '1': '.'} 14 | 0.00000 {'0': 'Now.', '1': '.'} 15 | 0.00000 {'0': 'Enjoy!', '1': '.'} 16 | -0.06950 {'0': 'Oh.', '1': '.'} 17 | -0.08607 {'0': 'A.', '1': '.'} 18 | -0.08607 {'0': 'See?', '1': '.'} 19 | -0.10721 {'0': 'Oh!', '1': '.'} 20 | -0.12910 {'0': 'Love.', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/BoolQ/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {False: 'No', True: 'Yes'} 2 | {False: 'New York', True: 'Yes'} 3 | {False: 'Or', True: 'Yes'} 4 | {False: 'So', True: 'Yes'} 5 | {False: 'Hi', True: 'Yes'} 6 | {False: 'Title', True: 'Yes'} 7 | {False: 'From Wikipedia', True: 'Yes'} 8 | {False: 'If not', True: 'Yes'} 9 | {False: 'On the other hand', True: 'Yes'} 10 | {False: 'Also', True: 'Yes'} 11 | {False: 'Well', True: 'Yes'} 12 | {False: 'About this page', True: 'Yes'} 13 | {False: 'According to Wikipedia', True: 'Yes'} 14 | {False: 'A: No', True: 'Yes'} 15 | {False: 'First', True: 'Yes'} 16 | {False: 'Ah', True: 'Yes'} 17 | {False: 'Hello', True: 'Yes'} 18 | {False: 'And', True: 'Yes'} 19 | {False: 'About', True: 'Yes'} 20 | {False: 'About this article', True: 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.31814 {'0': '.', '1': 'Enjoy!'} 2 | 0.17961 {'0': '?', '1': '"'} 3 | 0.17961 {'0': 'A.', '1': '"'} 4 | 0.17961 {'0': '1.', '1': '"'} 5 | 0.08607 {'0': 'The.', '1': '"'} 6 | 0.07559 {'0': '?', '1': 'Enjoy!'} 7 | 0.06580 {'0': 'Read.', '1': '"'} 8 | 0.00000 {'0': '.', '1': 'Thanks!'} 9 | 0.00000 {'0': '.', '1': 'Thank you.'} 10 | 0.00000 {'0': 'S.', '1': '"'} 11 | 0.00000 {'0': '.', '1': 'LOL.'} 12 | 0.00000 {'0': 'Great.', '1': '"'} 13 | 0.00000 {'0': 'Not.', '1': '"'} 14 | 0.00000 {'0': 'Good.', '1': '"'} 15 | 0.00000 {'0': 'Yes.', '1': '"'} 16 | -0.06363 {'0': '.', '1': '!'} 17 | -0.06580 {'0': '.', '1': '"'} 18 | -0.06580 {'0': '.', '1': 'Ha!'} 19 | -0.10721 {'0': 'Great!', '1': '"'} 20 | -0.17961 {'0': '.', '1': 'LOL!'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-87.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'So'} 2 | {'0': 'Also', '1': 'In other words'} 3 | {'0': 'Also', '1': 'In the end'} 4 | {'0': 'Also', '1': 'In your opinion'} 5 | {'0': 'Also', '1': 'In short'} 6 | {'0': 'Also', '1': 'I want to know'} 7 | {'0': 'Also', '1': 'I mean'} 8 | {'0': 'Also', '1': 'In this case'} 9 | {'0': 'Also', '1': 'Hello'} 10 | {'0': 'Also', '1': 'In general'} 11 | {'0': 'Also', '1': 'Well'} 12 | {'0': 'Also', '1': 'In my opinion'} 13 | {'0': 'Also', '1': 'Hi'} 14 | {'0': 'Also', '1': 'For instance'} 15 | {'0': 'Also', '1': 'In fact'} 16 | {'0': 'Also', '1': 'By the way'} 17 | {'0': 'Also', '1': 'I would like to know'} 18 | {'0': 'Also', '1': 'In your view'} 19 | {'0': 'Also', '1': 'On the other hand'} 20 | {'0': 'Also', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.78125 {False: 'to', True: '.'} 2 | 0.75000 {False: 'in', True: '.'} 3 | 0.71875 {False: '=', True: '.'} 4 | 0.68750 {False: ',', True: '.'} 5 | 0.68750 {False: 'from', True: '.'} 6 | 0.68750 {False: 'of', True: '.'} 7 | 0.68750 {False: '?', True: '.'} 8 | 0.65625 {False: 'was', True: '.'} 9 | 0.65625 {False: ':', True: '.'} 10 | 0.62500 {False: '"', True: '.'} 11 | 0.62500 {False: '--', True: '.'} 12 | 0.62500 {False: '*', True: '.'} 13 | 0.62500 {False: 'means', True: '.'} 14 | 0.62500 {False: ')', True: '.'} 15 | 0.62500 {False: '+', True: '.'} 16 | 0.62500 {False: '-', True: '.'} 17 | 0.62500 {False: 's', True: '.'} 18 | 0.62500 {False: "'", True: '.'} 19 | 0.59375 {False: '[', True: '.'} 20 | 0.53125 {False: '(', True: '.'} 21 | -------------------------------------------------------------------------------- /requirements.txt: -------------------------------------------------------------------------------- 1 | certifi==2020.12.5 2 | chardet==4.0.0 3 | click==7.1.2 4 | filelock==3.0.12 5 | flake8==3.8.4 6 | future==0.18.2 7 | idna==2.10 8 | importlib-metadata==3.3.0 9 | joblib==1.0.0 10 | mccabe==0.6.1 11 | nltk==3.5 12 | numpy==1.19.4 13 | packaging==20.8 14 | pandas==1.1.5 15 | protobuf==3.14.0 16 | pycodestyle==2.6.0 17 | pyflakes==2.2.0 18 | pyparsing==2.4.7 19 | python-dateutil==2.8.1 20 | pytz==2020.5 21 | regex==2020.11.13 22 | requests==2.25.1 23 | sacremoses==0.0.43 24 | scikit-learn==0.24.0 25 | scipy==1.5.4 26 | sentence-transformers==0.4.0 27 | sentencepiece==0.1.94 28 | six==1.15.0 29 | threadpoolctl==2.1.0 30 | torch==1.6.0 31 | tqdm==4.48.2 32 | transformers==4.5.1 33 | typing-extensions==3.7.4.3 34 | urllib3>=1.26.4 35 | zipp==3.4.0 36 | jsonlines -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-13.txt: -------------------------------------------------------------------------------- 1 | {'0': 'At the same time', '1': 'Yes'} 2 | {'0': 'In addition', '1': 'Yes'} 3 | {'0': 'Meanwhile', '1': 'Yes'} 4 | {'0': 'On the other hand', '1': 'Yes'} 5 | {'0': 'Also', '1': 'Yes'} 6 | {'0': 'However', '1': 'Yes'} 7 | {'0': 'In the meantime', '1': 'Yes'} 8 | {'0': 'In fact', '1': 'Yes'} 9 | {'0': 'Finally', '1': 'Yes'} 10 | {'0': 'On Friday', '1': 'Yes'} 11 | {'0': 'In other words', '1': 'Yes'} 12 | {'0': 'Today', '1': 'Yes'} 13 | {'0': 'By the way', '1': 'Yes'} 14 | {'0': 'In other news', '1': 'Yes'} 15 | {'0': 'On Monday', '1': 'Yes'} 16 | {'0': 'This week', '1': 'Yes'} 17 | {'0': 'Last week', '1': 'Yes'} 18 | {'0': '. In addition', '1': 'Yes'} 19 | {'0': '. At the same time', '1': 'Yes'} 20 | {'0': 'In the United States', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-87.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'For instance'} 2 | {'0': 'Also', '1': 'In other words'} 3 | {'0': 'Also', '1': 'In the end'} 4 | {'0': 'Also', '1': 'In short'} 5 | {'0': 'Also', '1': 'In your opinion'} 6 | {'0': 'Also', '1': 'In this case'} 7 | {'0': 'Also', '1': 'In general'} 8 | {'0': 'Also', '1': 'In my opinion'} 9 | {'0': 'Also', '1': 'Well'} 10 | {'0': 'Also', '1': 'I want to know'} 11 | {'0': 'Also', '1': 'In fact'} 12 | {'0': 'Also', '1': 'Yes'} 13 | {'0': 'Also', '1': 'So'} 14 | {'0': 'Also', '1': 'By the way'} 15 | {'0': 'Also', '1': 'I would like to know'} 16 | {'0': 'Also', '1': 'In your view'} 17 | {'0': 'Also', '1': 'On the other hand'} 18 | {'0': 'Also', '1': 'I mean'} 19 | {'0': 'Also', '1': 'Hello'} 20 | {'0': 'Also', '1': 'Hi'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.62500 {False: '2', True: '.'} 2 | 0.62500 {False: 'So', True: '.'} 3 | 0.62500 {False: '2.', True: '.'} 4 | 0.62500 {False: '*', True: '.'} 5 | 0.59375 {False: 'In', True: '.'} 6 | 0.59375 {False: 'I', True: '.'} 7 | 0.59375 {False: 'M', True: '.'} 8 | 0.56250 {False: '3', True: '.'} 9 | 0.56250 {False: '3.', True: '.'} 10 | 0.56250 {False: 'W', True: '.'} 11 | 0.56250 {False: '1.', True: '.'} 12 | 0.53125 {False: '[', True: '.'} 13 | 0.53125 {False: 'Answer', True: '.'} 14 | 0.53125 {False: '>', True: '.'} 15 | 0.53125 {False: 'Hello', True: '.'} 16 | 0.50000 {False: 'B', True: '.'} 17 | 0.50000 {False: '1', True: '.'} 18 | 0.50000 {False: 'All', True: '.'} 19 | 0.50000 {False: 'J', True: '.'} 20 | 0.50000 {False: '•', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.68750 {0: 'No', 1: 'Yes'} 2 | 0.68750 {0: 'Then', 1: 'Yes'} 3 | 0.65625 {0: 'No', 1: 'Cause'} 4 | 0.65625 {0: 'No', 1: 'Cause? In the end'} 5 | 0.65625 {0: 'No', 1: 'Yeah'} 6 | 0.62500 {0: 'No', 1: 'Cause? No'} 7 | 0.59375 {0: 'No', 1: 'In other words'} 8 | 0.59375 {0: 'No', 1: 'Finally'} 9 | 0.59375 {0: 'No', 1: 'Cause? Yes'} 10 | 0.59375 {0: 'No', 1: 'Cause? Well'} 11 | 0.59375 {0: 'No', 1: 'At the end'} 12 | 0.59375 {0: 'No', 1: 'Well'} 13 | 0.56250 {0: 'No', 1: 'In the end'} 14 | 0.56250 {0: 'No', 1: 'Because'} 15 | 0.56250 {0: 'No', 1: 'Cause? Then'} 16 | 0.56250 {0: 'No', 1: 'If so'} 17 | 0.53125 {0: 'No', 1: 'Actually'} 18 | 0.53125 {0: 'No', 1: 'Or'} 19 | 0.53125 {0: 'No', 1: 'If not'} 20 | 0.50000 {0: 'No', 1: 'After all'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.38730 {'0': '.', '1': 'I.'} 2 | 0.31814 {'0': '.', '1': 'No.'} 3 | 0.31814 {'0': '.', '1': 'Great!'} 4 | 0.31814 {'0': '.', '1': 'Seriously.'} 5 | 0.31311 {'0': '.', '1': '1.'} 6 | 0.25820 {'0': '.', '1': 'Great.'} 7 | 0.20851 {'0': '.', '1': 'Again.'} 8 | 0.20851 {'0': '.', '1': 'Ever.'} 9 | 0.19089 {'0': '.', '1': '"'} 10 | 0.18898 {'0': '.', '1': 'Period.'} 11 | 0.17961 {'0': '.', '1': 'lol.'} 12 | 0.17961 {'0': '.', '1': 'True.'} 13 | 0.17961 {'0': '.', '1': 'Sorry.'} 14 | 0.10721 {'0': '.', '1': 'LOL!'} 15 | 0.07559 {'0': '.', '1': 'A.'} 16 | 0.06950 {'0': '.', '1': 'Bravo!'} 17 | 0.00000 {'0': '.', '1': 'LOL.'} 18 | 0.00000 {'0': '.', '1': 'Finally.'} 19 | 0.00000 {'0': '.', '1': 'Wow!'} 20 | 0.00000 {'0': '.', '1': 'Sorry!'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.43033 {'0': '.', '1': 'I.'} 2 | 0.37796 {'0': '.', '1': 'S.'} 3 | 0.32163 {'0': '.', '1': 'No.'} 4 | 0.20851 {'0': '.', '1': 'Not.'} 5 | 0.19089 {'0': '.', '1': 'Read.'} 6 | 0.17961 {'0': '.', '1': 'Ha!'} 7 | 0.17961 {'0': '.', '1': 'Sorry.'} 8 | 0.16013 {'0': '.', '1': 'And.'} 9 | 0.13484 {'0': '.', '1': 'Thanks.'} 10 | 0.10721 {'0': '.', '1': 'Enjoy!'} 11 | 0.10721 {'0': '.', '1': 'So.'} 12 | 0.10721 {'0': '.', '1': 'Really.'} 13 | 0.06363 {'0': '.', '1': 'But.'} 14 | 0.06262 {'0': '.', '1': 'Thanks!'} 15 | 0.00000 {'0': '.', '1': 'Enjoy.'} 16 | 0.00000 {'0': '.', '1': 'Period.'} 17 | 0.00000 {'0': '.', '1': 'Thank you.'} 18 | 0.00000 {'0': '.', '1': 'Why?'} 19 | 0.00000 {'0': '.', '1': 'Again.'} 20 | 0.00000 {'0': '.', '1': 'Just.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-13.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'On the other hand', '1': 'Yes'} 2 | {'0': 'At the same time', '1': 'Yes'} 3 | {'0': 'In the meantime', '1': 'Yes'} 4 | {'0': 'Finally', '1': 'Yes'} 5 | {'0': 'In other news', '1': 'Yes'} 6 | {'0': '. In addition', '1': 'Yes'} 7 | {'0': 'In addition', '1': 'Yes'} 8 | {'0': 'However', '1': 'Yes'} 9 | {'0': 'On Friday', '1': 'Yes'} 10 | {'0': 'Today', '1': 'Yes'} 11 | {'0': 'In other words', '1': 'Yes'} 12 | {'0': 'This week', '1': 'Yes'} 13 | {'0': 'Last week', '1': 'Yes'} 14 | {'0': '. At the same time', '1': 'Yes'} 15 | {'0': 'By the way', '1': 'Yes'} 16 | {'0': 'On Monday', '1': 'Yes'} 17 | {'0': 'In the United States', '1': 'Yes'} 18 | {'0': 'Also', '1': 'Yes'} 19 | {'0': 'In fact', '1': 'Yes'} 20 | {'0': 'Meanwhile', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'So'} 2 | {'0': 'Also', '1': 'Or'} 3 | {'0': 'Also', '1': 'In other words'} 4 | {'0': 'Also', '1': 'In your opinion'} 5 | {'0': 'Also', '1': 'In the end'} 6 | {'0': 'Also', '1': 'What do you think'} 7 | {'0': 'Also', '1': 'I mean'} 8 | {'0': 'Also', '1': 'If not'} 9 | {'0': 'Also', '1': 'In this case'} 10 | {'0': 'Also', '1': 'Then'} 11 | {'0': 'Also', '1': "I don't know"} 12 | {'0': 'Also', '1': 'In short'} 13 | {'0': 'Also', '1': 'Well'} 14 | {'0': 'Also', '1': 'In the meantime'} 15 | {'0': 'Also', '1': 'As an example'} 16 | {'0': 'Also', '1': 'In the past'} 17 | {'0': 'Also', '1': 'If you ask me'} 18 | {'0': 'Also', '1': 'What do you mean'} 19 | {'0': 'Also', '1': 'I have to ask'} 20 | {'0': 'Also', '1': "I'm curious"} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/cr/16-100.txt: -------------------------------------------------------------------------------- 1 | {0: 'I hate it.', 1: 'Thanks!'} 2 | {0: 'Please help.', 1: 'Thanks!'} 3 | {0: 'Any suggestions?', 1: 'Thanks!'} 4 | {0: 'Please help!', 1: 'Thanks!'} 5 | {0: 'Not good.', 1: 'Thanks!'} 6 | {0: '. Good luck!', 1: 'Thanks!'} 7 | {0: 'Is it?', 1: 'Thanks!'} 8 | {0: 'Can you help?', 1: 'Thanks!'} 9 | {0: '. Good luck.', 1: 'Thanks!'} 10 | {0: 'I think.', 1: 'Thanks!'} 11 | {0: 'I am sorry.', 1: 'Thanks!'} 12 | {0: 'I am not.', 1: 'Thanks!'} 13 | {0: '. Any suggestions?', 1: 'Thanks!'} 14 | {0: 'It is not.', 1: 'Thanks!'} 15 | {0: 'I hate that.', 1: 'Thanks!'} 16 | {0: 'I need help.', 1: 'Thanks!'} 17 | {0: 'I hate it!', 1: 'Thanks!'} 18 | {0: '. I think.', 1: 'Thanks!'} 19 | {0: 'This is annoying.', 1: 'Thanks!'} 20 | {0: 'I know.', 1: 'Thanks!'} 21 | -------------------------------------------------------------------------------- /auto_label_words/QQP/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.76923 {'0': 'and', '1': 'Dear'} 2 | 0.76923 {'0': 'and', '1': 'As'} 3 | 0.75676 {'0': 'and', '1': 'S'} 4 | 0.75000 {'0': '2.', '1': 'Hello'} 5 | 0.75000 {'0': 'And', '1': 'Hello'} 6 | 0.75000 {'0': 'and', '1': 'A'} 7 | 0.75000 {'0': 'and', '1': 'So'} 8 | 0.75000 {'0': '2.', '1': 'So'} 9 | 0.75000 {'0': 'and', '1': 'Recently'} 10 | 0.74286 {'0': 'and', '1': 'Or'} 11 | 0.73171 {'0': '5.', '1': 'Hello'} 12 | 0.73171 {'0': 'and', '1': 'Simply'} 13 | 0.72222 {'0': 'and', '1': 'Like'} 14 | 0.71795 {'0': 'and', '1': 'But'} 15 | 0.71795 {'0': 'and', '1': 'Well'} 16 | 0.71795 {'0': 'and', '1': 'Hello'} 17 | 0.71429 {'0': 'and', '1': ','} 18 | 0.70588 {'0': 'and', '1': 'The'} 19 | 0.70270 {'0': '3.', '1': 'Hello'} 20 | 0.66667 {'0': 'and', '1': 'T'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.50000 {0: 'The first', 1: 'A'} 2 | 0.50000 {0: 'For the first time', 1: 'A'} 3 | 0.46875 {0: 'Of course', 1: 'A'} 4 | 0.46875 {0: 'For the most part', 1: 'A'} 5 | 0.43750 {0: 'And', 1: 'A'} 6 | 0.40625 {0: 'Then', 1: 'A'} 7 | 0.37500 {0: 'The answer is', 1: 'A'} 8 | 0.34375 {0: 'At the same time', 1: 'A'} 9 | 0.31250 {0: 'At the end of the day', 1: 'A'} 10 | 0.31250 {0: 'No', 1: 'First'} 11 | 0.28125 {0: 'Why', 1: 'A'} 12 | 0.25000 {0: 'At the time', 1: 'A'} 13 | 0.25000 {0: 'By the way', 1: 'A'} 14 | 0.21875 {0: 'The answer', 1: 'A'} 15 | 0.21875 {0: 'No', 1: 'A'} 16 | 0.21875 {0: 'In fact', 1: 'A'} 17 | 0.21875 {0: 'Also', 1: 'A'} 18 | 0.18750 {0: 'In this case', 1: 'A'} 19 | 0.18750 {0: 'Well', 1: 'A'} 20 | 0.06250 {0: 'So', 1: 'A'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'In this case'} 2 | {'0': 'Also', '1': 'As an example'} 3 | {'0': 'Also', '1': 'In the past'} 4 | {'0': 'Also', '1': 'In the end'} 5 | {'0': 'Also', '1': 'What do you think'} 6 | {'0': 'Also', '1': 'In the meantime'} 7 | {'0': 'Also', '1': 'In other words'} 8 | {'0': 'Also', '1': 'In your opinion'} 9 | {'0': 'Also', '1': 'If you ask me'} 10 | {'0': 'Also', '1': 'In short'} 11 | {'0': 'Also', '1': 'If not'} 12 | {'0': 'Also', '1': "I don't know"} 13 | {'0': 'Also', '1': 'Well'} 14 | {'0': 'Also', '1': 'Or'} 15 | {'0': 'Also', '1': 'Then'} 16 | {'0': 'Also', '1': 'So'} 17 | {'0': 'Also', '1': 'I mean'} 18 | {'0': 'Also', '1': 'What do you mean'} 19 | {'0': 'Also', '1': "I'm curious"} 20 | {'0': 'Also', '1': 'I have to ask'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/cr/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Please help!', 1: 'Thanks!'} 2 | {0: 'Please help.', 1: 'Thanks!'} 3 | {0: 'Any suggestions?', 1: 'Thanks!'} 4 | {0: 'Not good.', 1: 'Thanks!'} 5 | {0: 'Is it?', 1: 'Thanks!'} 6 | {0: '. Good luck.', 1: 'Thanks!'} 7 | {0: 'I think.', 1: 'Thanks!'} 8 | {0: 'I am sorry.', 1: 'Thanks!'} 9 | {0: 'I am not.', 1: 'Thanks!'} 10 | {0: 'I need help.', 1: 'Thanks!'} 11 | {0: 'I hate it!', 1: 'Thanks!'} 12 | {0: 'This is annoying.', 1: 'Thanks!'} 13 | {0: 'I hate it.', 1: 'Thanks!'} 14 | {0: '. Good luck!', 1: 'Thanks!'} 15 | {0: 'Can you help?', 1: 'Thanks!'} 16 | {0: '. Any suggestions?', 1: 'Thanks!'} 17 | {0: 'It is not.', 1: 'Thanks!'} 18 | {0: 'I hate that.', 1: 'Thanks!'} 19 | {0: '. I think.', 1: 'Thanks!'} 20 | {0: 'I know.', 1: 'Thanks!'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mr/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: 'Enjoy!', 1: 'I loved it.'} 2 | {0: 'Enjoy!', 1: 'I love it.'} 3 | {0: 'Enjoy!', 1: 'A must see.'} 4 | {0: 'Highly recommended.', 1: 'I loved it.'} 5 | {0: 'Enjoy.', 1: 'I loved it.'} 6 | {0: 'Enjoy!', 1: 'I loved it!'} 7 | {0: 'Enjoy!', 1: 'I love it!'} 8 | {0: 'Enjoy!', 1: 'Go see it!'} 9 | {0: 'Enjoy!', 1: 'Go see it.'} 10 | {0: 'Enjoy!', 1: 'I recommend it.'} 11 | {0: 'Highly recommended.', 1: 'I love it.'} 12 | {0: 'Enjoy.', 1: 'I love it.'} 13 | {0: 'Enjoy!', 1: 'I enjoyed it.'} 14 | {0: 'Enjoy!', 1: 'A must see!'} 15 | {0: 'Enjoy!', 1: 'Do you agree?'} 16 | {0: 'Enjoy!', 1: 'well done.'} 17 | {0: 'Enjoy!', 1: 'Check it out!'} 18 | {0: 'Enjoy!', 1: 'well done!'} 19 | {0: 'Enjoy!', 1: 'A must watch.'} 20 | {0: 'Enjoy!', 1: 'All the best.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.62500 {False: 'Also', True: '.'} 2 | 0.59375 {False: 'in', True: '.'} 3 | 0.59375 {False: '>', True: '.'} 4 | 0.59375 {False: '*', True: '.'} 5 | 0.59375 {False: 'Hello', True: '.'} 6 | 0.59375 {False: '--', True: '.'} 7 | 0.59375 {False: 'All', True: '.'} 8 | 0.59375 {False: 'From', True: '.'} 9 | 0.56250 {False: 'New', True: '.'} 10 | 0.56250 {False: 'L', True: '.'} 11 | 0.56250 {False: 'In', True: '.'} 12 | 0.56250 {False: '3.', True: '.'} 13 | 0.56250 {False: '2.', True: '.'} 14 | 0.56250 {False: 'Home', True: '.'} 15 | 0.56250 {False: 'Hi', True: '.'} 16 | 0.53125 {False: '1', True: '.'} 17 | 0.53125 {False: '(', True: '.'} 18 | 0.50000 {False: 'C', True: '.'} 19 | 0.50000 {False: 'To', True: '.'} 20 | 0.50000 {False: '1.', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.71875 {0: 'And', 1: 'No'} 2 | 0.68750 {0: 'Instead', 1: 'No'} 3 | 0.68750 {0: 'Not only that', 1: 'No'} 4 | 0.65625 {0: 'At the same time', 1: 'No'} 5 | 0.65625 {0: 'Next', 1: 'No'} 6 | 0.65625 {0: 'Also', 1: 'No'} 7 | 0.62500 {0: 'In addition', 1: 'No'} 8 | 0.62500 {0: 'Later', 1: 'No'} 9 | 0.62500 {0: 'The next day', 1: 'No'} 10 | 0.62500 {0: 'After that', 1: 'No'} 11 | 0.59375 {0: 'Now', 1: 'No'} 12 | 0.59375 {0: 'In the end', 1: 'No'} 13 | 0.59375 {0: 'After this', 1: 'No'} 14 | 0.59375 {0: 'By the way', 1: 'No'} 15 | 0.59375 {0: 'So', 1: 'No'} 16 | 0.59375 {0: 'In response', 1: 'No'} 17 | 0.59375 {0: 'Finally', 1: 'No'} 18 | 0.56250 {0: 'In the meantime', 1: 'No'} 19 | 0.56250 {0: 'Then', 1: 'No'} 20 | 0.56250 {0: 'At the end', 1: 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.59375 {0: 'No', 1: 'Next'} 2 | 0.59375 {0: 'No', 1: 'In fact'} 3 | 0.53125 {0: 'No', 1: 'Finally'} 4 | 0.53125 {0: 'No', 1: 'Again'} 5 | 0.53125 {0: 'No', 1: 'After all'} 6 | 0.53125 {0: 'No', 1: 'Effect? Then'} 7 | 0.53125 {0: 'No', 1: 'Cause? Then'} 8 | 0.53125 {0: 'No', 1: 'At the end'} 9 | 0.50000 {0: 'No', 1: 'In addition'} 10 | 0.50000 {0: 'No', 1: 'At the same time'} 11 | 0.50000 {0: 'No', 1: 'In the end'} 12 | 0.50000 {0: 'No', 1: 'Effect? Yes'} 13 | 0.50000 {0: 'No', 1: 'Cause? Yes'} 14 | 0.50000 {0: 'No', 1: 'Or'} 15 | 0.50000 {0: 'No', 1: 'Then'} 16 | 0.50000 {0: 'No', 1: 'In other words'} 17 | 0.50000 {0: 'No', 1: 'And then'} 18 | 0.50000 {0: 'No', 1: 'Effect? No'} 19 | 0.46875 {0: 'No', 1: 'And'} 20 | 0.43750 {0: 'No', 1: 'Also'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mr/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'Enjoy!', 1: 'I loved it.'} 2 | {0: 'Enjoy!', 1: 'I love it!'} 3 | {0: 'Highly recommended.', 1: 'I love it.'} 4 | {0: 'Enjoy!', 1: 'A must see.'} 5 | {0: 'Enjoy.', 1: 'I loved it.'} 6 | {0: 'Enjoy!', 1: 'I enjoyed it.'} 7 | {0: 'Enjoy!', 1: 'well done!'} 8 | {0: 'Enjoy!', 1: 'A must watch.'} 9 | {0: 'Enjoy!', 1: 'I recommend it.'} 10 | {0: 'Enjoy.', 1: 'I love it.'} 11 | {0: 'Enjoy!', 1: 'Check it out!'} 12 | {0: 'Enjoy!', 1: 'well done.'} 13 | {0: 'Enjoy!', 1: 'I loved it!'} 14 | {0: 'Enjoy!', 1: 'Do you agree?'} 15 | {0: 'Enjoy!', 1: 'Go see it!'} 16 | {0: 'Enjoy!', 1: 'Go see it.'} 17 | {0: 'Enjoy!', 1: 'I love it.'} 18 | {0: 'Enjoy!', 1: 'All the best.'} 19 | {0: 'Enjoy!', 1: 'A must see!'} 20 | {0: 'Highly recommended.', 1: 'I loved it.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.59375 {False: '--', True: 'D'} 2 | 0.56250 {False: '--', True: '1'} 3 | 0.56250 {False: '--', True: 'C'} 4 | 0.56250 {False: '--', True: 'N'} 5 | 0.56250 {False: '--', True: '#'} 6 | 0.56250 {False: '--', True: 'When'} 7 | 0.56250 {False: '--', True: 'P'} 8 | 0.53125 {False: '--', True: 'G'} 9 | 0.53125 {False: '.', True: 'M'} 10 | 0.53125 {False: '--', True: 'All'} 11 | 0.53125 {False: '--', True: '3.'} 12 | 0.53125 {False: '--', True: 'De'} 13 | 0.53125 {False: '--', True: 'To'} 14 | 0.53125 {False: '--', True: 'H'} 15 | 0.50000 {False: '--', True: 'L'} 16 | 0.50000 {False: '--', True: 'In'} 17 | 0.50000 {False: '--', True: 'From'} 18 | 0.50000 {False: '--', True: 'I'} 19 | 0.50000 {False: '--', True: 'By'} 20 | 0.50000 {False: '--', True: 'M'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/CoLA/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.43033 {'0': '.', '1': 'Enjoy!'} 2 | 0.43033 {'0': '.', '1': 'What?'} 3 | 0.37796 {'0': '.', '1': 'No.'} 4 | 0.37796 {'0': '.', '1': 'Thanks!'} 5 | 0.37796 {'0': '.', '1': 'Good.'} 6 | 0.37796 {'0': '.', '1': 'Ever.'} 7 | 0.37796 {'0': '.', '1': 'Wow!'} 8 | 0.37796 {'0': '.', '1': 'Thank you.'} 9 | 0.32163 {'0': '.', '1': 'Enjoy.'} 10 | 0.32163 {'0': '.', '1': 'Again.'} 11 | 0.32163 {'0': '.', '1': 'Not.'} 12 | 0.32026 {'0': '.', '1': 'Really.'} 13 | 0.25820 {'0': '.', '1': 'How?'} 14 | 0.25820 {'0': '.', '1': 'Period.'} 15 | 0.25820 {'0': '.', '1': 'Read.'} 16 | 0.25820 {'0': '.', '1': 'Please.'} 17 | 0.25820 {'0': '.', '1': 'Why?'} 18 | 0.18898 {'0': '.', '1': 'Sorry.'} 19 | 0.18898 {'0': '.', '1': 'Really?'} 20 | 0.10721 {'0': '.', '1': 'Thanks.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.59375 {False: 'From', True: '.'} 2 | 0.59375 {False: 'Title', True: '.'} 3 | 0.59375 {False: 'or', True: '.'} 4 | 0.56250 {False: 'Re', True: '.'} 5 | 0.56250 {False: 'L', True: '.'} 6 | 0.56250 {False: 'and', True: '.'} 7 | 0.56250 {False: 'Dear', True: '.'} 8 | 0.53125 {False: 'And', True: '.'} 9 | 0.53125 {False: 'A', True: '--'} 10 | 0.53125 {False: 'K', True: '.'} 11 | 0.53125 {False: 'About', True: '.'} 12 | 0.53125 {False: 'A', True: '.'} 13 | 0.53125 {False: 'W', True: '--'} 14 | 0.53125 {False: 'W', True: '.'} 15 | 0.50000 {False: 'Hello', True: '.'} 16 | 0.50000 {False: 'When', True: '.'} 17 | 0.50000 {False: 'The', True: '.'} 18 | 0.50000 {False: 'Michael', True: '.'} 19 | 0.50000 {False: 'By', True: '.'} 20 | 0.50000 {False: 'No', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.62500 {False: '.', True: 's'} 2 | 0.62500 {False: '.', True: '+'} 3 | 0.59375 {False: '.', True: 'before'} 4 | 0.59375 {False: '.', True: 'was'} 5 | 0.59375 {False: '.', True: 'means'} 6 | 0.56250 {False: '.', True: 'or'} 7 | 0.56250 {False: '.', True: 'becomes'} 8 | 0.56250 {False: '.', True: 'The'} 9 | 0.56250 {False: '.', True: 'like'} 10 | 0.56250 {False: '.', True: '['} 11 | 0.56250 {False: '.', True: 'meaning'} 12 | 0.53125 {False: '.', True: '"'} 13 | 0.53125 {False: '.', True: '--'} 14 | 0.53125 {False: '.', True: 'from'} 15 | 0.53125 {False: '.', True: 'see'} 16 | 0.53125 {False: '.', True: 'not'} 17 | 0.50000 {False: '.', True: '='} 18 | 0.50000 {False: '.', True: 'at'} 19 | 0.50000 {False: '.', True: '('} 20 | 0.50000 {False: '.', True: '='} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.71875 {0: 'Now', 1: 'No'} 2 | 0.68750 {0: 'However', 1: 'No'} 3 | 0.65625 {0: 'In addition', 1: 'No'} 4 | 0.65625 {0: 'So', 1: 'No'} 5 | 0.65625 {0: 'Also', 1: 'No'} 6 | 0.62500 {0: 'Finally', 1: 'No'} 7 | 0.62500 {0: 'Next', 1: 'No'} 8 | 0.62500 {0: 'At the same time', 1: 'No'} 9 | 0.62500 {0: 'In the meantime', 1: 'No'} 10 | 0.62500 {0: 'After this', 1: 'No'} 11 | 0.62500 {0: 'Later', 1: 'No'} 12 | 0.62500 {0: 'In the end', 1: 'No'} 13 | 0.62500 {0: 'And', 1: 'No'} 14 | 0.62500 {0: 'On the other hand', 1: 'No'} 15 | 0.62500 {0: 'Because of this', 1: 'No'} 16 | 0.62500 {0: 'In this case', 1: 'No'} 17 | 0.59375 {0: 'By the way', 1: 'No'} 18 | 0.59375 {0: 'After that', 1: 'No'} 19 | 0.59375 {0: 'The next day', 1: 'No'} 20 | 0.59375 {0: 'Then', 1: 'No'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Meanwhile', '1': 'Yes'} 2 | {'0': 'Finally', '1': 'Yes'} 3 | {'0': 'Also', '1': 'Yes'} 4 | {'0': 's', '1': 'Yes'} 5 | {'0': 'In the meantime', '1': 'Yes'} 6 | {'0': 'After all', '1': 'Yes'} 7 | {'0': 'In the end', '1': 'Yes'} 8 | {'0': 'At the time', '1': 'Yes'} 9 | {'0': 'In the past', '1': 'Yes'} 10 | {'0': 'For the record', '1': 'Yes'} 11 | {'0': 'For the most part', '1': 'Yes'} 12 | {'0': 'At the end of the day', '1': 'Yes'} 13 | {'0': '. In addition', '1': 'Yes'} 14 | {'0': 'On the other hand', '1': 'Yes'} 15 | {'0': '. Then', '1': 'Yes'} 16 | {'0': 'In the same way', '1': 'Yes'} 17 | {'0': 'On the other side', '1': 'Yes'} 18 | {'0': 'For the second time', '1': 'Yes'} 19 | {'0': '. In the meantime', '1': 'Yes'} 20 | {'0': 'At the same time', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-42.txt: -------------------------------------------------------------------------------- 1 | {'0': 'In addition', '1': 'Yes'} 2 | {'0': 'Finally', '1': 'Yes'} 3 | {'0': 's', '1': 'Yes'} 4 | {'0': 'At the same time', '1': 'Yes'} 5 | {'0': 'Meanwhile', '1': 'Yes'} 6 | {'0': 'In the meantime', '1': 'Yes'} 7 | {'0': 'In addition', '1': 'In fact'} 8 | {'0': '?', '1': 'Yes'} 9 | {'0': '. However', '1': 'Yes'} 10 | {'0': 'Last week', '1': 'Yes'} 11 | {'0': 'On the other hand', '1': 'Yes'} 12 | {'0': '. In addition', '1': 'Yes'} 13 | {'0': 'On Friday', '1': 'Yes'} 14 | {'0': 'For the first time', '1': 'Yes'} 15 | {'0': 'In other words', '1': 'Yes'} 16 | {'0': 'In other news', '1': 'Yes'} 17 | {'0': 'In the United States', '1': 'Yes'} 18 | {'0': 'For the second time', '1': 'Yes'} 19 | {'0': '. In the meantime', '1': 'Yes'} 20 | {'0': 'In the same way', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-21.txt: -------------------------------------------------------------------------------- 1 | {0: 'A', 1: 'Well'} 2 | {0: 'The answer is', 1: 'Well'} 3 | {0: 'No', 1: 'Well'} 4 | {0: 'B', 1: 'Well'} 5 | {0: 'One', 1: 'Well'} 6 | {0: 'E.g.', 1: 'Well'} 7 | {0: 'At the end', 1: 'Well'} 8 | {0: 'In the same way', 1: 'Well'} 9 | {0: 'At the end of the day', 1: 'Well'} 10 | {0: 'In the first instance', 1: 'Well'} 11 | {0: 'Answer: A', 1: 'Well'} 12 | {0: 'In the first part', 1: 'Well'} 13 | {0: 'Answer: The answer is', 1: 'Well'} 14 | {0: 'This is the answer', 1: 'Well'} 15 | {0: 'At the end of the year', 1: 'Well'} 16 | {0: 'At the beginning of the year', 1: 'Well'} 17 | {0: 'At the end of the month', 1: 'Well'} 18 | {0: 'In the first half of the year', 1: 'Well'} 19 | {0: 'At the end of the week', 1: 'Well'} 20 | {0: 'In the beginning of the year', 1: 'Well'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-21.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Next', '1': 'In addition'} 2 | {'0': 'Next', '1': 's'} 3 | {'0': 'Next', '1': 'In fact'} 4 | {'0': 'Next', '1': 'The'} 5 | {'0': 'Next', '1': 'However'} 6 | {'0': 'Next', '1': '.'} 7 | {'0': 'Next', '1': 'Why'} 8 | {'0': 'Next', '1': 'But'} 9 | {'0': 'Next', '1': 'In response'} 10 | {'0': 'Next', '1': 'According to the report'} 11 | {'0': 'On the other hand', '1': 'In addition'} 12 | {'0': 'On the other hand', '1': 's'} 13 | {'0': 'Next', '1': 'According to reports'} 14 | {'0': 'Next', '1': 'For the first time'} 15 | {'0': 'Next', '1': 'In this case'} 16 | {'0': 'Next', '1': 'and'} 17 | {'0': 'On the other hand', '1': 'In fact'} 18 | {'0': 'Next', '1': 'At the time'} 19 | {'0': 'Next', '1': 'According to the news'} 20 | {'0': 'Next', '1': 'According to the'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-100.score.txt: -------------------------------------------------------------------------------- 1 | 0.71875 {False: '2', True: '.'} 2 | 0.68750 {False: '>', True: '.'} 3 | 0.68750 {False: 'with', True: '.'} 4 | 0.68750 {False: 'like', True: '.'} 5 | 0.65625 {False: '*', True: '.'} 6 | 0.65625 {False: 'not', True: '.'} 7 | 0.65625 {False: 'The', True: '.'} 8 | 0.65625 {False: 'into', True: '.'} 9 | 0.65625 {False: '+', True: '.'} 10 | 0.65625 {False: 'see', True: '.'} 11 | 0.65625 {False: '/', True: '.'} 12 | 0.65625 {False: 'meaning', True: '.'} 13 | 0.62500 {False: 'after', True: '.'} 14 | 0.62500 {False: 'then', True: '.'} 15 | 0.62500 {False: 'English', True: '.'} 16 | 0.62500 {False: 'more', True: '.'} 17 | 0.62500 {False: 'for', True: '.'} 18 | 0.59375 {False: '=', True: '.'} 19 | 0.59375 {False: 'the', True: '.'} 20 | 0.59375 {False: 'before', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-13.score.txt: -------------------------------------------------------------------------------- 1 | 0.71875 {False: '.', True: 'becomes'} 2 | 0.71875 {False: '.', True: 'or'} 3 | 0.68750 {False: '.', True: 'means'} 4 | 0.68750 {False: '.', True: '='} 5 | 0.68750 {False: '.', True: 'from'} 6 | 0.68750 {False: '.', True: '='} 7 | 0.68750 {False: '.', True: 's'} 8 | 0.65625 {False: '.', True: 'with'} 9 | 0.65625 {False: '.', True: 'to'} 10 | 0.65625 {False: '.', True: 'de'} 11 | 0.65625 {False: '.', True: '+'} 12 | 0.65625 {False: '.', True: 'of'} 13 | 0.62500 {False: '.', True: 'without'} 14 | 0.62500 {False: '.', True: 'also'} 15 | 0.59375 {False: '.', True: 'for'} 16 | 0.59375 {False: '.', True: 'then'} 17 | 0.59375 {False: '.', True: 'after'} 18 | 0.59375 {False: '.', True: 'before'} 19 | 0.59375 {False: '.', True: 'and'} 20 | 0.56250 {False: '.', True: 'into'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/COPA/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.56250 {0: 'No', 1: 'After that'} 2 | 0.56250 {0: 'Cause? Yes', 1: 'Then'} 3 | 0.53125 {0: 'No', 1: 'Yes'} 4 | 0.53125 {0: 'Nope', 1: 'Then'} 5 | 0.53125 {0: 'No', 1: 'Then'} 6 | 0.53125 {0: 'Or', 1: 'Then'} 7 | 0.53125 {0: 'In addition', 1: 'Then'} 8 | 0.50000 {0: 'Cause', 1: 'Then'} 9 | 0.50000 {0: 'And', 1: 'Then'} 10 | 0.50000 {0: 'Cause? Well', 1: 'Then'} 11 | 0.50000 {0: 'No', 1: 'Again'} 12 | 0.50000 {0: 'Also', 1: 'After that'} 13 | 0.46875 {0: 'On the other hand', 1: 'Then'} 14 | 0.46875 {0: 'Also', 1: 'Then'} 15 | 0.46875 {0: 'By the way', 1: 'Then'} 16 | 0.46875 {0: 'Cause? No', 1: 'Then'} 17 | 0.46875 {0: 'The next day', 1: 'Then'} 18 | 0.43750 {0: 'At the same time', 1: 'Then'} 19 | 0.43750 {0: 'However', 1: 'Then'} 20 | 0.43750 {0: 'Later', 1: 'Then'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'At the time', '1': 'Yes'} 2 | {'0': 's', '1': 'Yes'} 3 | {'0': 'For the record', '1': 'Yes'} 4 | {'0': 'At the end of the day', '1': 'Yes'} 5 | {'0': 'On the other hand', '1': 'Yes'} 6 | {'0': 'In the same way', '1': 'Yes'} 7 | {'0': 'Finally', '1': 'Yes'} 8 | {'0': 'Meanwhile', '1': 'Yes'} 9 | {'0': 'In the end', '1': 'Yes'} 10 | {'0': 'Also', '1': 'Yes'} 11 | {'0': '. Then', '1': 'Yes'} 12 | {'0': 'At the same time', '1': 'Yes'} 13 | {'0': 'In the past', '1': 'Yes'} 14 | {'0': 'After all', '1': 'Yes'} 15 | {'0': '. In addition', '1': 'Yes'} 16 | {'0': 'In the meantime', '1': 'Yes'} 17 | {'0': '. In the meantime', '1': 'Yes'} 18 | {'0': 'For the most part', '1': 'Yes'} 19 | {'0': 'For the second time', '1': 'Yes'} 20 | {'0': 'On the other side', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': '. In the meantime', '1': 'Yes'} 2 | {'0': 'In addition', '1': 'Yes'} 3 | {'0': 'Last week', '1': 'Yes'} 4 | {'0': 'For the first time', '1': 'Yes'} 5 | {'0': 'In the same way', '1': 'Yes'} 6 | {'0': 's', '1': 'Yes'} 7 | {'0': '. In addition', '1': 'Yes'} 8 | {'0': 'At the same time', '1': 'Yes'} 9 | {'0': '. However', '1': 'Yes'} 10 | {'0': 'In other news', '1': 'Yes'} 11 | {'0': 'For the second time', '1': 'Yes'} 12 | {'0': 'On Friday', '1': 'Yes'} 13 | {'0': 'Meanwhile', '1': 'Yes'} 14 | {'0': 'In the meantime', '1': 'Yes'} 15 | {'0': 'In addition', '1': 'In fact'} 16 | {'0': 'Finally', '1': 'Yes'} 17 | {'0': 'In other words', '1': 'Yes'} 18 | {'0': '?', '1': 'Yes'} 19 | {'0': 'In the United States', '1': 'Yes'} 20 | {'0': 'On the other hand', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {0: 'At the end of the day', 1: 'Well'} 2 | {0: 'In the first part', 1: 'Well'} 3 | {0: 'At the end of the month', 1: 'Well'} 4 | {0: 'In the first instance', 1: 'Well'} 5 | {0: 'This is the answer', 1: 'Well'} 6 | {0: 'In the first half of the year', 1: 'Well'} 7 | {0: 'The answer is', 1: 'Well'} 8 | {0: 'E.g.', 1: 'Well'} 9 | {0: 'One', 1: 'Well'} 10 | {0: 'At the end', 1: 'Well'} 11 | {0: 'Answer: The answer is', 1: 'Well'} 12 | {0: 'A', 1: 'Well'} 13 | {0: 'At the end of the week', 1: 'Well'} 14 | {0: 'In the same way', 1: 'Well'} 15 | {0: 'At the beginning of the year', 1: 'Well'} 16 | {0: 'No', 1: 'Well'} 17 | {0: 'In the beginning of the year', 1: 'Well'} 18 | {0: 'Answer: A', 1: 'Well'} 19 | {0: 'At the end of the year', 1: 'Well'} 20 | {0: 'B', 1: 'Well'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-21.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Next', '1': 'and'} 2 | {'0': 'On the other hand', '1': 'In fact'} 3 | {'0': 'Next', '1': 'In this case'} 4 | {'0': 'Next', '1': '.'} 5 | {'0': 'Next', '1': 'However'} 6 | {'0': 'Next', '1': 'Why'} 7 | {'0': 'Next', '1': 'According to the'} 8 | {'0': 'Next', '1': 'At the time'} 9 | {'0': 'Next', '1': 'In fact'} 10 | {'0': 'Next', '1': 'The'} 11 | {'0': 'Next', '1': 'According to the report'} 12 | {'0': 'Next', '1': 'For the first time'} 13 | {'0': 'Next', '1': 's'} 14 | {'0': 'On the other hand', '1': 's'} 15 | {'0': 'Next', '1': 'According to reports'} 16 | {'0': 'Next', '1': 'In addition'} 17 | {'0': 'Next', '1': 'According to the news'} 18 | {'0': 'Next', '1': 'But'} 19 | {'0': 'On the other hand', '1': 'In addition'} 20 | {'0': 'Next', '1': 'In response'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {0: 'below', 1: 'good'} 2 | 0.87500 {0: 'very negative', 1: 'good'} 3 | 0.87500 {0: 'mixed', 1: 'good'} 4 | 0.87500 {0: 'unchanged', 1: 'good'} 5 | 0.84375 {0: 'poor', 1: 'good'} 6 | 0.84375 {0: 'very strong', 1: 'good'} 7 | 0.84375 {0: 'overwhelming', 1: 'good'} 8 | 0.84375 {0: 'negative', 1: 'good'} 9 | 0.81250 {0: 'not good', 1: 'good'} 10 | 0.81250 {0: 'pretty positive', 1: 'good'} 11 | 0.81250 {0: 'that', 1: 'good'} 12 | 0.81250 {0: 'quite positive', 1: 'good'} 13 | 0.81250 {0: 'bad', 1: 'good'} 14 | 0.81250 {0: 'low', 1: 'good'} 15 | 0.81250 {0: 'rather positive', 1: 'good'} 16 | 0.81250 {0: 'wrong', 1: 'good'} 17 | 0.81250 {0: ':', 1: 'good'} 18 | 0.81250 {0: 'not great', 1: 'good'} 19 | 0.81250 {0: 'this', 1: 'good'} 20 | 0.78125 {0: 'one', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_words/BoolQ/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.62500 {False: '1', True: '--'} 2 | 0.62500 {False: 'L', True: '--'} 3 | 0.59375 {False: 'Dear', True: '--'} 4 | 0.59375 {False: 'D', True: '--'} 5 | 0.59375 {False: 'I', True: '--'} 6 | 0.56250 {False: 'National', True: '--'} 7 | 0.56250 {False: 'N', True: '--'} 8 | 0.56250 {False: '1)', True: '--'} 9 | 0.56250 {False: 'American', True: '--'} 10 | 0.53125 {False: 'R', True: '--'} 11 | 0.53125 {False: 'W', True: '--'} 12 | 0.53125 {False: 'So', True: '--'} 13 | 0.53125 {False: 'US', True: '--'} 14 | 0.50000 {False: 'And', True: '--'} 15 | 0.50000 {False: 'the', True: '--'} 16 | 0.50000 {False: 'P', True: '--'} 17 | 0.50000 {False: 'No', True: '--'} 18 | 0.50000 {False: 'The', True: '--'} 19 | 0.50000 {False: 'About', True: '--'} 20 | 0.46875 {False: 'All', True: '--'} 21 | -------------------------------------------------------------------------------- /auto_label_words/WiC/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.78125 {False: 'into', True: '.'} 2 | 0.75000 {False: 'verb', True: '.'} 3 | 0.65625 {False: 'The', True: '.'} 4 | 0.65625 {False: 'more', True: '.'} 5 | 0.65625 {False: 'after', True: '.'} 6 | 0.65625 {False: 'like', True: '.'} 7 | 0.65625 {False: 'English', True: '.'} 8 | 0.62500 {False: 'before', True: '.'} 9 | 0.62500 {False: 's', True: '.'} 10 | 0.62500 {False: 'as', True: '.'} 11 | 0.59375 {False: 'becomes', True: '.'} 12 | 0.59375 {False: 'the', True: '.'} 13 | 0.59375 {False: 'of', True: '.'} 14 | 0.59375 {False: 'implies', True: '.'} 15 | 0.56250 {False: 'not', True: '.'} 16 | 0.56250 {False: 'then', True: '.'} 17 | 0.56250 {False: 'see', True: '.'} 18 | 0.56250 {False: 'was', True: '.'} 19 | 0.53125 {False: '[', True: '.'} 20 | 0.50000 {False: 'de', True: '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'So'} 2 | {'0': 'Also', '1': 'In other words'} 3 | {'0': 'Also', '1': 'In short'} 4 | {'0': 'Also', '1': 'In your opinion'} 5 | {'0': 'Also', '1': 'The question is'} 6 | {'0': 'Also', '1': 'Yes'} 7 | {'0': 'Also', '1': 'In the end'} 8 | {'0': 'Also', '1': 'After all'} 9 | {'0': 'Also', '1': 'Well'} 10 | {'0': 'Also', '1': 'What do you think'} 11 | {'0': 'Also', '1': 'In the meantime'} 12 | {'0': 'Also', '1': 'In your view'} 13 | {'0': 'Also', '1': 'If you ask me'} 14 | {'0': 'Also', '1': 'How do you think'} 15 | {'0': 'Also', '1': 'In the long run'} 16 | {'0': 'Also', '1': 'In this case'} 17 | {'0': 'Also', '1': 'What do you mean'} 18 | {'0': 'Also', '1': 'So, in short'} 19 | {'0': 'Also', '1': 'At the end of the day'} 20 | {'0': 'Also', '1': 'At the end'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/STS-B/16-42.score.txt: -------------------------------------------------------------------------------- 1 | 0.66500 {'0': 'A', '1': 'Yes'} 2 | 0.59872 {'0': 'And', '1': 'Yes'} 3 | 0.53640 {'0': 'Now', '1': 'Yes'} 4 | 0.46388 {'0': 'Or', '1': 'Yes'} 5 | 0.45519 {'0': 'This time', '1': 'Yes'} 6 | 0.44142 {'0': 'Oh', '1': 'Yes'} 7 | 0.44028 {'0': 'and', '1': 'Yes'} 8 | 0.40483 {'0': 'Next', '1': 'Yes'} 9 | 0.39496 {'0': '. Also', '1': 'Yes'} 10 | 0.39071 {'0': 'First', '1': 'Yes'} 11 | 0.38536 {'0': 'On the other hand', '1': 'Yes'} 12 | 0.33615 {'0': 'This week', '1': 'Yes'} 13 | 0.33299 {'0': 'Here', '1': 'Yes'} 14 | 0.32725 {'0': 'Then', '1': 'Yes'} 15 | 0.32159 {'0': 'No', '1': 'Yes'} 16 | 0.31559 {'0': 'Also', '1': 'Yes'} 17 | 0.27674 {'0': 'I mean', '1': 'Yes'} 18 | 0.25751 {'0': 'Finally', '1': 'Yes'} 19 | 0.24683 {'0': 'Hi', '1': 'Yes'} 20 | 0.11160 {'0': 's', '1': 'Yes'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/mpqa/16-21.score.txt: -------------------------------------------------------------------------------- 1 | 0.87500 {0: 'bad', 1: 'good'} 2 | 0.81250 {0: 'quite good', 1: 'good'} 3 | 0.81250 {0: 'really good', 1: 'good'} 4 | 0.78125 {0: 'very positive', 1: 'good'} 5 | 0.78125 {0: 'very good', 1: 'good'} 6 | 0.78125 {0: 'quite positive', 1: 'good'} 7 | 0.78125 {0: 'very high', 1: 'good'} 8 | 0.78125 {0: 'pretty good', 1: 'good'} 9 | 0.78125 {0: 'mixed', 1: 'good'} 10 | 0.78125 {0: 'one', 1: 'good'} 11 | 0.75000 {0: 'above', 1: 'good'} 12 | 0.75000 {0: 'not bad', 1: 'good'} 13 | 0.75000 {0: 'poor', 1: 'good'} 14 | 0.75000 {0: 'amazing', 1: 'good'} 15 | 0.75000 {0: 'not good', 1: 'good'} 16 | 0.75000 {0: 'the best', 1: 'good'} 17 | 0.71875 {0: 'better', 1: 'good'} 18 | 0.71875 {0: 'negative', 1: 'good'} 19 | 0.71875 {0: 'the same', 1: 'good'} 20 | 0.71875 {0: 'below', 1: 'good'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-100.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'Well'} 2 | {'0': 'However', '1': 'Well'} 3 | {'0': 'Also', '1': 'Indeed'} 4 | {'0': 'However', '1': 'Indeed'} 5 | {'0': 'Also', '1': '.'} 6 | {'0': 'However', '1': '.'} 7 | {'0': 'Then', '1': 'Well'} 8 | {'0': 'Also', '1': '?'} 9 | {'0': 'Also', '1': 'That is'} 10 | {'0': 'Also', '1': 'According to the statement'} 11 | {'0': 'However', '1': '?'} 12 | {'0': 'However', '1': 'That is'} 13 | {'0': 'Also', '1': 'In other words'} 14 | {'0': 'Of course', '1': 'Well'} 15 | {'0': 'Also', '1': "That's right"} 16 | {'0': 'Also', '1': 'On the same day'} 17 | {'0': 'Also', '1': 'According to the official'} 18 | {'0': 'Also', '1': 'According to the source'} 19 | {'0': 'Also', '1': 'According to the news release'} 20 | {'0': 'Also', '1': 'According to the Washington Post'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MultiRC/16-87.score.txt: -------------------------------------------------------------------------------- 1 | 0.50000 {0: 'I.e.', 1: 'The answer is'} 2 | 0.50000 {0: 'A', 1: 'The answer is'} 3 | 0.50000 {0: 'I', 1: 'Well'} 4 | 0.50000 {0: 'E.g.', 1: 'Well'} 5 | 0.50000 {0: 'See also', 1: 'Well'} 6 | 0.50000 {0: 'B', 1: 'Well'} 7 | 0.50000 {0: 'E.g.', 1: 'The answer is'} 8 | 0.50000 {0: 'C', 1: 'Well'} 9 | 0.50000 {0: 'I.e.', 1: 'Well'} 10 | 0.46875 {0: 'B.', 1: 'The answer is'} 11 | 0.46875 {0: 'C', 1: 'The answer is'} 12 | 0.46875 {0: 'Here', 1: 'Well'} 13 | 0.46875 {0: 'A', 1: 'Well'} 14 | 0.40625 {0: 'A.', 1: 'The answer is'} 15 | 0.37500 {0: 'No', 1: 'Well'} 16 | 0.31250 {0: 'B', 1: 'The answer is'} 17 | 0.25000 {0: 'I', 1: 'The answer is'} 18 | 0.21875 {0: 'Here', 1: 'The answer is'} 19 | 0.21875 {0: 'See also', 1: 'The answer is'} 20 | 0.21875 {0: 'No', 1: 'The answer is'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/QQP/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'Also', '1': 'In the long run'} 2 | {'0': 'Also', '1': 'At the end'} 3 | {'0': 'Also', '1': 'In your opinion'} 4 | {'0': 'Also', '1': 'In the end'} 5 | {'0': 'Also', '1': 'In this case'} 6 | {'0': 'Also', '1': 'In other words'} 7 | {'0': 'Also', '1': 'So'} 8 | {'0': 'Also', '1': 'In short'} 9 | {'0': 'Also', '1': 'Well'} 10 | {'0': 'Also', '1': 'In the meantime'} 11 | {'0': 'Also', '1': 'So, in short'} 12 | {'0': 'Also', '1': 'The question is'} 13 | {'0': 'Also', '1': 'What do you think'} 14 | {'0': 'Also', '1': 'After all'} 15 | {'0': 'Also', '1': 'What do you mean'} 16 | {'0': 'Also', '1': 'Yes'} 17 | {'0': 'Also', '1': 'At the end of the day'} 18 | {'0': 'Also', '1': 'In your view'} 19 | {'0': 'Also', '1': 'If you ask me'} 20 | {'0': 'Also', '1': 'How do you think'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/cr/16-42.txt: -------------------------------------------------------------------------------- 1 | {0: '. Good luck!', 1: 'I love it.'} 2 | {0: 'Any suggestions?', 1: 'I love it.'} 3 | {0: 'I hate it.', 1: 'I love it.'} 4 | {0: '. Good luck.', 1: 'I love it.'} 5 | {0: 'Can you help?', 1: 'I love it.'} 6 | {0: '.no.', 1: 'I love it.'} 7 | {0: 'Is it?', 1: 'I love it.'} 8 | {0: 'Do you know?', 1: 'I love it.'} 9 | {0: '. I think.', 1: 'I love it.'} 10 | {0: '. thanks!', 1: 'I love it.'} 11 | {0: '. Any suggestions?', 1: 'I love it.'} 12 | {0: '.so.', 1: 'I love it.'} 13 | {0: '. What?', 1: 'I love it.'} 14 | {0: 'Do you think?', 1: 'I love it.'} 15 | {0: 'I hate it!', 1: 'I love it.'} 16 | {0: '. Good luck!', 1: 'Highly recommended.'} 17 | {0: 'It is not.', 1: 'I love it.'} 18 | {0: '. I hope.', 1: 'I love it.'} 19 | {0: '. Sigh.', 1: 'I love it.'} 20 | {0: '.no?', 1: 'I love it.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/MRPC/16-100.sort.txt: -------------------------------------------------------------------------------- 1 | {'0': 'However', '1': 'Indeed'} 2 | {'0': 'However', '1': 'Well'} 3 | {'0': 'Of course', '1': 'Well'} 4 | {'0': 'However', '1': 'That is'} 5 | {'0': 'Also', '1': 'In other words'} 6 | {'0': 'Also', '1': 'Indeed'} 7 | {'0': 'Also', '1': "That's right"} 8 | {'0': 'However', '1': '.'} 9 | {'0': 'Also', '1': 'According to the official'} 10 | {'0': 'Also', '1': 'That is'} 11 | {'0': 'Also', '1': 'On the same day'} 12 | {'0': 'Also', '1': 'According to the statement'} 13 | {'0': 'Also', '1': 'Well'} 14 | {'0': 'However', '1': '?'} 15 | {'0': 'Also', '1': 'According to the source'} 16 | {'0': 'Then', '1': 'Well'} 17 | {'0': 'Also', '1': 'According to the news release'} 18 | {'0': 'Also', '1': 'According to the Washington Post'} 19 | {'0': 'Also', '1': '?'} 20 | {'0': 'Also', '1': '.'} 21 | -------------------------------------------------------------------------------- /auto_label_sequences/cr/16-42.sort.txt: -------------------------------------------------------------------------------- 1 | {0: '. Good luck!', 1: 'I love it.'} 2 | {0: 'Any suggestions?', 1: 'I love it.'} 3 | {0: 'I hate it.', 1: 'I love it.'} 4 | {0: '. Good luck.', 1: 'I love it.'} 5 | {0: 'Is it?', 1: 'I love it.'} 6 | {0: 'Do you know?', 1: 'I love it.'} 7 | {0: '. Any suggestions?', 1: 'I love it.'} 8 | {0: '.so.', 1: 'I love it.'} 9 | {0: '. What?', 1: 'I love it.'} 10 | {0: 'Do you think?', 1: 'I love it.'} 11 | {0: 'I hate it!', 1: 'I love it.'} 12 | {0: '. Good luck!', 1: 'Highly recommended.'} 13 | {0: '. I hope.', 1: 'I love it.'} 14 | {0: '.no?', 1: 'I love it.'} 15 | {0: 'Can you help?', 1: 'I love it.'} 16 | {0: '.no.', 1: 'I love it.'} 17 | {0: '. thanks!', 1: 'I love it.'} 18 | {0: '. Sigh.', 1: 'I love it.'} 19 | {0: '. I think.', 1: 'I love it.'} 20 | {0: 'It is not.', 1: 'I love it.'} 21 | --------------------------------------------------------------------------------