├── .gitattributes ├── .gitignore ├── LICENSE ├── README.md ├── exclude-large-files.sh ├── experiments ├── star-gate-gemma-ablation │ ├── build-gold-responses │ │ ├── check-content-violations.py │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ ├── gpt4-content-violation.yaml │ │ │ │ ├── gpt4.yaml │ │ │ │ ├── mistral-7b-instruct-v02-vllm.yaml │ │ │ │ └── mixtral-8x7b-instruct-vllm.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── generate.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ ├── 11-35-34 final-generate-A │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-37-53 final-generate-B │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-42-39 final-generate-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── check-content-violations.sh │ │ │ ├── generate-all-gold-responses-test.sh │ │ │ └── generate-all-gold-responses.sh │ │ └── utils.py │ ├── general-vs-specific │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── plot-categories.py │ │ ├── star-2-mistral-ablation-qa-experimental-general_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-general_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-general_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-general_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_topk_sems.json │ │ └── utils.py │ ├── gpt-4-general-vs-specific │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ └── 2024-03-13 │ │ │ │ └── specificity rating │ │ │ │ └── 16-20-48 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-categories.py │ │ ├── plot-correlations.py │ │ ├── rate-specificity.py │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_topk_sems.json │ │ └── utils.py │ ├── instruct-questions │ │ ├── conf │ │ │ └── config.yaml │ │ ├── extract-questions.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ └── 09-49-17 final-extract-A-B-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── scripts │ │ │ └── extract-all.sh │ ├── log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ ├── test-mixtral.yaml │ │ │ │ └── test.yaml │ │ ├── filter-pos-control.py │ │ ├── filter.py │ │ ├── likelihood-neg-control.py │ │ ├── likelihood-pos-control-1.py │ │ ├── likelihood-pos-control-2.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-04 │ │ │ │ ├── m0 test split log-prob outputs │ │ │ │ │ ├── 14-46-11 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-49-16 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-59-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-05-37 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-53 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-14-56 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m0 train split A log-probs + filtering outputs │ │ │ │ │ ├── 13-39-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-27-18 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-06 │ │ │ │ └── m1 train split B log-probs + filtering outputs │ │ │ │ │ ├── 03-19-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 05-08-58 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-13 │ │ │ │ └── m2 train split A logprobs + outputs │ │ │ │ │ ├── 18-52-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 20-44-28 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ ├── m1 test split log-probs + filtering │ │ │ │ │ ├── 22-11-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-12-24 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-18-52 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-21-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-15-09 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-15-14 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-15-19 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 test split log-probs + filtering │ │ │ │ │ ├── 22-26-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-28-03 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-34-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-37-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-15 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-16-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 test split log-probs + filtering │ │ │ │ │ ├── 22-43-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-44-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-51-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-54-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-16-17 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-16 │ │ │ │ ├── m0 mistral ablation log-probs + filtering copy │ │ │ │ ├── 02-16-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-17-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-29-22 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-35-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-12-26 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m1 mistral ablation log-probs + filtering │ │ │ │ ├── 03-41-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-42-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-54-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-59-57 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-41 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-12-47 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 mistral ablation log-probs + filtering │ │ │ │ ├── 02-44-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-45-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-57-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-03-10 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-13-01 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-13-07 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 mistral ablation log-probs + filtering │ │ │ │ ├── 03-12-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-13-58 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-25-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-31-37 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-13-16 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-13-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-13-27 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-A-filter.sh │ │ │ │ ├── m0-A-log-probs.sh │ │ │ │ ├── m0-test-filter.sh │ │ │ │ └── m0-test-log-probs.sh │ │ │ ├── m1 │ │ │ │ ├── m1-B-filter.sh │ │ │ │ ├── m1-B-log-probs.sh │ │ │ │ ├── m1-test-filter.sh │ │ │ │ └── m1-test-log-probs.sh │ │ │ ├── m2 │ │ │ │ ├── m2-A-filter.sh │ │ │ │ ├── m2-A-log-probs.sh │ │ │ │ ├── m2-test-filter.sh │ │ │ │ └── m2-test-log-probs.sh │ │ │ └── m3 │ │ │ │ ├── .m3-test-log-probs.sh.swp │ │ │ │ ├── m3-test-filter.sh │ │ │ │ └── m3-test-log-probs.sh │ │ └── utils.py │ ├── m0-response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-21 │ │ │ │ ├── 13-12-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-13-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-15-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-21-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-29-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-30-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-32-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-34-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-36-28 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-38-12 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-41-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-45-35 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-m0-winrates-randomized.json │ │ └── utils.py │ ├── persona-generation │ │ ├── conf │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ ├── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ │ ├── test-split-config.yaml │ │ │ └── train-split-config.yaml │ │ ├── generate-personas-test.py │ │ ├── generate-personas.py │ │ ├── outputs │ │ │ └── .hydra final-persona-generation │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ └── generate-personas.sh │ │ └── utils.py │ ├── plot │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ ├── 2024-02-29 │ │ │ │ ├── 19-16-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-19-01 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-19-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-20-33 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-01 │ │ │ │ ├── 04-49-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 05-07-33 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-03 │ │ │ │ ├── 21-00-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-01-51 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-04 │ │ │ │ ├── 15-13-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-15-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-14-08 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-18-09 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-06 │ │ │ │ └── 18-50-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-09 │ │ │ │ ├── 08-17-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 08-23-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 08-27-36 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ └── 23-18-01 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-15 │ │ │ │ ├── 15-56-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-59-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-03-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 16-04-25 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-16 │ │ │ │ └── 04-14-24 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-17 │ │ │ │ └── 09-28-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-20 │ │ │ │ └── 12-36-57 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-log-probs-shuffled.py │ │ ├── plot-log-probs.py │ │ ├── scripts │ │ │ └── plot-test.sh │ │ ├── star-2-mistral-ablation-neg-control_means.json │ │ ├── star-2-mistral-ablation-neg-control_sems.json │ │ ├── star-2-mistral-ablation-pos_control_1_means.json │ │ ├── star-2-mistral-ablation-pos_control_1_sems.json │ │ ├── star-2-mistral-ablation-pos_control_1_topk_means.json │ │ ├── star-2-mistral-ablation-pos_control_1_topk_sems.json │ │ ├── star-2-mistral-ablation-pos_control_2_means.json │ │ ├── star-2-mistral-ablation-pos_control_2_sems.json │ │ ├── star-2-mistral-ablation-pos_control_2_topk_means.json │ │ ├── star-2-mistral-ablation-pos_control_2_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental_means.json │ │ ├── star-2-mistral-ablation-qa-experimental_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental_topk_sems.json │ │ └── utils.py │ ├── response-win-rates-counterbalanced │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-20 │ │ │ │ └── final ratings │ │ │ │ ├── 00-49-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-57-36 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-09-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-56-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-winrates-counterbalanced.json │ │ └── utils.py │ ├── response-win-rates-randomized-zero-shot │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings │ │ │ │ │ ├── 23-00-11 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-02-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-04-17 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ └── 01-08-44 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-23 │ │ │ │ ├── 13-56-26 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-57-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-59-22 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-02-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-06-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-08-59 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-11-33 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-17-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-18-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-22-18 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-24-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-26-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 16-30-13 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-24 │ │ │ │ ├── 11-01-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 11-02-55 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-26 │ │ │ │ ├── 00-49-04 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-50-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-51-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-52-52 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-54-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-56-43 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-59-10 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 01-04-40 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── randomized-winrates-temp-0.0_zero_shot.png │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-gemma-ablation-overall-winrates-randomized_zero_shot.json │ │ └── utils.py │ ├── response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings │ │ │ │ │ ├── 23-00-11 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-02-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-04-17 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ └── 01-08-44 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-26 │ │ │ │ ├── 00-34-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-34-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 00-34-29 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-winrates-randomized.json │ │ └── utils.py │ ├── response-win-rates │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-15 │ │ │ │ ├── 09-15-54 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-16-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-19-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-38-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-56-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-59-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-15-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-36-26 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-41-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-10-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-16-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-17-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-19-43 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-26-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-32-48 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-34-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-36-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-47-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-50-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-55-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── temp 0 responses + ratings │ │ │ │ │ ├── 00-48-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-50-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-52-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-53-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-55-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-10-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-15-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-31-08 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 01-47-23 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-16 │ │ │ │ ├── 12-57-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-58-00 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-58-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-00-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-01-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── baseline win rate responses + ratings │ │ │ │ │ └── 11-01-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m0 win rate responses + ratings │ │ │ │ │ └── 10-37-01 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m1 win rate responses + ratings │ │ │ │ │ ├── 10-39-33 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 11-07-33 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 win rate responses + ratings │ │ │ │ │ ├── 10-41-57 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 11-37-32 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 win rate responses + ratings │ │ │ │ │ ├── 10-44-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 12-06-23 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-17 │ │ │ │ └── 09-36-29 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-26 │ │ │ │ ├── 00-32-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-32-37 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-33-11 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-33-45 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-45-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-45-54 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-46-27 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 00-47-01 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-winrates.json │ │ └── utils.py │ ├── sft │ │ ├── preprocess │ │ │ ├── conf │ │ │ │ ├── config.yaml │ │ │ │ ├── qa_model │ │ │ │ │ ├── m0.yaml │ │ │ │ │ ├── m1.yaml │ │ │ │ │ └── m2.yaml │ │ │ │ └── split │ │ │ │ │ ├── A.yaml │ │ │ │ │ └── B.yaml │ │ │ ├── generate-model-responses.py │ │ │ ├── outputs │ │ │ │ ├── 2024-03-04 │ │ │ │ │ └── m0 split A train preprocessing │ │ │ │ │ │ ├── 17-17-27 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ │ └── 17-43-41 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-06 │ │ │ │ │ └── m1 split B train preprocessing │ │ │ │ │ │ ├── 08-42-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ │ └── 09-13-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 2024-03-13 │ │ │ │ │ ├── 20-46-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 21-13-35 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── scripts │ │ │ │ ├── m0 │ │ │ │ │ ├── m0-A-model-responses.sh │ │ │ │ │ └── m0-A-split.sh │ │ │ │ ├── m1 │ │ │ │ │ ├── m1-B-model-responses.sh │ │ │ │ │ └── m1-B-split.sh │ │ │ │ └── m2 │ │ │ │ │ ├── m2-A-model-responses.sh │ │ │ │ │ └── m2-A-split.sh │ │ │ ├── split-conversations.py │ │ │ └── utils.py │ │ └── train │ │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ └── m0.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ └── m2.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── B.yaml │ │ │ ├── outputs │ │ │ ├── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m0 A training run │ │ │ │ ├── sequence-lengths │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── training run │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m1 B training run │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── plot-sequence-lengths.py │ │ │ ├── scripts │ │ │ ├── m0-A-sequence-lengths.sh │ │ │ ├── m1-B-sequence-lengths.sh │ │ │ ├── m2-A-sequence-lengths.sh │ │ │ ├── train-sft-m0-A.sh │ │ │ ├── train-sft-m1-B.sh │ │ │ └── train-sft-m2-A.sh │ │ │ ├── seq-length-plots │ │ │ ├── star-2-bsft m0-A-sequence-lengths.png │ │ │ └── star-2-bsft m1-B-sequence-lengths.png │ │ │ ├── train_sft.py │ │ │ ├── utils.py │ │ │ └── wandb │ │ │ ├── latest-run │ │ │ ├── run-20240219_133025-c6secmtu │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c6secmtu.wandb │ │ │ ├── run-20240219_133025-iqn72low │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-iqn72low.wandb │ │ │ ├── run-20240219_133025-l4mhv69x │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l4mhv69x.wandb │ │ │ ├── run-20240219_133025-rcfwuba7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rcfwuba7.wandb │ │ │ ├── run-20240219_133103-6n3d9rsq │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-6n3d9rsq.wandb │ │ │ ├── run-20240219_133103-o5tmrvpr │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-o5tmrvpr.wandb │ │ │ ├── run-20240219_133103-x0k4wioe │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-x0k4wioe.wandb │ │ │ ├── run-20240219_133103-z5ms9drl │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-z5ms9drl.wandb │ │ │ ├── run-20240219_143720-a9uqleje │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-a9uqleje.wandb │ │ │ ├── run-20240219_143812-xzddpz3t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-xzddpz3t.wandb │ │ │ ├── run-20240219_144002-cca5jzup │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-cca5jzup.wandb │ │ │ ├── run-20240219_144311-ru549kzb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ru549kzb.wandb │ │ │ ├── run-20240219_153421-ws1rekg0 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ws1rekg0.wandb │ │ │ ├── run-20240219_153422-v4wx75v8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-v4wx75v8.wandb │ │ │ ├── run-20240219_154013-7eat5qmx │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-7eat5qmx.wandb │ │ │ ├── run-20240219_154013-tod5jobf │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-tod5jobf.wandb │ │ │ ├── run-20240219_154239-qhm50eq9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qhm50eq9.wandb │ │ │ ├── run-20240219_154239-wrcwf99z │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-wrcwf99z.wandb │ │ │ ├── run-20240219_154605-10bfmv3d │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-10bfmv3d.wandb │ │ │ ├── run-20240219_154605-c9lfvt03 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c9lfvt03.wandb │ │ │ ├── run-20240219_155354-19p687n6 │ │ │ └── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ └── requirements.txt │ │ │ ├── run-20240228_202358-h89k31hv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-h89k31hv.wandb │ │ │ ├── run-20240228_202624-0zu1ij09 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0zu1ij09.wandb │ │ │ ├── run-20240228_202736-s07jfif3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-s07jfif3.wandb │ │ │ ├── run-20240228_203309-4p2f6v9m │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4p2f6v9m.wandb │ │ │ ├── run-20240228_204032-yvpbhb9t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-yvpbhb9t.wandb │ │ │ ├── run-20240301_024934-3b1a6hjt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-3b1a6hjt.wandb │ │ │ ├── run-20240301_025035-r2a7zfh4 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-r2a7zfh4.wandb │ │ │ ├── run-20240301_025336-q9koa439 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-q9koa439.wandb │ │ │ ├── run-20240301_030600-knsa1okj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-knsa1okj.wandb │ │ │ ├── run-20240304_044133-4uul4mei │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4uul4mei.wandb │ │ │ ├── run-20240304_044302-dt7pvqcw │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dt7pvqcw.wandb │ │ │ ├── run-20240304_045211-ij94z46o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ij94z46o.wandb │ │ │ ├── run-20240304_195354-ifo17b6o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ifo17b6o.wandb │ │ │ ├── run-20240306_092907-l0q98fot │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l0q98fot.wandb │ │ │ ├── run-20240306_102342-qam062gh │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qam062gh.wandb │ │ │ ├── run-20240308_025432-jaxc7ikt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-jaxc7ikt.wandb │ │ │ ├── run-20240308_095845-v5hjq55y │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-v5hjq55y.wandb │ │ │ ├── run-20240308_114336-czd00p49 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-czd00p49.wandb │ │ │ ├── run-20240308_213100-akgmuisc │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-akgmuisc.wandb │ │ │ ├── run-20240308_215340-9wj2ttxo │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-9wj2ttxo.wandb │ │ │ ├── run-20240313_211739-qy2ronp7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-qy2ronp7.wandb │ │ │ └── run-20240313_211845-b9vtej5v │ │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ │ └── run-b9vtej5v.wandb │ ├── shuffled-log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── filter.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ └── 2024-03-20 │ │ │ │ ├── 12-23-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-04 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-08 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-12 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-42 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-25-23 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-29-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-30-46 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-31-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-31-45 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-34-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 12-36-24 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-test-log-probs-shuffle-filter.sh │ │ │ │ └── m0-test-log-probs-shuffle.sh │ │ │ ├── m1 │ │ │ │ ├── m1-test-log-probs-shuffle-filter.sh │ │ │ │ └── m1-test-log-probs-shuffle.sh │ │ │ ├── m2 │ │ │ │ ├── m2-test-log-probs-shuffle-filter.sh │ │ │ │ └── m2-test-log-probs-shuffle.sh │ │ │ ├── m3 │ │ │ │ ├── m3-test-log-probs-shuffle-filter.sh │ │ │ │ └── m3-test-log-probs-shuffle.sh │ │ │ └── shuffle-all.sh │ │ ├── shuffle.py │ │ └── utils.py │ └── simulate-conversations │ │ ├── conf │ │ ├── config.yaml │ │ ├── human_model │ │ │ ├── gemma.yaml │ │ │ └── m0.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ │ └── turn │ │ │ ├── t1.yaml │ │ │ ├── t2.yaml │ │ │ └── t3.yaml │ │ ├── generate-human.py │ │ ├── generate-qa.py │ │ ├── outputs │ │ ├── 2024-03-25 │ │ │ ├── 23-42-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-42-57 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-44-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-47-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-51-35 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-55-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-59-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m0 gemma ablation test simulations │ │ │ │ ├── 22-15-40 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-17-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-21-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-25-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-29-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 22-32-13 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m1 test simulations gemma ablation │ │ │ │ ├── 22-35-47 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-37-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-42-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-45-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-49-54 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 22-52-47 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-26 │ │ │ ├── 00-02-59 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-06-37 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-09-04 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-13-38 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-17-34 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-21-57 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-21-59 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-25-12 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 00-30-17 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── pool-conversations.py │ │ ├── scripts │ │ ├── m0 │ │ │ ├── m0-A-pool.sh │ │ │ ├── m0-A.sh │ │ │ ├── m0-test-pool.sh │ │ │ └── m0-test.sh │ │ ├── m1 │ │ │ ├── m1-B-pool.sh │ │ │ ├── m1-B.sh │ │ │ ├── m1-test-pool.sh │ │ │ └── m1-test.sh │ │ ├── m2 │ │ │ ├── m2-A-pool.sh │ │ │ ├── m2-A.sh │ │ │ ├── m2-test-pool.sh │ │ │ └── m2-test.sh │ │ └── m3 │ │ │ ├── m3-test-pool.sh │ │ │ └── m3-test.sh │ │ ├── shuffle.py │ │ └── utils.py ├── star-gate-gold-response │ ├── build-gold-responses │ │ ├── check-content-violations.py │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ ├── gpt4-content-violation.yaml │ │ │ │ ├── gpt4.yaml │ │ │ │ ├── mistral-7b-instruct-v02-vllm.yaml │ │ │ │ └── mixtral-8x7b-instruct-vllm.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── generate.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ ├── 11-35-34 final-generate-A │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-37-53 final-generate-B │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-42-39 final-generate-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── check-content-violations.sh │ │ │ ├── generate-all-gold-responses-test.sh │ │ │ └── generate-all-gold-responses.sh │ │ └── utils.py │ ├── general-vs-specific │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ ├── 2024-03-12 │ │ │ │ ├── 21-51-47 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 21-54-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-55-13 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-15 │ │ │ │ ├── 00-22-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-39-23 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-categories.py │ │ └── utils.py │ ├── instruct-questions │ │ ├── conf │ │ │ └── config.yaml │ │ ├── extract-questions.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ └── 09-49-17 final-extract-A-B-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── scripts │ │ │ └── extract-all.sh │ ├── log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ ├── test-mixtral.yaml │ │ │ │ └── test.yaml │ │ ├── filter-pos-control.py │ │ ├── filter.py │ │ ├── likelihood-neg-control.py │ │ ├── likelihood-pos-control-1.py │ │ ├── likelihood-pos-control-2.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-04 │ │ │ │ ├── m0 test split log-prob outputs │ │ │ │ │ ├── 14-46-11 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-49-16 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-59-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-05-37 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-53 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-14-56 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m0 train split A log-probs + filtering outputs │ │ │ │ │ ├── 13-39-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-27-18 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-13 │ │ │ │ └── m1 train split B log-probs + filtering outputs │ │ │ │ │ ├── 21-36-54 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-20-12 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ ├── m1 test split log-probs + filtering │ │ │ │ │ ├── 23-19-55 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-21-09 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-27-35 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-30-32 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-37-18 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-37-23 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-37-27 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 test split log-probs + filtering │ │ │ │ │ ├── 23-41-04 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-42-16 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-49-03 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-51-59 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-57-24 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-57-29 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-57-33 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 train split A log-probs + filtering outputs │ │ │ │ │ ├── 13-11-13 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-13-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 test split log-probs + filtering (day 1) │ │ │ │ │ ├── 23-57-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-58-59 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-15 │ │ │ │ └── m3 test split log-probs + filtering (day 2) │ │ │ │ ├── 00-06-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-09-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-20-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-20-37 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 00-20-41 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-A-filter.sh │ │ │ │ ├── m0-A-log-probs.sh │ │ │ │ ├── m0-test-filter.sh │ │ │ │ └── m0-test-log-probs.sh │ │ │ ├── m1 │ │ │ │ ├── m1-B-filter.sh │ │ │ │ ├── m1-B-log-probs.sh │ │ │ │ ├── m1-test-filter.sh │ │ │ │ └── m1-test-log-probs.sh │ │ │ ├── m2 │ │ │ │ ├── m2-A-filter.sh │ │ │ │ ├── m2-A-log-probs.sh │ │ │ │ ├── m2-test-filter.sh │ │ │ │ └── m2-test-log-probs.sh │ │ │ └── m3 │ │ │ │ ├── m3-test-filter.sh │ │ │ │ └── m3-test-log-probs.sh │ │ └── utils.py │ ├── m0-response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-21 │ │ │ │ ├── 13-12-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-13-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-15-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-18 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-21-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-36-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-37-33 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-39-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-41-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-43-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-43-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-43-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-16-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-18-41 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-20-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-22-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-29-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-31-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-34-33 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-45-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-12-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-14-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-15-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-17-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-19-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 22-34-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 22-36-25 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-22 │ │ │ │ └── 00-14-27 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-1-esft-overall-m0-winrates-randomized.json │ │ └── utils.py │ ├── persona-generation │ │ ├── conf │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ ├── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ │ ├── test-split-config.yaml │ │ │ └── train-split-config.yaml │ │ ├── generate-personas-test.py │ │ ├── generate-personas.py │ │ ├── outputs │ │ │ └── .hydra final-persona-generation │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ └── generate-personas.sh │ │ └── utils.py │ ├── plot │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ ├── 2024-03-12 │ │ │ │ └── 20-40-44 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-15 │ │ │ │ ├── 00-11-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-18-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-21-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 16-06-45 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-21 │ │ │ │ ├── 14-53-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 15-25-07 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-log-probs-shuffled.py │ │ ├── plot-log-probs.py │ │ ├── scripts │ │ │ └── plot-test.sh │ │ ├── star-1-esft-neg-control_means.json │ │ ├── star-1-esft-neg-control_sems.json │ │ ├── star-1-esft-pos_control_1_means.json │ │ ├── star-1-esft-pos_control_1_sems.json │ │ ├── star-1-esft-pos_control_1_topk_means.json │ │ ├── star-1-esft-pos_control_1_topk_sems.json │ │ ├── star-1-esft-pos_control_2_means.json │ │ ├── star-1-esft-pos_control_2_sems.json │ │ ├── star-1-esft-pos_control_2_topk_means.json │ │ ├── star-1-esft-pos_control_2_topk_sems.json │ │ ├── star-1-esft-qa-experimental-shuffled_means.json │ │ ├── star-1-esft-qa-experimental-shuffled_sems.json │ │ ├── star-1-esft-qa-experimental-shuffled_topk_means.json │ │ ├── star-1-esft-qa-experimental-shuffled_topk_sems.json │ │ ├── star-1-esft-qa-experimental_means.json │ │ ├── star-1-esft-qa-experimental_sems.json │ │ ├── star-1-esft-qa-experimental_topk_means.json │ │ ├── star-1-esft-qa-experimental_topk_sems.json │ │ └── utils.py │ ├── response-win-rates-randomized-zero-shot │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings (day 1) │ │ │ │ │ ├── 22-56-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-32-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ ├── 01-08-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-52-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── final ratings (day 2) │ │ │ │ │ └── 00-03-07 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-21 │ │ │ │ ├── 19-39-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-40-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-43-11 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-01-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-01-22 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-45-57 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-48-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-51-37 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-54-36 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-23 │ │ │ │ ├── 14-36-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-37-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-41-41 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-46-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-03-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-05-03 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-05-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-07-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 16-10-46 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-24 │ │ │ │ └── 10-36-42 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── randomized-winrates-temp-0.0_zero_shot.png │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-1-esft-overall-winrates-randomized.json │ │ ├── star-1-esft-overall-winrates-randomized_zero_shot.json │ │ └── utils.py │ ├── response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings (day 1) │ │ │ │ │ ├── 22-56-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-32-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ ├── 01-08-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-52-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── final ratings (day 2) │ │ │ │ │ └── 00-03-07 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-21 │ │ │ │ ├── 19-39-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-40-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-43-11 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-01-04 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-01-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-45-57 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-48-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-51-37 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-54-36 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-1-esft-overall-winrates-randomized.json │ │ └── utils.py │ ├── response-win-rates │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-15 │ │ │ │ ├── 00-57-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-59-00 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-00-44 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-02-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-03-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-10-37 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-18-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-25-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 01-52-31 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-21 │ │ │ │ ├── 19-23-41 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-25-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-26-50 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-28-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-39-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-41-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-43-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-44-24 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins-flipped.py │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-1-esft_winrates-temp-0.0.png │ │ └── utils.py │ ├── sft │ │ ├── preprocess │ │ │ ├── conf │ │ │ │ ├── config.yaml │ │ │ │ ├── qa_model │ │ │ │ │ ├── m0.yaml │ │ │ │ │ ├── m1.yaml │ │ │ │ │ └── m2.yaml │ │ │ │ └── split │ │ │ │ │ ├── A.yaml │ │ │ │ │ └── B.yaml │ │ │ ├── outputs │ │ │ │ ├── 2024-03-09 │ │ │ │ │ └── m0 training split A preprocessing │ │ │ │ │ │ └── 00-56-46 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-10 │ │ │ │ │ └── m1 training split B preprocessing │ │ │ │ │ │ └── 21-12-18 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-12 │ │ │ │ │ └── 12-28-04 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-13 │ │ │ │ │ └── 23-20-37 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 2024-03-14 │ │ │ │ │ └── 15-14-56 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── scripts │ │ │ │ ├── m0 │ │ │ │ │ └── m0-A-split.sh │ │ │ │ ├── m1 │ │ │ │ │ └── m1-B-split.sh │ │ │ │ └── m2 │ │ │ │ │ └── m2-A-split.sh │ │ │ ├── split-conversations.py │ │ │ └── utils.py │ │ └── train │ │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ └── m0.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ └── m2.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── B.yaml │ │ │ ├── outputs │ │ │ ├── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m0 training run │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m1 training run │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m2 training run │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── plot-sequence-lengths.py │ │ │ ├── scripts │ │ │ ├── m0-A-sequence-lengths.sh │ │ │ ├── m1-B-sequence-lengths.sh │ │ │ ├── m2-A-sequence-lengths.sh │ │ │ ├── train-sft-m0-A.sh │ │ │ ├── train-sft-m1-B.sh │ │ │ └── train-sft-m2-A.sh │ │ │ ├── seq-length-plots │ │ │ └── star-1-esft m0-A-sequence-lengths.png │ │ │ ├── train_sft.py │ │ │ ├── utils.py │ │ │ └── wandb │ │ │ ├── latest-run │ │ │ ├── run-20240219_133025-c6secmtu │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c6secmtu.wandb │ │ │ ├── run-20240219_133025-iqn72low │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-iqn72low.wandb │ │ │ ├── run-20240219_133025-l4mhv69x │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l4mhv69x.wandb │ │ │ ├── run-20240219_133025-rcfwuba7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rcfwuba7.wandb │ │ │ ├── run-20240219_133103-6n3d9rsq │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-6n3d9rsq.wandb │ │ │ ├── run-20240219_133103-o5tmrvpr │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-o5tmrvpr.wandb │ │ │ ├── run-20240219_133103-x0k4wioe │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-x0k4wioe.wandb │ │ │ ├── run-20240219_133103-z5ms9drl │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-z5ms9drl.wandb │ │ │ ├── run-20240219_143720-a9uqleje │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-a9uqleje.wandb │ │ │ ├── run-20240219_143812-xzddpz3t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-xzddpz3t.wandb │ │ │ ├── run-20240219_144002-cca5jzup │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-cca5jzup.wandb │ │ │ ├── run-20240219_144311-ru549kzb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ru549kzb.wandb │ │ │ ├── run-20240219_153421-ws1rekg0 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ws1rekg0.wandb │ │ │ ├── run-20240219_153422-v4wx75v8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-v4wx75v8.wandb │ │ │ ├── run-20240219_154013-7eat5qmx │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-7eat5qmx.wandb │ │ │ ├── run-20240219_154013-tod5jobf │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-tod5jobf.wandb │ │ │ ├── run-20240219_154239-qhm50eq9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qhm50eq9.wandb │ │ │ ├── run-20240219_154239-wrcwf99z │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-wrcwf99z.wandb │ │ │ ├── run-20240219_154605-10bfmv3d │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-10bfmv3d.wandb │ │ │ ├── run-20240219_154605-c9lfvt03 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c9lfvt03.wandb │ │ │ ├── run-20240219_155354-19p687n6 │ │ │ └── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ └── requirements.txt │ │ │ ├── run-20240228_202358-h89k31hv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-h89k31hv.wandb │ │ │ ├── run-20240228_202624-0zu1ij09 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0zu1ij09.wandb │ │ │ ├── run-20240228_202736-s07jfif3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-s07jfif3.wandb │ │ │ ├── run-20240228_203309-4p2f6v9m │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4p2f6v9m.wandb │ │ │ ├── run-20240228_204032-yvpbhb9t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-yvpbhb9t.wandb │ │ │ ├── run-20240301_024934-3b1a6hjt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-3b1a6hjt.wandb │ │ │ ├── run-20240301_025035-r2a7zfh4 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-r2a7zfh4.wandb │ │ │ ├── run-20240301_025336-q9koa439 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-q9koa439.wandb │ │ │ ├── run-20240301_030600-knsa1okj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-knsa1okj.wandb │ │ │ ├── run-20240304_044133-4uul4mei │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4uul4mei.wandb │ │ │ ├── run-20240304_044302-dt7pvqcw │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dt7pvqcw.wandb │ │ │ ├── run-20240304_045211-ij94z46o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ij94z46o.wandb │ │ │ ├── run-20240304_195354-ifo17b6o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ifo17b6o.wandb │ │ │ ├── run-20240306_092907-l0q98fot │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l0q98fot.wandb │ │ │ ├── run-20240306_102342-qam062gh │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qam062gh.wandb │ │ │ ├── run-20240308_025432-jaxc7ikt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-jaxc7ikt.wandb │ │ │ ├── run-20240308_095845-v5hjq55y │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-v5hjq55y.wandb │ │ │ ├── run-20240308_114336-czd00p49 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-czd00p49.wandb │ │ │ ├── run-20240308_213100-akgmuisc │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-akgmuisc.wandb │ │ │ ├── run-20240308_215340-9wj2ttxo │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-9wj2ttxo.wandb │ │ │ ├── run-20240309_021213-4ru5ixxb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4ru5ixxb.wandb │ │ │ ├── run-20240310_142257-b17fgp0i │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-b17fgp0i.wandb │ │ │ ├── run-20240310_204651-dn6bv8ad │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dn6bv8ad.wandb │ │ │ ├── run-20240310_212414-tnkrqk67 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-tnkrqk67.wandb │ │ │ ├── run-20240312_122827-dyz4xzkn │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dyz4xzkn.wandb │ │ │ ├── run-20240313_232058-syvk2q6m │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-syvk2q6m.wandb │ │ │ └── run-20240314_151942-sj4vimf3 │ │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ │ └── run-sj4vimf3.wandb │ ├── shuffled-log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── filter.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── shuffling outputs │ │ │ │ │ ├── 20-55-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 20-55-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 20-55-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 20-56-00 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ ├── 11-20-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-41 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-27 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-26-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-31-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-32-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-35-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-38-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-40-38 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-43-59 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-45-00 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-45-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-46-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-49-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-22 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-26 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-33 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-18-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-18-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-23-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-32-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-32-48 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-33-08 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-21 │ │ │ │ ├── 14-59-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-59-06 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-59-10 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-59-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-59-43 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-04-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-09-45 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-15-06 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 15-22-46 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-test-log-probs-shuffle-filter.sh │ │ │ │ └── m0-test-log-probs-shuffle.sh │ │ │ ├── m1 │ │ │ │ ├── m1-test-log-probs-shuffle-filter.sh │ │ │ │ └── m1-test-log-probs-shuffle.sh │ │ │ ├── m2 │ │ │ │ ├── m2-test-log-probs-shuffle-filter.sh │ │ │ │ └── m2-test-log-probs-shuffle.sh │ │ │ ├── m3 │ │ │ │ ├── m3-test-log-probs-shuffle-filter.sh │ │ │ │ └── m3-test-log-probs-shuffle.sh │ │ │ └── shuffle-all.sh │ │ ├── shuffle.py │ │ └── utils.py │ └── simulate-conversations │ │ ├── conf │ │ ├── config.yaml │ │ ├── human_model │ │ │ └── m0.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ │ └── turn │ │ │ ├── t1.yaml │ │ │ ├── t2.yaml │ │ │ └── t3.yaml │ │ ├── generate-human.py │ │ ├── generate-qa.py │ │ ├── outputs │ │ ├── 2024-03-04 │ │ │ ├── m0 split A simulations (day 1) │ │ │ │ ├── 20-45-16 final m0-qa-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-51-55 final m0-human-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m0 split A simulations (day 2) │ │ │ │ ├── 01-35-46 final m0-A-qa-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-40-52 final m0-A-human-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-00-24 final m0-A-qa-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-47-33 final m0-A-human-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-04-25 final m0-A-pool │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m0 test split simulations │ │ │ │ ├── 12-01-06 final-m0-test-qa-t1 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-03-40 final-m0-test-human-t1 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-20-56 final-m0-test-qa-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-25-32 final-m0-test-human-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-41-09 final-m0-test-qa-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-05-34 final-m0-test-human-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-46-20 final m0-test-pool │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-09 │ │ │ └── m1 split B simulations (day 1) │ │ │ │ ├── 07-07-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-02-33 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-17-36 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-24-10 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-14-29 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 22-05-52 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-10 │ │ │ └── m1 split B simulations (day 2) │ │ │ │ └── 18-52-42 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-14 │ │ │ ├── m1 test split simulations │ │ │ ├── 16-15-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 16-18-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 16-28-44 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 16-32-29 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 16-42-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 16-45-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 16-53-10 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m2 split A simulations │ │ │ ├── 00-13-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-56-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 04-58-44 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 06-10-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-49-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-36-45 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 13-09-51 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m2 test split simulations │ │ │ ├── 16-53-23 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 16-56-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 17-07-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 17-11-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 17-21-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 17-24-46 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 17-32-55 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── m3 test split simulations │ │ │ ├── 17-33-16 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 17-36-25 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 17-48-15 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 17-52-25 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 18-03-24 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 18-06-33 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 18-14-57 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── pool-conversations.py │ │ ├── scripts │ │ ├── m0 │ │ │ ├── m0-A-pool.sh │ │ │ ├── m0-A.sh │ │ │ ├── m0-test-pool.sh │ │ │ └── m0-test.sh │ │ ├── m1 │ │ │ ├── m1-B-pool.sh │ │ │ ├── m1-B.sh │ │ │ ├── m1-test-pool.sh │ │ │ └── m1-test.sh │ │ ├── m2 │ │ │ ├── m2-A-pool.sh │ │ │ ├── m2-A.sh │ │ │ ├── m2-test-pool.sh │ │ │ └── m2-test.sh │ │ └── m3 │ │ │ ├── m3-test-pool.sh │ │ │ └── m3-test.sh │ │ ├── shuffle.py │ │ └── utils.py ├── star-gate-llama3 │ ├── build-gold-responses │ │ ├── check-content-violations.py │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ ├── gpt4-content-violation.yaml │ │ │ │ ├── gpt4.yaml │ │ │ │ ├── llama3.yaml │ │ │ │ ├── mistral-7b-instruct-v02-vllm.yaml │ │ │ │ └── mixtral-8x7b-instruct-vllm.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── generate.py │ │ ├── outputs │ │ │ ├── 2024-02-26 │ │ │ │ ├── 11-35-34 final-generate-A │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-37-53 final-generate-B │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-42-39 final-generate-test │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-05-24 │ │ │ │ ├── 15-21-58 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-44-16 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-47-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-49-41 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-06-33 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-15-16 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-18-16 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-22-06 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-24-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-24-04 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-53-50 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── check-content-violations.sh │ │ │ ├── generate-all-gold-responses-test.sh │ │ │ └── generate-all-gold-responses.sh │ │ └── utils.py │ ├── instruct-questions │ │ ├── conf │ │ │ └── config.yaml │ │ ├── extract-questions.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ └── 09-49-17 final-extract-A-B-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── scripts │ │ │ └── extract-all.sh │ ├── log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ └── m0.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ ├── test-mixtral.yaml │ │ │ │ └── test.yaml │ │ ├── filter-pos-control.py │ │ ├── filter.py │ │ ├── likelihood-neg-control.py │ │ ├── likelihood-pos-control-1.py │ │ ├── likelihood-pos-control-2.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-04 │ │ │ │ ├── m0 test split log-prob outputs │ │ │ │ │ ├── 14-46-11 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-49-16 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-59-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-05-37 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-53 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-14-56 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m0 train split A log-probs + filtering outputs │ │ │ │ │ ├── 13-39-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-27-18 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-06 │ │ │ │ └── m1 train split B log-probs + filtering outputs │ │ │ │ │ ├── 03-19-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 05-08-58 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-13 │ │ │ │ └── m2 train split A logprobs + outputs │ │ │ │ │ ├── 18-52-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 20-44-28 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ ├── m1 test split log-probs + filtering │ │ │ │ │ ├── 22-11-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-12-24 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-18-52 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-21-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-15-09 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-15-14 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-15-19 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 test split log-probs + filtering │ │ │ │ │ ├── 22-26-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-28-03 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-34-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-37-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-15 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-16-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 test split log-probs + filtering │ │ │ │ │ ├── 22-43-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-44-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-51-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-54-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-16-17 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-05-26 │ │ │ │ ├── 02-58-41 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-02-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-08-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-10-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-13-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-15-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-20-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-24-03 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-27-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-29-44 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-32-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-34-47 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-36-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-43-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-48-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-52-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-57-38 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-12-10 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-15-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-18-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-53-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-56-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-59-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-01-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-03-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-06-19 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-09-47 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-17-11 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-20-40 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-24-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-26-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-35-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-39-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-41-54 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-42-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-44-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-46-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-50-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-52-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-57-37 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-03-47 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-04-42 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-07-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-10-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-11-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-15-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-18-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-20-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-20-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-25-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-28-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-33-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-35-03 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-38-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-41-57 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-42-52 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-44-03 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-50-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-56-37 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-15-46 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-05-27 │ │ │ │ ├── 10-38-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 10-40-41 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-A-filter.sh │ │ │ │ ├── m0-A-log-probs.sh │ │ │ │ ├── m0-test-filter.sh │ │ │ │ └── m0-test-log-probs.sh │ │ │ ├── m1 │ │ │ │ ├── m1-B-filter.sh │ │ │ │ ├── m1-B-log-probs.sh │ │ │ │ ├── m1-test-filter.sh │ │ │ │ └── m1-test-log-probs.sh │ │ │ ├── m2 │ │ │ │ ├── m2-A-filter.sh │ │ │ │ ├── m2-A-log-probs.sh │ │ │ │ ├── m2-test-filter.sh │ │ │ │ └── m2-test-log-probs.sh │ │ │ └── m3 │ │ │ │ ├── .m3-test-log-probs.sh.swp │ │ │ │ ├── m3-test-filter.sh │ │ │ │ └── m3-test-log-probs.sh │ │ └── utils.py │ ├── m0-response-win-rates-randomized-zero-shot │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-21 │ │ │ │ ├── 13-12-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-13-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-15-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-18 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-21-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-23-40 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-26-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-44-43 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-24 │ │ │ │ ├── 10-18-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-20-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-22-11 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-23-44 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-25-54 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-26-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-26-33 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 10-33-01 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── randomized-m0-winrates-temp-0.0.png │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-bsft-overall-m0-winrates-randomized.json │ │ ├── star-2-bsft-overall-m0-winrates-randomized_zero_shot.json │ │ └── utils.py │ ├── m0-response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-21 │ │ │ │ ├── 13-12-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-13-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-15-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-21-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-23-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-26-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-44-43 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-bsft-overall-m0-winrates-randomized.json │ │ └── utils.py │ ├── persona-generation │ │ ├── conf │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ ├── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ │ ├── test-split-config.yaml │ │ │ └── train-split-config.yaml │ │ ├── generate-personas-test.py │ │ ├── generate-personas.py │ │ ├── outputs │ │ │ └── .hydra final-persona-generation │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ └── generate-personas.sh │ │ └── utils.py │ ├── plot │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ ├── 2024-02-29 │ │ │ │ ├── 19-16-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-19-01 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-19-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-20-33 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-01 │ │ │ │ ├── 04-49-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 05-07-33 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-03 │ │ │ │ ├── 21-00-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-01-51 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-04 │ │ │ │ ├── 15-13-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-15-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-14-08 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-18-09 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-06 │ │ │ │ └── 18-50-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-09 │ │ │ │ ├── 08-17-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 08-23-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 08-27-36 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ └── 23-18-01 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-15 │ │ │ │ ├── 15-56-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-59-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-03-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 16-04-25 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-17 │ │ │ │ ├── 09-22-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-22-48 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-23-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-24-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-26-49 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-20 │ │ │ │ ├── 11-50-56 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-54-43 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-55-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-29-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-30-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-33-29 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-35-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-37-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-37-45 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-log-probs-shuffled.py │ │ ├── plot-log-probs.py │ │ ├── scripts │ │ │ └── plot-test.sh │ │ ├── star-2-bsft-neg-control_means.json │ │ ├── star-2-bsft-neg-control_sems.json │ │ ├── star-2-bsft-pos_control_1_means.json │ │ ├── star-2-bsft-pos_control_1_sems.json │ │ ├── star-2-bsft-pos_control_1_topk_means.json │ │ ├── star-2-bsft-pos_control_1_topk_sems.json │ │ ├── star-2-bsft-pos_control_2_means.json │ │ ├── star-2-bsft-pos_control_2_sems.json │ │ ├── star-2-bsft-pos_control_2_topk_means.json │ │ ├── star-2-bsft-pos_control_2_topk_sems.json │ │ ├── star-2-bsft-qa-experimental-shuffled-OLD_means.json │ │ ├── star-2-bsft-qa-experimental-shuffled-OLD_sems.json │ │ ├── star-2-bsft-qa-experimental-shuffled-OLD_topk_means.json │ │ ├── star-2-bsft-qa-experimental-shuffled-OLD_topk_sems.json │ │ ├── star-2-bsft-qa-experimental-shuffled_means.json │ │ ├── star-2-bsft-qa-experimental-shuffled_sems.json │ │ ├── star-2-bsft-qa-experimental-shuffled_topk_means.json │ │ ├── star-2-bsft-qa-experimental-shuffled_topk_sems.json │ │ ├── star-2-bsft-qa-experimental_means.json │ │ ├── star-2-bsft-qa-experimental_sems.json │ │ ├── star-2-bsft-qa-experimental_topk_means.json │ │ ├── star-2-bsft-qa-experimental_topk_sems.json │ │ └── utils.py │ ├── response-win-rates-counterbalanced │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-20 │ │ │ │ └── final ratings │ │ │ │ ├── 00-47-42 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-51-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-57-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-55-52 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-bsft-overall-winrates-counterbalanced.json │ │ └── utils.py │ ├── response-win-rates-randomized-zero-shot │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings (day 1) │ │ │ │ │ ├── 22-56-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-32-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ ├── 01-08-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-52-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── final ratings (day 2) │ │ │ │ │ └── 00-03-07 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-23 │ │ │ │ ├── 11-38-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-45-10 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-55-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-57-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-58-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-59-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-08-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-08-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-09-48 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-14-44 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-20-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-27-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-37-43 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-42-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-46-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-46-43 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-49-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-49-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-50-40 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-52-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-57-52 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-59-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-59-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-01-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-02-37 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-02-59 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-03-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-15-47 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-32-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-40-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-41-54 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-24 │ │ │ │ └── 10-36-02 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── randomized-winrates-temp-0.0_zero_shot.png │ │ ├── scripts │ │ │ ├── err.err │ │ │ ├── get-ratings.sh │ │ │ ├── get-responses.sh │ │ │ └── out.out │ │ ├── star-2-bsft-overall-winrates-randomized.json │ │ ├── star-2-bsft-overall-winrates-randomized_zero_shot.json │ │ └── utils.py │ ├── response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings (day 1) │ │ │ │ │ ├── 22-56-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-32-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ ├── 01-08-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-52-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── final ratings (day 2) │ │ │ │ │ └── 00-03-07 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-23 │ │ │ │ ├── 12-12-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 12-55-51 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-bsft-overall-winrates-randomized.json │ │ └── utils.py │ ├── response-win-rates │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-15 │ │ │ │ ├── 09-15-54 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-16-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-19-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-38-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-56-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-59-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-15-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-36-26 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-41-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-10-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-16-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-17-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-19-43 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-26-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-32-48 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-34-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-36-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-47-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-50-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-55-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── temp 0 responses + ratings │ │ │ │ │ ├── 00-48-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-50-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-52-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-53-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-55-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-10-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-15-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-31-08 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 01-47-23 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-17 │ │ │ │ └── 09-37-47 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-19 │ │ │ │ └── final ratings │ │ │ │ ├── 19-42-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-42-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-42-29 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-bsft-overall-winrates.json │ │ └── utils.py │ ├── sft │ │ ├── preprocess │ │ │ ├── conf │ │ │ │ ├── config.yaml │ │ │ │ ├── qa_model │ │ │ │ │ ├── m0.yaml │ │ │ │ │ ├── m1.yaml │ │ │ │ │ └── m2.yaml │ │ │ │ └── split │ │ │ │ │ ├── A.yaml │ │ │ │ │ └── B.yaml │ │ │ ├── generate-model-responses.py │ │ │ ├── massage.py │ │ │ ├── outputs │ │ │ │ ├── 2024-03-04 │ │ │ │ │ └── m0 split A train preprocessing │ │ │ │ │ │ ├── 17-17-27 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ │ └── 17-43-41 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-06 │ │ │ │ │ └── m1 split B train preprocessing │ │ │ │ │ │ ├── 08-42-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ │ └── 09-13-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-13 │ │ │ │ │ ├── 20-46-53 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 21-13-35 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 2024-05-27 │ │ │ │ │ ├── 10-55-38 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 10-58-44 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 11-03-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 11-23-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 11-37-03 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 11-38-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 11-40-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 11-46-38 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 13-05-01 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-33-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-34-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 14-36-06 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── scripts │ │ │ │ ├── m0 │ │ │ │ │ ├── m0-A-model-responses.sh │ │ │ │ │ └── m0-A-split.sh │ │ │ │ ├── m1 │ │ │ │ │ ├── m1-B-model-responses.sh │ │ │ │ │ └── m1-B-split.sh │ │ │ │ └── m2 │ │ │ │ │ ├── m2-A-model-responses.sh │ │ │ │ │ └── m2-A-split.sh │ │ │ ├── split-conversations.py │ │ │ └── utils.py │ │ └── train │ │ │ ├── conf │ │ │ ├── accelerate.yaml │ │ │ ├── config.yaml │ │ │ ├── fsdp_config.yaml │ │ │ ├── model │ │ │ │ └── m0.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ └── m2.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── B.yaml │ │ │ ├── outputs │ │ │ ├── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m0 A training run │ │ │ │ ├── sequence-lengths │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── training run │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m1 B training run │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── plot-sequence-lengths.py │ │ │ ├── run_fsdp.py │ │ │ ├── scripts │ │ │ ├── m0-A-sequence-lengths.sh │ │ │ ├── m1-B-sequence-lengths.sh │ │ │ ├── m2-A-sequence-lengths.sh │ │ │ ├── train-sft-m0-A-accelerate.sh │ │ │ ├── train-sft-m0-A.sh │ │ │ ├── train-sft-m1-B.sh │ │ │ └── train-sft-m2-A.sh │ │ │ ├── seq-length-plots │ │ │ ├── star-2-bsft m0-A-sequence-lengths.png │ │ │ ├── star-2-bsft m1-B-sequence-lengths.png │ │ │ └── star-gate-llama3 m0-A-sequence-lengths.png │ │ │ ├── train_sft.py │ │ │ ├── train_sft_NEW.py │ │ │ ├── utils.py │ │ │ └── wandb │ │ │ ├── latest-run │ │ │ ├── run-20240219_133025-c6secmtu │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c6secmtu.wandb │ │ │ ├── run-20240219_133025-iqn72low │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-iqn72low.wandb │ │ │ ├── run-20240219_133025-l4mhv69x │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l4mhv69x.wandb │ │ │ ├── run-20240219_133025-rcfwuba7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rcfwuba7.wandb │ │ │ ├── run-20240219_133103-6n3d9rsq │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-6n3d9rsq.wandb │ │ │ ├── run-20240219_133103-o5tmrvpr │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-o5tmrvpr.wandb │ │ │ ├── run-20240219_133103-x0k4wioe │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-x0k4wioe.wandb │ │ │ ├── run-20240219_133103-z5ms9drl │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-z5ms9drl.wandb │ │ │ ├── run-20240219_143720-a9uqleje │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-a9uqleje.wandb │ │ │ ├── run-20240219_143812-xzddpz3t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-xzddpz3t.wandb │ │ │ ├── run-20240219_144002-cca5jzup │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-cca5jzup.wandb │ │ │ ├── run-20240219_144311-ru549kzb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ru549kzb.wandb │ │ │ ├── run-20240219_153421-ws1rekg0 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ws1rekg0.wandb │ │ │ ├── run-20240219_153422-v4wx75v8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-v4wx75v8.wandb │ │ │ ├── run-20240219_154013-7eat5qmx │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-7eat5qmx.wandb │ │ │ ├── run-20240219_154013-tod5jobf │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-tod5jobf.wandb │ │ │ ├── run-20240219_154239-qhm50eq9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qhm50eq9.wandb │ │ │ ├── run-20240219_154239-wrcwf99z │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-wrcwf99z.wandb │ │ │ ├── run-20240219_154605-10bfmv3d │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-10bfmv3d.wandb │ │ │ ├── run-20240219_154605-c9lfvt03 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c9lfvt03.wandb │ │ │ ├── run-20240219_155354-19p687n6 │ │ │ └── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ └── requirements.txt │ │ │ ├── run-20240228_202358-h89k31hv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-h89k31hv.wandb │ │ │ ├── run-20240228_202624-0zu1ij09 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0zu1ij09.wandb │ │ │ ├── run-20240228_202736-s07jfif3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-s07jfif3.wandb │ │ │ ├── run-20240228_203309-4p2f6v9m │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4p2f6v9m.wandb │ │ │ ├── run-20240228_204032-yvpbhb9t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-yvpbhb9t.wandb │ │ │ ├── run-20240301_024934-3b1a6hjt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-3b1a6hjt.wandb │ │ │ ├── run-20240301_025035-r2a7zfh4 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-r2a7zfh4.wandb │ │ │ ├── run-20240301_025336-q9koa439 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-q9koa439.wandb │ │ │ ├── run-20240301_030600-knsa1okj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-knsa1okj.wandb │ │ │ ├── run-20240304_044133-4uul4mei │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4uul4mei.wandb │ │ │ ├── run-20240304_044302-dt7pvqcw │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dt7pvqcw.wandb │ │ │ ├── run-20240304_045211-ij94z46o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ij94z46o.wandb │ │ │ ├── run-20240304_195354-ifo17b6o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ifo17b6o.wandb │ │ │ ├── run-20240306_092907-l0q98fot │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l0q98fot.wandb │ │ │ ├── run-20240306_102342-qam062gh │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qam062gh.wandb │ │ │ ├── run-20240308_025432-jaxc7ikt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-jaxc7ikt.wandb │ │ │ ├── run-20240308_095845-v5hjq55y │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-v5hjq55y.wandb │ │ │ ├── run-20240308_114336-czd00p49 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-czd00p49.wandb │ │ │ ├── run-20240308_213100-akgmuisc │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-akgmuisc.wandb │ │ │ ├── run-20240308_215340-9wj2ttxo │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-9wj2ttxo.wandb │ │ │ ├── run-20240313_211739-qy2ronp7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-qy2ronp7.wandb │ │ │ ├── run-20240313_211845-b9vtej5v │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-b9vtej5v.wandb │ │ │ ├── run-20240527_163003-kmqw4l1s │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-kmqw4l1s.wandb │ │ │ ├── run-20240527_163402-200ay3c9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-200ay3c9.wandb │ │ │ ├── run-20240527_163640-o8t42m6d │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-o8t42m6d.wandb │ │ │ ├── run-20240527_170557-kjmk5xwp │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-kjmk5xwp.wandb │ │ │ ├── run-20240527_173419-rqzwnaq9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rqzwnaq9.wandb │ │ │ ├── run-20240527_215755-10pidsvn │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-10pidsvn.wandb │ │ │ ├── run-20240527_215755-bht52ow7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-bht52ow7.wandb │ │ │ ├── run-20240527_215755-c31syr01 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c31syr01.wandb │ │ │ ├── run-20240527_215755-rbulqnvi │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rbulqnvi.wandb │ │ │ ├── run-20240527_215755-rh9x7fyg │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rh9x7fyg.wandb │ │ │ ├── run-20240527_215755-rwzo8xoc │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rwzo8xoc.wandb │ │ │ ├── run-20240527_215755-s395lalk │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-s395lalk.wandb │ │ │ ├── run-20240527_215755-y5bzcqpj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-y5bzcqpj.wandb │ │ │ ├── run-20240527_220350-gidc0ub1 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-gidc0ub1.wandb │ │ │ ├── run-20240527_220350-i6knrmdj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-i6knrmdj.wandb │ │ │ ├── run-20240527_220350-ii933xnx │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ii933xnx.wandb │ │ │ ├── run-20240527_220350-ncojzcj7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ncojzcj7.wandb │ │ │ ├── run-20240527_220350-s7mcnkv7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-s7mcnkv7.wandb │ │ │ ├── run-20240527_220350-th8agnpo │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-th8agnpo.wandb │ │ │ ├── run-20240527_220350-uxdxc7qo │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-uxdxc7qo.wandb │ │ │ ├── run-20240527_220350-yfrpjx9m │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-yfrpjx9m.wandb │ │ │ ├── run-20240527_221052-21chpo6d │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-21chpo6d.wandb │ │ │ ├── run-20240527_221052-3v7idsul │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-3v7idsul.wandb │ │ │ ├── run-20240527_221052-6pq258vs │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-6pq258vs.wandb │ │ │ ├── run-20240527_221052-blorow3q │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-blorow3q.wandb │ │ │ ├── run-20240527_221052-edga4dby │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-edga4dby.wandb │ │ │ ├── run-20240527_221052-fjjmpmn0 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-fjjmpmn0.wandb │ │ │ ├── run-20240527_221052-qlym4fwf │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qlym4fwf.wandb │ │ │ ├── run-20240527_221053-qyybw63r │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qyybw63r.wandb │ │ │ ├── run-20240527_230830-e99ar812 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-e99ar812.wandb │ │ │ ├── run-20240527_230830-f4l50vl4 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-f4l50vl4.wandb │ │ │ ├── run-20240527_230830-qflket9r │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qflket9r.wandb │ │ │ ├── run-20240527_230830-zaxwn0m8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-zaxwn0m8.wandb │ │ │ ├── run-20240527_231108-84jgx7fj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-84jgx7fj.wandb │ │ │ ├── run-20240527_231108-b5vktmn2 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-b5vktmn2.wandb │ │ │ ├── run-20240527_231108-n2krnng8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-n2krnng8.wandb │ │ │ ├── run-20240527_231108-yh4fxhqv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-yh4fxhqv.wandb │ │ │ ├── run-20240527_232630-0zlaie49 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0zlaie49.wandb │ │ │ ├── run-20240527_232630-5g60pdcn │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-5g60pdcn.wandb │ │ │ ├── run-20240527_232630-acirgz2v │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-acirgz2v.wandb │ │ │ ├── run-20240527_232630-ck5cy05e │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-ck5cy05e.wandb │ │ │ ├── run-20240527_232630-g6pza2h1 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-g6pza2h1.wandb │ │ │ ├── run-20240527_232630-qnyesuol │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qnyesuol.wandb │ │ │ ├── run-20240527_232630-suco9a3q │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-suco9a3q.wandb │ │ │ ├── run-20240527_232630-wz2p1ga6 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-wz2p1ga6.wandb │ │ │ ├── run-20240527_232729-4qezmmri │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4qezmmri.wandb │ │ │ ├── run-20240527_232729-j5luons7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-j5luons7.wandb │ │ │ ├── run-20240527_232729-w8uoyh6c │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-w8uoyh6c.wandb │ │ │ ├── run-20240527_232730-7or3ohq0 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-7or3ohq0.wandb │ │ │ ├── run-20240527_232730-dl90rqy4 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dl90rqy4.wandb │ │ │ ├── run-20240527_232730-erkc84wp │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-erkc84wp.wandb │ │ │ ├── run-20240527_232730-rjde6q15 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rjde6q15.wandb │ │ │ ├── run-20240527_232730-xra7v3di │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-xra7v3di.wandb │ │ │ ├── run-20240527_232932-czdq81hz │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-czdq81hz.wandb │ │ │ ├── run-20240527_232932-fk2twg1w │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-fk2twg1w.wandb │ │ │ ├── run-20240527_232932-hcb5pq6o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-hcb5pq6o.wandb │ │ │ ├── run-20240527_232932-o6j08uf3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-o6j08uf3.wandb │ │ │ ├── run-20240527_232932-ojrypi2e │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ojrypi2e.wandb │ │ │ ├── run-20240527_232933-1p4elik2 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-1p4elik2.wandb │ │ │ ├── run-20240527_232933-ci1276rq │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ci1276rq.wandb │ │ │ ├── run-20240527_232933-n7qv960a │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-n7qv960a.wandb │ │ │ ├── run-20240528_110356-0jqycqy3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0jqycqy3.wandb │ │ │ ├── run-20240528_110356-0uhr79da │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0uhr79da.wandb │ │ │ ├── run-20240528_110356-5det0uz9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-5det0uz9.wandb │ │ │ ├── run-20240528_110356-96cs5tsv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-96cs5tsv.wandb │ │ │ ├── run-20240528_110356-dhshtwvv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dhshtwvv.wandb │ │ │ ├── run-20240528_110356-dyr0m9nd │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-dyr0m9nd.wandb │ │ │ ├── run-20240528_110356-ltmhwqz9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ltmhwqz9.wandb │ │ │ ├── run-20240528_110356-t3igls55 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-t3igls55.wandb │ │ │ ├── run-20240528_113619-j7tlb1ds │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-j7tlb1ds.wandb │ │ │ ├── run-20240528_113913-o3spg936 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-o3spg936.wandb │ │ │ ├── run-20240528_114434-1jxo4uai │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-1jxo4uai.wandb │ │ │ ├── run-20240528_115415-q7d0hr81 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-q7d0hr81.wandb │ │ │ ├── run-20240528_115846-o0et0869 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-o0et0869.wandb │ │ │ ├── run-20240528_120529-s4klqtud │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-s4klqtud.wandb │ │ │ ├── run-20240528_121222-lupcjlwg │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-lupcjlwg.wandb │ │ │ ├── run-20240528_121622-z6p1r43w │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-z6p1r43w.wandb │ │ │ ├── run-20240528_122122-1iqi9x5j │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-1iqi9x5j.wandb │ │ │ ├── run-20240528_122904-5b3vk2rj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-5b3vk2rj.wandb │ │ │ ├── run-20240528_125919-knamj4vn │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-knamj4vn.wandb │ │ │ ├── run-20240528_130239-nw2m68nl │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-nw2m68nl.wandb │ │ │ ├── run-20240528_130545-8wc4sbar │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-8wc4sbar.wandb │ │ │ ├── run-20240528_131101-hze1djym │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-hze1djym.wandb │ │ │ ├── run-20240528_131551-itq0qhte │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-itq0qhte.wandb │ │ │ ├── run-20240528_132055-zkh378nb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-zkh378nb.wandb │ │ │ ├── run-20240528_132510-aho0p9fd │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-aho0p9fd.wandb │ │ │ ├── run-20240528_133125-7fop2iqd │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-7fop2iqd.wandb │ │ │ ├── run-20240528_135235-8px48xi3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-8px48xi3.wandb │ │ │ ├── run-20240528_140532-ivh0wr74 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ivh0wr74.wandb │ │ │ └── run-20240528_141252-r60u2s84 │ │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ │ └── run-r60u2s84.wandb │ ├── shuffled-log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── filter.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── shuffling outputs │ │ │ │ │ ├── 20-55-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 20-55-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 20-55-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 20-56-00 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ ├── 11-20-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-41 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-27 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-26-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-31-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-32-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-35-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-38-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-40-38 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-43-59 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-45-00 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-45-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-46-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-49-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-22 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-26 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-16-33 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-18-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-18-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-23-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-32-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-32-48 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-33-08 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-21 │ │ │ │ └── 15-21-26 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-test-log-probs-shuffle-filter.sh │ │ │ │ └── m0-test-log-probs-shuffle.sh │ │ │ ├── m1 │ │ │ │ ├── m1-test-log-probs-shuffle-filter.sh │ │ │ │ └── m1-test-log-probs-shuffle.sh │ │ │ ├── m2 │ │ │ │ ├── m2-test-log-probs-shuffle-filter.sh │ │ │ │ └── m2-test-log-probs-shuffle.sh │ │ │ ├── m3 │ │ │ │ ├── m3-test-log-probs-shuffle-filter.sh │ │ │ │ └── m3-test-log-probs-shuffle.sh │ │ │ └── shuffle-all.sh │ │ ├── shuffle.py │ │ └── utils.py │ └── simulate-conversations │ │ ├── conf │ │ ├── config.yaml │ │ ├── human_model │ │ │ └── m0.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ │ └── turn │ │ │ ├── t1.yaml │ │ │ ├── t2.yaml │ │ │ └── t3.yaml │ │ ├── generate-human.py │ │ ├── generate-qa.py │ │ ├── outputs │ │ ├── 2024-03-04 │ │ │ ├── m0 split A simulations (day 1) │ │ │ │ ├── 20-45-16 final m0-qa-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-51-55 final m0-human-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m0 split A simulations (day 2) │ │ │ │ ├── 01-35-46 final m0-A-qa-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-40-52 final m0-A-human-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-00-24 final m0-A-qa-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-47-33 final m0-A-human-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-04-25 final m0-A-pool │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m0 test split simulations │ │ │ │ ├── 12-01-06 final-m0-test-qa-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-03-40 final-m0-test-human-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-20-56 final-m0-test-qa-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-25-32 final-m0-test-human-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-41-09 final-m0-test-qa-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-05-34 final-m0-test-human-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-46-20 final m0-test-pool │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m1 split B simulations (day 1) │ │ │ │ └── 23-25-52 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-05 │ │ │ └── m1 split B simulation (day 2) │ │ │ │ ├── 00-01-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-52-44 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-58-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 08-27-41 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-06 │ │ │ ├── m1 split B simulation (day 3) │ │ │ │ ├── 01-03-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 03-18-43 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m2 split A simulations (day 1) │ │ │ │ ├── 19-24-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-34-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-07 │ │ │ └── m2 split A simulation (day 2) │ │ │ │ ├── 05-38-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 08-38-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-00-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-00-34 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-08 │ │ │ └── m2 split A simulation (day 3) │ │ │ │ └── 00-32-30 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-14 │ │ │ ├── m1 test split simulations │ │ │ │ ├── 18-44-54 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-47-27 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-05-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-09-10 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-19-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-22-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-29-30 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m2 test split simulations │ │ │ │ ├── 19-29-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-32-37 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-43-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-47-27 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-58-10 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-01-19 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-09-12 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m3 test split simulations │ │ │ │ ├── 20-09-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-12-29 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-23-44 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-27-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-38-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-41-47 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-49-47 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-05-25 │ │ │ ├── 00-49-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-50-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-51-42 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-54-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-57-42 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-25-31 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-28-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-34-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-36-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-51-29 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-55-08 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 02-05-41 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 02-22-41 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 02-26-31 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 02-35-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 02-46-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 02-54-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 03-00-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 03-13-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 04-02-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 07-08-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-25-42 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-07-12 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 13-35-07 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-05-26 │ │ │ └── 00-23-06 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── pool-conversations.py │ │ ├── scripts │ │ ├── m0 │ │ │ ├── m0-A-pool.sh │ │ │ ├── m0-A.sh │ │ │ ├── m0-test-pool.sh │ │ │ └── m0-test.sh │ │ ├── m1 │ │ │ ├── m1-B-pool.sh │ │ │ ├── m1-B.sh │ │ │ ├── m1-test-pool.sh │ │ │ └── m1-test.sh │ │ ├── m2 │ │ │ ├── m2-A-pool.sh │ │ │ ├── m2-A.sh │ │ │ ├── m2-test-pool.sh │ │ │ └── m2-test.sh │ │ └── m3 │ │ │ ├── m3-test-pool.sh │ │ │ └── m3-test.sh │ │ ├── shuffle.py │ │ └── utils.py ├── star-gate-mistral-ablation │ ├── build-gold-responses │ │ ├── check-content-violations.py │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ ├── gpt4-content-violation.yaml │ │ │ │ ├── gpt4.yaml │ │ │ │ ├── mistral-7b-instruct-v02-vllm.yaml │ │ │ │ └── mixtral-8x7b-instruct-vllm.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── generate.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ ├── 11-35-34 final-generate-A │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-37-53 final-generate-B │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-42-39 final-generate-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── check-content-violations.sh │ │ │ ├── generate-all-gold-responses-test.sh │ │ │ └── generate-all-gold-responses.sh │ │ └── utils.py │ ├── general-vs-specific │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── plot-categories.py │ │ ├── star-2-mistral-ablation-qa-experimental-general_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-general_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-general_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-general_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-specific_topk_sems.json │ │ └── utils.py │ ├── gpt-4-general-vs-specific │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ └── 2024-03-13 │ │ │ │ └── specificity rating │ │ │ │ └── 16-20-48 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-categories.py │ │ ├── plot-correlations.py │ │ ├── rate-specificity.py │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-general_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-GPT4-RATED-specific_topk_sems.json │ │ └── utils.py │ ├── instruct-questions │ │ ├── conf │ │ │ └── config.yaml │ │ ├── extract-questions.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ └── 09-49-17 final-extract-A-B-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── scripts │ │ │ └── extract-all.sh │ ├── log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ ├── test-mixtral.yaml │ │ │ │ └── test.yaml │ │ ├── filter-pos-control.py │ │ ├── filter.py │ │ ├── likelihood-neg-control.py │ │ ├── likelihood-pos-control-1.py │ │ ├── likelihood-pos-control-2.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-04 │ │ │ │ ├── m0 test split log-prob outputs │ │ │ │ │ ├── 14-46-11 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-49-16 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-59-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-05-37 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-53 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-14-56 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m0 train split A log-probs + filtering outputs │ │ │ │ │ ├── 13-39-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-27-18 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-06 │ │ │ │ └── m1 train split B log-probs + filtering outputs │ │ │ │ │ ├── 03-19-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 05-08-58 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-13 │ │ │ │ └── m2 train split A logprobs + outputs │ │ │ │ │ ├── 18-52-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 20-44-28 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ ├── m1 test split log-probs + filtering │ │ │ │ │ ├── 22-11-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-12-24 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-18-52 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-21-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-15-09 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-15-14 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-15-19 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 test split log-probs + filtering │ │ │ │ │ ├── 22-26-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-28-03 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-34-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-37-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-15 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-16-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 test split log-probs + filtering │ │ │ │ │ ├── 22-43-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-44-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-51-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 22-54-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-16-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-16-17 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-16 │ │ │ │ ├── m0 mistral ablation log-probs + filtering copy │ │ │ │ ├── 02-16-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-17-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-29-22 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-35-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-12-26 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m1 mistral ablation log-probs + filtering │ │ │ │ ├── 03-41-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-42-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-54-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-59-57 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-41 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-12-47 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 mistral ablation log-probs + filtering │ │ │ │ ├── 02-44-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-45-58 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-57-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-03-10 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-12-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-13-01 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-13-07 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 mistral ablation log-probs + filtering │ │ │ │ ├── 03-12-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-13-58 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-25-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-31-37 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-13-16 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-13-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-13-27 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-A-filter.sh │ │ │ │ ├── m0-A-log-probs.sh │ │ │ │ ├── m0-test-filter.sh │ │ │ │ └── m0-test-log-probs.sh │ │ │ ├── m1 │ │ │ │ ├── m1-B-filter.sh │ │ │ │ ├── m1-B-log-probs.sh │ │ │ │ ├── m1-test-filter.sh │ │ │ │ └── m1-test-log-probs.sh │ │ │ ├── m2 │ │ │ │ ├── m2-A-filter.sh │ │ │ │ ├── m2-A-log-probs.sh │ │ │ │ ├── m2-test-filter.sh │ │ │ │ └── m2-test-log-probs.sh │ │ │ └── m3 │ │ │ │ ├── .m3-test-log-probs.sh.swp │ │ │ │ ├── m3-test-filter.sh │ │ │ │ └── m3-test-log-probs.sh │ │ └── utils.py │ ├── m0-response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-21 │ │ │ │ ├── 13-12-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-13-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-15-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-21-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-29-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-30-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-32-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-34-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-36-28 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-38-12 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-41-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-45-35 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-m0-winrates-randomized.json │ │ └── utils.py │ ├── persona-generation │ │ ├── conf │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ ├── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ │ ├── test-split-config.yaml │ │ │ └── train-split-config.yaml │ │ ├── generate-personas-test.py │ │ ├── generate-personas.py │ │ ├── outputs │ │ │ └── .hydra final-persona-generation │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ └── generate-personas.sh │ │ └── utils.py │ ├── plot │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ ├── 2024-02-29 │ │ │ │ ├── 19-16-36 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-19-01 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 19-19-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-20-33 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-01 │ │ │ │ ├── 04-49-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 05-07-33 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-03 │ │ │ │ ├── 21-00-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-01-51 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-04 │ │ │ │ ├── 15-13-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-15-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-14-08 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-18-09 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-06 │ │ │ │ └── 18-50-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-09 │ │ │ │ ├── 08-17-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 08-23-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 08-27-36 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ └── 23-18-01 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-15 │ │ │ │ ├── 15-56-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-59-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-03-56 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 16-04-25 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-16 │ │ │ │ └── 04-14-24 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-17 │ │ │ │ └── 09-28-37 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-20 │ │ │ │ └── 12-36-57 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-log-probs-shuffled.py │ │ ├── plot-log-probs.py │ │ ├── scripts │ │ │ └── plot-test.sh │ │ ├── star-2-mistral-ablation-neg-control_means.json │ │ ├── star-2-mistral-ablation-neg-control_sems.json │ │ ├── star-2-mistral-ablation-pos_control_1_means.json │ │ ├── star-2-mistral-ablation-pos_control_1_sems.json │ │ ├── star-2-mistral-ablation-pos_control_1_topk_means.json │ │ ├── star-2-mistral-ablation-pos_control_1_topk_sems.json │ │ ├── star-2-mistral-ablation-pos_control_2_means.json │ │ ├── star-2-mistral-ablation-pos_control_2_sems.json │ │ ├── star-2-mistral-ablation-pos_control_2_topk_means.json │ │ ├── star-2-mistral-ablation-pos_control_2_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental-shuffled_topk_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental_means.json │ │ ├── star-2-mistral-ablation-qa-experimental_sems.json │ │ ├── star-2-mistral-ablation-qa-experimental_topk_means.json │ │ ├── star-2-mistral-ablation-qa-experimental_topk_sems.json │ │ └── utils.py │ ├── response-win-rates-counterbalanced │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-20 │ │ │ │ └── final ratings │ │ │ │ ├── 00-49-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-57-36 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-09-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-56-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-winrates-counterbalanced.json │ │ └── utils.py │ ├── response-win-rates-randomized-zero-shot │ │ ├── .star-2-mistral-ablation-overall-winrates-randomized_zero_shot.json.swp │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings │ │ │ │ │ ├── 23-00-11 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-02-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-04-17 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ └── 01-08-44 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-23 │ │ │ │ ├── 13-56-26 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-57-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-59-22 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-02-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-06-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-08-59 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-11-33 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-17-12 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-18-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-22-18 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-24-23 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 16-26-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 16-30-13 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-24 │ │ │ │ ├── 11-01-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 11-02-55 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── randomized-winrates-temp-0.0_zero_shot.png │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-winrates-randomized.json │ │ ├── star-2-mistral-ablation-overall-winrates-randomized_zero_shot.json │ │ └── utils.py │ ├── response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings │ │ │ │ │ ├── 23-00-11 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 23-02-09 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-04-17 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-20 │ │ │ │ └── 01-08-44 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-winrates-randomized.json │ │ └── utils.py │ ├── response-win-rates │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-15 │ │ │ │ ├── 09-15-54 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-16-24 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-19-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-38-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-56-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 09-59-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-15-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-36-26 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-41-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-10-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-16-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-17-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-19-43 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-26-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-32-48 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-34-34 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-36-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-47-07 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-50-28 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-55-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── temp 0 responses + ratings │ │ │ │ │ ├── 00-48-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-50-30 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-52-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-53-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 00-55-29 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-10-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-15-02 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-31-08 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 01-47-23 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-16 │ │ │ │ ├── 12-57-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-58-00 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-58-35 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-00-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-01-14 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── baseline win rate responses + ratings │ │ │ │ │ └── 11-01-10 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m0 win rate responses + ratings │ │ │ │ │ └── 10-37-01 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m1 win rate responses + ratings │ │ │ │ │ ├── 10-39-33 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 11-07-33 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 win rate responses + ratings │ │ │ │ │ ├── 10-41-57 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 11-37-32 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 win rate responses + ratings │ │ │ │ │ ├── 10-44-25 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 12-06-23 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-17 │ │ │ │ └── 09-36-29 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-2-mistral-ablation-overall-winrates.json │ │ └── utils.py │ ├── sft │ │ ├── preprocess │ │ │ ├── conf │ │ │ │ ├── config.yaml │ │ │ │ ├── qa_model │ │ │ │ │ ├── m0.yaml │ │ │ │ │ ├── m1.yaml │ │ │ │ │ └── m2.yaml │ │ │ │ └── split │ │ │ │ │ ├── A.yaml │ │ │ │ │ └── B.yaml │ │ │ ├── generate-model-responses.py │ │ │ ├── outputs │ │ │ │ ├── 2024-03-04 │ │ │ │ │ └── m0 split A train preprocessing │ │ │ │ │ │ ├── 17-17-27 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ │ └── 17-43-41 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-06 │ │ │ │ │ └── m1 split B train preprocessing │ │ │ │ │ │ ├── 08-42-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ │ └── 09-13-48 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 2024-03-13 │ │ │ │ │ ├── 20-46-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 21-13-35 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── scripts │ │ │ │ ├── m0 │ │ │ │ │ ├── m0-A-model-responses.sh │ │ │ │ │ └── m0-A-split.sh │ │ │ │ ├── m1 │ │ │ │ │ ├── m1-B-model-responses.sh │ │ │ │ │ └── m1-B-split.sh │ │ │ │ └── m2 │ │ │ │ │ ├── m2-A-model-responses.sh │ │ │ │ │ └── m2-A-split.sh │ │ │ ├── split-conversations.py │ │ │ └── utils.py │ │ └── train │ │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ └── m0.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ └── m2.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── B.yaml │ │ │ ├── outputs │ │ │ ├── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m0 A training run │ │ │ │ ├── sequence-lengths │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── training run │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m1 B training run │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── plot-sequence-lengths.py │ │ │ ├── scripts │ │ │ ├── m0-A-sequence-lengths.sh │ │ │ ├── m1-B-sequence-lengths.sh │ │ │ ├── m2-A-sequence-lengths.sh │ │ │ ├── train-sft-m0-A.sh │ │ │ ├── train-sft-m1-B.sh │ │ │ └── train-sft-m2-A.sh │ │ │ ├── seq-length-plots │ │ │ ├── star-2-bsft m0-A-sequence-lengths.png │ │ │ └── star-2-bsft m1-B-sequence-lengths.png │ │ │ ├── train_sft.py │ │ │ ├── utils.py │ │ │ └── wandb │ │ │ ├── latest-run │ │ │ ├── run-20240219_133025-c6secmtu │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c6secmtu.wandb │ │ │ ├── run-20240219_133025-iqn72low │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-iqn72low.wandb │ │ │ ├── run-20240219_133025-l4mhv69x │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l4mhv69x.wandb │ │ │ ├── run-20240219_133025-rcfwuba7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rcfwuba7.wandb │ │ │ ├── run-20240219_133103-6n3d9rsq │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-6n3d9rsq.wandb │ │ │ ├── run-20240219_133103-o5tmrvpr │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-o5tmrvpr.wandb │ │ │ ├── run-20240219_133103-x0k4wioe │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-x0k4wioe.wandb │ │ │ ├── run-20240219_133103-z5ms9drl │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-z5ms9drl.wandb │ │ │ ├── run-20240219_143720-a9uqleje │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-a9uqleje.wandb │ │ │ ├── run-20240219_143812-xzddpz3t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-xzddpz3t.wandb │ │ │ ├── run-20240219_144002-cca5jzup │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-cca5jzup.wandb │ │ │ ├── run-20240219_144311-ru549kzb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ru549kzb.wandb │ │ │ ├── run-20240219_153421-ws1rekg0 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ws1rekg0.wandb │ │ │ ├── run-20240219_153422-v4wx75v8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-v4wx75v8.wandb │ │ │ ├── run-20240219_154013-7eat5qmx │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-7eat5qmx.wandb │ │ │ ├── run-20240219_154013-tod5jobf │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-tod5jobf.wandb │ │ │ ├── run-20240219_154239-qhm50eq9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qhm50eq9.wandb │ │ │ ├── run-20240219_154239-wrcwf99z │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-wrcwf99z.wandb │ │ │ ├── run-20240219_154605-10bfmv3d │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-10bfmv3d.wandb │ │ │ ├── run-20240219_154605-c9lfvt03 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c9lfvt03.wandb │ │ │ ├── run-20240219_155354-19p687n6 │ │ │ └── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ └── requirements.txt │ │ │ ├── run-20240228_202358-h89k31hv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-h89k31hv.wandb │ │ │ ├── run-20240228_202624-0zu1ij09 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0zu1ij09.wandb │ │ │ ├── run-20240228_202736-s07jfif3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-s07jfif3.wandb │ │ │ ├── run-20240228_203309-4p2f6v9m │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4p2f6v9m.wandb │ │ │ ├── run-20240228_204032-yvpbhb9t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-yvpbhb9t.wandb │ │ │ ├── run-20240301_024934-3b1a6hjt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-3b1a6hjt.wandb │ │ │ ├── run-20240301_025035-r2a7zfh4 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-r2a7zfh4.wandb │ │ │ ├── run-20240301_025336-q9koa439 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-q9koa439.wandb │ │ │ ├── run-20240301_030600-knsa1okj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-knsa1okj.wandb │ │ │ ├── run-20240304_044133-4uul4mei │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4uul4mei.wandb │ │ │ ├── run-20240304_044302-dt7pvqcw │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dt7pvqcw.wandb │ │ │ ├── run-20240304_045211-ij94z46o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ij94z46o.wandb │ │ │ ├── run-20240304_195354-ifo17b6o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ifo17b6o.wandb │ │ │ ├── run-20240306_092907-l0q98fot │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l0q98fot.wandb │ │ │ ├── run-20240306_102342-qam062gh │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qam062gh.wandb │ │ │ ├── run-20240308_025432-jaxc7ikt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-jaxc7ikt.wandb │ │ │ ├── run-20240308_095845-v5hjq55y │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-v5hjq55y.wandb │ │ │ ├── run-20240308_114336-czd00p49 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-czd00p49.wandb │ │ │ ├── run-20240308_213100-akgmuisc │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-akgmuisc.wandb │ │ │ ├── run-20240308_215340-9wj2ttxo │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-9wj2ttxo.wandb │ │ │ ├── run-20240313_211739-qy2ronp7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-qy2ronp7.wandb │ │ │ └── run-20240313_211845-b9vtej5v │ │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ │ └── run-b9vtej5v.wandb │ ├── shuffled-log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── filter.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ └── 2024-03-20 │ │ │ │ ├── 12-23-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-04 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-08 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-12 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-23-42 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-25-23 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-29-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-30-46 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-31-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-31-45 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-34-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 12-36-24 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-test-log-probs-shuffle-filter.sh │ │ │ │ └── m0-test-log-probs-shuffle.sh │ │ │ ├── m1 │ │ │ │ ├── m1-test-log-probs-shuffle-filter.sh │ │ │ │ └── m1-test-log-probs-shuffle.sh │ │ │ ├── m2 │ │ │ │ ├── m2-test-log-probs-shuffle-filter.sh │ │ │ │ └── m2-test-log-probs-shuffle.sh │ │ │ ├── m3 │ │ │ │ ├── m3-test-log-probs-shuffle-filter.sh │ │ │ │ └── m3-test-log-probs-shuffle.sh │ │ │ └── shuffle-all.sh │ │ ├── shuffle.py │ │ └── utils.py │ └── simulate-conversations │ │ ├── conf │ │ ├── config.yaml │ │ ├── human_model │ │ │ └── m0.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ │ └── turn │ │ │ ├── t1.yaml │ │ │ ├── t2.yaml │ │ │ └── t3.yaml │ │ ├── generate-human.py │ │ ├── generate-qa.py │ │ ├── outputs │ │ ├── 2024-03-04 │ │ │ ├── m0 split A simulations (day 1) │ │ │ │ ├── 20-45-16 final m0-qa-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-51-55 final m0-human-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m0 split A simulations (day 2) │ │ │ │ ├── 01-35-46 final m0-A-qa-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-40-52 final m0-A-human-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-00-24 final m0-A-qa-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-47-33 final m0-A-human-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-04-25 final m0-A-pool │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m0 test split simulations │ │ │ │ ├── 12-01-06 final-m0-test-qa-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-03-40 final-m0-test-human-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-20-56 final-m0-test-qa-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-25-32 final-m0-test-human-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-41-09 final-m0-test-qa-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-05-34 final-m0-test-human-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-46-20 final m0-test-pool │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m1 split B simulations (day 1) │ │ │ │ └── 23-25-52 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-05 │ │ │ └── m1 split B simulation (day 2) │ │ │ │ ├── 00-01-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-52-44 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 04-58-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 08-27-41 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-06 │ │ │ ├── m1 split B simulation (day 3) │ │ │ │ ├── 01-03-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 03-18-43 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m2 split A simulations (day 1) │ │ │ │ ├── 19-24-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-34-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-07 │ │ │ └── m2 split A simulation (day 2) │ │ │ │ ├── 05-38-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 08-38-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 17-00-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-00-34 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-08 │ │ │ └── m2 split A simulation (day 3) │ │ │ │ └── 00-32-30 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-15 │ │ │ ├── m0 mistral ablation test split simulations (day 1) │ │ │ │ ├── 23-00-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-03-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-13-31 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-22-05 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-30-54 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-37-27 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m1 mistral ablation test split simulations (day 1) │ │ │ │ ├── 23-44-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 23-48-10 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-58-00 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-16 │ │ │ ├── m0 mistral ablation test split simulations (day 2) │ │ │ └── 02-07-19 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m1 mistral ablation test split simulations (day 2) │ │ │ ├── 00-06-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-15-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-21-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 02-07-39 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m2 mistral ablation test split simulations │ │ │ ├── 00-27-54 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-32-09 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-42-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 00-51-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-00-28 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 01-06-50 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 02-07-59 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── m3 mistral ablation test split simulations │ │ │ ├── 01-13-22 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 01-18-12 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 01-28-33 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 01-38-09 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 01-48-27 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 01-54-43 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 02-08-19 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── pool-conversations.py │ │ ├── scripts │ │ ├── m0 │ │ │ ├── m0-A-pool.sh │ │ │ ├── m0-A.sh │ │ │ ├── m0-test-pool.sh │ │ │ └── m0-test.sh │ │ ├── m1 │ │ │ ├── m1-B-pool.sh │ │ │ ├── m1-B.sh │ │ │ ├── m1-test-pool.sh │ │ │ └── m1-test.sh │ │ ├── m2 │ │ │ ├── m2-A-pool.sh │ │ │ ├── m2-A.sh │ │ │ ├── m2-test-pool.sh │ │ │ └── m2-test.sh │ │ └── m3 │ │ │ ├── m3-test-pool.sh │ │ │ └── m3-test.sh │ │ ├── shuffle.py │ │ └── utils.py ├── star-gate-no-regularization │ ├── build-gold-responses │ │ ├── check-content-violations.py │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ ├── gpt4-content-violation.yaml │ │ │ │ ├── gpt4.yaml │ │ │ │ ├── mistral-7b-instruct-v02-vllm.yaml │ │ │ │ └── mixtral-8x7b-instruct-vllm.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── generate.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ ├── 11-35-34 final-generate-A │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-37-53 final-generate-B │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-42-39 final-generate-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── check-content-violations.sh │ │ │ ├── generate-all-gold-responses-test.sh │ │ │ └── generate-all-gold-responses.sh │ │ └── utils.py │ ├── general-vs-specific │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── plot-categories.py │ │ ├── star-3-qsft-qa-experimental-general_means.json │ │ ├── star-3-qsft-qa-experimental-general_sems.json │ │ ├── star-3-qsft-qa-experimental-general_topk_means.json │ │ ├── star-3-qsft-qa-experimental-general_topk_sems.json │ │ ├── star-3-qsft-qa-experimental-specific_means.json │ │ ├── star-3-qsft-qa-experimental-specific_sems.json │ │ ├── star-3-qsft-qa-experimental-specific_topk_means.json │ │ ├── star-3-qsft-qa-experimental-specific_topk_sems.json │ │ └── utils.py │ ├── gpt-4-general-vs-specific │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ └── 2024-03-13 │ │ │ │ └── specificity rating │ │ │ │ └── 16-20-48 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-categories.py │ │ ├── plot-correlations.py │ │ ├── rate-specificity.py │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-general_means.json │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-general_sems.json │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-general_topk_means.json │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-general_topk_sems.json │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-specific_means.json │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-specific_sems.json │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-specific_topk_means.json │ │ ├── star-3-qsft-qa-experimental-GPT4-RATED-specific_topk_sems.json │ │ └── utils.py │ ├── instruct-questions │ │ ├── conf │ │ │ └── config.yaml │ │ ├── extract-questions.py │ │ ├── outputs │ │ │ └── 2024-02-26 │ │ │ │ └── 09-49-17 final-extract-A-B-test │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── scripts │ │ │ └── extract-all.sh │ ├── log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ ├── test-mixtral.yaml │ │ │ │ └── test.yaml │ │ ├── filter-pos-control.py │ │ ├── filter.py │ │ ├── likelihood-neg-control.py │ │ ├── likelihood-pos-control-1.py │ │ ├── likelihood-pos-control-2.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-04 │ │ │ │ ├── m0 test split log-prob outputs │ │ │ │ │ ├── 14-46-11 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-49-16 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 14-59-20 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-05-37 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 15-14-53 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-14-56 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m0 train split A log-probs + filtering outputs │ │ │ │ │ ├── 13-39-32 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 15-27-18 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-14 │ │ │ │ └── m1 train split B log-probs + filtering outputs │ │ │ │ │ └── 23-27-06 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-15 │ │ │ │ └── m1 train split B log-probs + filtering outputs (day 2) │ │ │ │ │ └── 11-48-12 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-16 │ │ │ │ ├── m1 test set log probs + filtering │ │ │ │ ├── 12-21-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-22-39 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-29-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-31-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-17-24 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 test set log-probs + filtering │ │ │ │ ├── 12-36-51 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-38-10 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-45-06 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-47-44 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-26-43 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-26-46 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-26-50 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 train split A log-probs + filtering outputs │ │ │ │ ├── 03-06-18 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 04-56-04 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 test set log-probs + filtering │ │ │ │ ├── 12-53-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-54-41 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-02-57 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-05-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-27-03 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-27-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-27-10 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-A-filter.sh │ │ │ │ ├── m0-A-log-probs.sh │ │ │ │ ├── m0-test-filter.sh │ │ │ │ └── m0-test-log-probs.sh │ │ │ ├── m1 │ │ │ │ ├── m1-B-filter.sh │ │ │ │ ├── m1-B-log-probs.sh │ │ │ │ ├── m1-test-filter.sh │ │ │ │ └── m1-test-log-probs.sh │ │ │ ├── m2 │ │ │ │ ├── m2-A-filter.sh │ │ │ │ ├── m2-A-log-probs.sh │ │ │ │ ├── m2-test-filter.sh │ │ │ │ └── m2-test-log-probs.sh │ │ │ └── m3 │ │ │ │ ├── m3-test-filter.sh │ │ │ │ └── m3-test-log-probs.sh │ │ └── utils.py │ ├── m0-response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-21 │ │ │ │ ├── 13-12-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-13-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-15-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-17-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-21-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-24-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-28-57 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-29-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-29-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-41-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-43-26 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-45-11 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-46-56 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-49-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-50-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-54-09 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 15-00-20 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-3-qsft-overall-m0-winrates-randomized.json │ │ └── utils.py │ ├── persona-generation │ │ ├── conf │ │ │ ├── model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ ├── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ │ ├── test-split-config.yaml │ │ │ └── train-split-config.yaml │ │ ├── generate-personas-test.py │ │ ├── generate-personas.py │ │ ├── outputs │ │ │ └── .hydra final-persona-generation │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ └── generate-personas.sh │ │ └── utils.py │ ├── plot │ │ ├── conf │ │ │ ├── config.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── test.yaml │ │ ├── outputs │ │ │ ├── 2024-03-12 │ │ │ │ └── 20-40-44 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-15 │ │ │ │ └── 16-34-40 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-16 │ │ │ │ └── 13-17-31 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-17 │ │ │ │ └── 09-31-23 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-20 │ │ │ │ └── 13-15-53 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-log-probs-shuffled.py │ │ ├── plot-log-probs.py │ │ ├── scripts │ │ │ └── plot-test.sh │ │ ├── star-3-qsft-neg-control_means.json │ │ ├── star-3-qsft-neg-control_sems.json │ │ ├── star-3-qsft-pos_control_1_means.json │ │ ├── star-3-qsft-pos_control_1_sems.json │ │ ├── star-3-qsft-pos_control_1_topk_means.json │ │ ├── star-3-qsft-pos_control_1_topk_sems.json │ │ ├── star-3-qsft-pos_control_2_means.json │ │ ├── star-3-qsft-pos_control_2_sems.json │ │ ├── star-3-qsft-pos_control_2_topk_means.json │ │ ├── star-3-qsft-pos_control_2_topk_sems.json │ │ ├── star-3-qsft-qa-experimental-shuffled_means.json │ │ ├── star-3-qsft-qa-experimental-shuffled_sems.json │ │ ├── star-3-qsft-qa-experimental-shuffled_topk_means.json │ │ ├── star-3-qsft-qa-experimental-shuffled_topk_sems.json │ │ ├── star-3-qsft-qa-experimental_means.json │ │ ├── star-3-qsft-qa-experimental_sems.json │ │ ├── star-3-qsft-qa-experimental_topk_means.json │ │ ├── star-3-qsft-qa-experimental_topk_sems.json │ │ └── utils.py │ ├── response-win-rates-counterbalanced │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ └── 2024-03-20 │ │ │ │ └── final ratings │ │ │ │ ├── 01-03-06 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-06-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-23-03 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 10-00-31 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-3-qsft-overall-winrates-counterbalanced.json │ │ └── utils.py │ ├── response-win-rates-randomized-zero-shot │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings (day 1) │ │ │ │ │ ├── 23-29-00 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-50-40 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-20 │ │ │ │ ├── 01-09-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── final ratings (day 2) │ │ │ │ │ └── 00-02-34 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-23 │ │ │ │ ├── 14-29-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-30-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-32-17 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-33-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-41-47 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-42-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-42-15 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-49-47 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-50-13 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 15-53-05 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-24 │ │ │ │ └── 10-37-32 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── randomized-winrates-temp-0.0_zero_shot.png │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-3-qsft-overall-winrates-randomized.json │ │ ├── star-3-qsft-overall-winrates-randomized_zero_shot.json │ │ └── utils.py │ ├── response-win-rates-randomized │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── final ratings (day 1) │ │ │ │ │ ├── 23-29-00 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 23-50-40 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-20 │ │ │ │ ├── 01-09-16 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── final ratings (day 2) │ │ │ │ └── 00-02-34 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-3-qsft-overall-winrates-randomized.json │ │ └── utils.py │ ├── response-win-rates │ │ ├── conf │ │ │ ├── answer_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── qa_model_2 │ │ │ │ ├── baseline.yaml │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ ├── rating_model │ │ │ │ ├── azure.yaml │ │ │ │ └── gpt4.yaml │ │ │ └── split │ │ │ │ └── test.yaml │ │ ├── get-ratings.py │ │ ├── get-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-16 │ │ │ │ ├── 16-24-04 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── baseline response + rating outputs │ │ │ │ │ └── 13-46-00 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m0 response + rating outputs │ │ │ │ │ └── 13-47-44 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m1 response + rating outputs │ │ │ │ │ ├── 13-49-26 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 13-57-49 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── m2 response + rating outputs │ │ │ │ │ ├── 13-50-51 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 14-00-32 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── m3 response + rating outputs │ │ │ │ │ ├── 13-52-21 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 14-06-38 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-17 │ │ │ │ └── 09-33-48 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── plot-wins.py │ │ ├── scripts │ │ │ ├── get-ratings.sh │ │ │ └── get-responses.sh │ │ ├── star-3-qsft-overall-winrates.json │ │ └── utils.py │ ├── sft │ │ ├── preprocess │ │ │ ├── conf │ │ │ │ ├── config.yaml │ │ │ │ ├── qa_model │ │ │ │ │ ├── m0.yaml │ │ │ │ │ ├── m1.yaml │ │ │ │ │ └── m2.yaml │ │ │ │ └── split │ │ │ │ │ ├── A.yaml │ │ │ │ │ └── B.yaml │ │ │ ├── outputs │ │ │ │ ├── 2024-03-13 │ │ │ │ │ ├── 01-51-18 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 01-52-43 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 01-53-18 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-14 │ │ │ │ │ └── 22-05-37 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 2024-03-15 │ │ │ │ │ └── 11-50-58 │ │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 2024-03-16 │ │ │ │ │ └── 04-56-25 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── scripts │ │ │ │ ├── m0 │ │ │ │ │ └── m0-A-split.sh │ │ │ │ ├── m1 │ │ │ │ │ └── m1-B-split.sh │ │ │ │ └── m2 │ │ │ │ │ └── m2-A-split.sh │ │ │ ├── split-conversations.py │ │ │ └── utils.py │ │ └── train │ │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ └── m0.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ └── m2.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── B.yaml │ │ │ ├── outputs │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── plot-sequence-lengths.py │ │ │ ├── scripts │ │ │ ├── m0-A-sequence-lengths.sh │ │ │ ├── m1-B-sequence-lengths.sh │ │ │ ├── m2-A-sequence-lengths.sh │ │ │ ├── train-sft-m0-A.sh │ │ │ ├── train-sft-m1-B.sh │ │ │ └── train-sft-m2-A.sh │ │ │ ├── seq-length-plots │ │ │ └── star-1-esft m0-A-sequence-lengths.png │ │ │ ├── train_sft.py │ │ │ ├── utils.py │ │ │ └── wandb │ │ │ ├── latest-run │ │ │ ├── run-20240219_133025-c6secmtu │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c6secmtu.wandb │ │ │ ├── run-20240219_133025-iqn72low │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-iqn72low.wandb │ │ │ ├── run-20240219_133025-l4mhv69x │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l4mhv69x.wandb │ │ │ ├── run-20240219_133025-rcfwuba7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-rcfwuba7.wandb │ │ │ ├── run-20240219_133103-6n3d9rsq │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-6n3d9rsq.wandb │ │ │ ├── run-20240219_133103-o5tmrvpr │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-o5tmrvpr.wandb │ │ │ ├── run-20240219_133103-x0k4wioe │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-x0k4wioe.wandb │ │ │ ├── run-20240219_133103-z5ms9drl │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-z5ms9drl.wandb │ │ │ ├── run-20240219_143720-a9uqleje │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-a9uqleje.wandb │ │ │ ├── run-20240219_143812-xzddpz3t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-xzddpz3t.wandb │ │ │ ├── run-20240219_144002-cca5jzup │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-cca5jzup.wandb │ │ │ ├── run-20240219_144311-ru549kzb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ru549kzb.wandb │ │ │ ├── run-20240219_153421-ws1rekg0 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ws1rekg0.wandb │ │ │ ├── run-20240219_153422-v4wx75v8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-v4wx75v8.wandb │ │ │ ├── run-20240219_154013-7eat5qmx │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-7eat5qmx.wandb │ │ │ ├── run-20240219_154013-tod5jobf │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-tod5jobf.wandb │ │ │ ├── run-20240219_154239-qhm50eq9 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qhm50eq9.wandb │ │ │ ├── run-20240219_154239-wrcwf99z │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-wrcwf99z.wandb │ │ │ ├── run-20240219_154605-10bfmv3d │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-10bfmv3d.wandb │ │ │ ├── run-20240219_154605-c9lfvt03 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c9lfvt03.wandb │ │ │ ├── run-20240219_155354-19p687n6 │ │ │ └── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ └── requirements.txt │ │ │ ├── run-20240228_202358-h89k31hv │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-h89k31hv.wandb │ │ │ ├── run-20240228_202624-0zu1ij09 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-0zu1ij09.wandb │ │ │ ├── run-20240228_202736-s07jfif3 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-s07jfif3.wandb │ │ │ ├── run-20240228_203309-4p2f6v9m │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4p2f6v9m.wandb │ │ │ ├── run-20240228_204032-yvpbhb9t │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-yvpbhb9t.wandb │ │ │ ├── run-20240301_024934-3b1a6hjt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-3b1a6hjt.wandb │ │ │ ├── run-20240301_025035-r2a7zfh4 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-r2a7zfh4.wandb │ │ │ ├── run-20240301_025336-q9koa439 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-q9koa439.wandb │ │ │ ├── run-20240301_030600-knsa1okj │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-knsa1okj.wandb │ │ │ ├── run-20240304_044133-4uul4mei │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4uul4mei.wandb │ │ │ ├── run-20240304_044302-dt7pvqcw │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dt7pvqcw.wandb │ │ │ ├── run-20240304_045211-ij94z46o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ij94z46o.wandb │ │ │ ├── run-20240304_195354-ifo17b6o │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ifo17b6o.wandb │ │ │ ├── run-20240306_092907-l0q98fot │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-l0q98fot.wandb │ │ │ ├── run-20240306_102342-qam062gh │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-qam062gh.wandb │ │ │ ├── run-20240308_025432-jaxc7ikt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-jaxc7ikt.wandb │ │ │ ├── run-20240308_095845-v5hjq55y │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-v5hjq55y.wandb │ │ │ ├── run-20240308_114336-czd00p49 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-czd00p49.wandb │ │ │ ├── run-20240308_213100-akgmuisc │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-akgmuisc.wandb │ │ │ ├── run-20240308_215340-9wj2ttxo │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-9wj2ttxo.wandb │ │ │ ├── run-20240309_021213-4ru5ixxb │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-4ru5ixxb.wandb │ │ │ ├── run-20240310_142257-b17fgp0i │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-b17fgp0i.wandb │ │ │ ├── run-20240310_204651-dn6bv8ad │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dn6bv8ad.wandb │ │ │ ├── run-20240310_212414-tnkrqk67 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-tnkrqk67.wandb │ │ │ ├── run-20240312_122827-dyz4xzkn │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-dyz4xzkn.wandb │ │ │ ├── run-20240313_015406-c5w1k1bs │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-c5w1k1bs.wandb │ │ │ ├── run-20240313_015529-pw9d9dt8 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-pw9d9dt8.wandb │ │ │ ├── run-20240313_020039-02ejusk1 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-02ejusk1.wandb │ │ │ ├── run-20240313_020320-pvz7t9rx │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-pvz7t9rx.wandb │ │ │ ├── run-20240313_125446-fa0b17od │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-fa0b17od.wandb │ │ │ ├── run-20240313_125547-j2g31fqh │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-j2g31fqh.wandb │ │ │ ├── run-20240313_125747-qfmh0dq7 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-qfmh0dq7.wandb │ │ │ ├── run-20240313_125850-4pmdo7dp │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ └── wandb-metadata.json │ │ │ └── run-4pmdo7dp.wandb │ │ │ ├── run-20240313_130031-bj4j1sxw │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-bj4j1sxw.wandb │ │ │ ├── run-20240314_220707-leewu9f2 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-leewu9f2.wandb │ │ │ ├── run-20240315_115217-jqngd4qr │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-jqngd4qr.wandb │ │ │ ├── run-20240315_132726-letap7a1 │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-letap7a1.wandb │ │ │ ├── run-20240315_133029-oh46ttpt │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-oh46ttpt.wandb │ │ │ ├── run-20240316_045644-ytvipqep │ │ │ ├── files │ │ │ │ ├── conda-environment.yaml │ │ │ │ ├── config.yaml │ │ │ │ ├── requirements.txt │ │ │ │ ├── wandb-metadata.json │ │ │ │ └── wandb-summary.json │ │ │ └── run-ytvipqep.wandb │ │ │ └── run-20240316_092219-3fbrt6zy │ │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ │ └── run-3fbrt6zy.wandb │ ├── shuffled-log-probs │ │ ├── conf │ │ │ ├── condition │ │ │ │ ├── neg-control.yaml │ │ │ │ ├── pos-control-1.yaml │ │ │ │ ├── pos-control-2.yaml │ │ │ │ └── qa-experimental.yaml │ │ │ ├── config.yaml │ │ │ ├── model │ │ │ │ ├── m0.yaml │ │ │ │ └── m1.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ ├── m2.yaml │ │ │ │ └── m3.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ ├── B.yaml │ │ │ │ └── test.yaml │ │ ├── filter.py │ │ ├── likelihood-qa-experimental.py │ │ ├── outputs │ │ │ ├── 2024-03-19 │ │ │ │ └── shuffling outputs │ │ │ │ │ ├── 20-55-45 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 20-55-50 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ ├── 20-55-55 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 20-56-00 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-20 │ │ │ │ ├── 11-20-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-36 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-22-41 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-09 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-23-27 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-26-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-30-58 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-31-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-32-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-35-35 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-38-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-40-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-43-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-45-00 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-45-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-46-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 11-49-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-46-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-46-57 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-47-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-47-04 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-58-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-59-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-03-23 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-04-23 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-14-48 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 13-15-08 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-test-log-probs-shuffle-filter.sh │ │ │ │ └── m0-test-log-probs-shuffle.sh │ │ │ ├── m1 │ │ │ │ ├── m1-test-log-probs-shuffle-filter.sh │ │ │ │ └── m1-test-log-probs-shuffle.sh │ │ │ ├── m2 │ │ │ │ ├── m2-test-log-probs-shuffle-filter.sh │ │ │ │ └── m2-test-log-probs-shuffle.sh │ │ │ ├── m3 │ │ │ │ ├── m3-test-log-probs-shuffle-filter.sh │ │ │ │ └── m3-test-log-probs-shuffle.sh │ │ │ └── shuffle-all.sh │ │ ├── shuffle.py │ │ └── utils.py │ └── simulate-conversations │ │ ├── conf │ │ ├── config.yaml │ │ ├── human_model │ │ │ └── m0.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ │ └── turn │ │ │ ├── t1.yaml │ │ │ ├── t2.yaml │ │ │ └── t3.yaml │ │ ├── generate-human.py │ │ ├── generate-qa.py │ │ ├── outputs │ │ ├── 2024-03-04 │ │ │ ├── m0 split A simulations (day 1) │ │ │ │ ├── 20-45-16 final m0-qa-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-51-55 final m0-human-t1 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── m0 split A simulations (day 2) │ │ │ │ ├── 01-35-46 final m0-A-qa-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 02-40-52 final m0-A-human-t2 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-00-24 final m0-A-qa-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 06-47-33 final m0-A-human-t3 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 09-04-25 final m0-A-pool │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m0 test split simulations │ │ │ │ ├── 12-01-06 final-m0-test-qa-t1 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-03-40 final-m0-test-human-t1 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-20-56 final-m0-test-qa-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-25-32 final-m0-test-human-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-41-09 final-m0-test-qa-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 13-05-34 final-m0-test-human-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 14-46-20 final m0-test-pool │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-13 │ │ │ └── m1 train split B simulations (day 1) │ │ │ │ ├── 14-39-58 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 15-46-50 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-14 │ │ │ └── m1 train split B simulations (day 2) │ │ │ │ ├── 00-25-57 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 03-16-56 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 10-51-37 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 12-47-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 19-12-52 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-15 │ │ │ └── m2 train split A simulations (day 1) │ │ │ │ ├── 14-14-33 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-55-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 18-52-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-08-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-43-57 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-16 │ │ │ ├── m1 test split simulations │ │ │ ├── 10-07-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-10-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-20-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-24-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-34-52 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-38-00 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 12-16-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m2 test split simulations │ │ │ ├── 10-45-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-48-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-59-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-03-46 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-14-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-17-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 12-17-18 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m2 train split A simulations (day 2) │ │ │ ├── 00-36-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 03-02-30 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── m3 test split simulations │ │ │ ├── 11-25-47 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 11-28-58 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 11-40-11 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 11-45-14 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 11-56-35 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 12-00-35 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 12-17-58 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── pool-conversations.py │ │ ├── scripts │ │ ├── m0 │ │ │ ├── m0-A-pool.sh │ │ │ ├── m0-A.sh │ │ │ ├── m0-test-pool.sh │ │ │ └── m0-test.sh │ │ ├── m1 │ │ │ ├── m1-B-pool.sh │ │ │ ├── m1-B.sh │ │ │ ├── m1-test-pool.sh │ │ │ └── m1-test.sh │ │ ├── m2 │ │ │ ├── m2-A-pool.sh │ │ │ ├── m2-A.sh │ │ │ ├── m2-test-pool.sh │ │ │ └── m2-test.sh │ │ └── m3 │ │ │ ├── m3-test-pool.sh │ │ │ └── m3-test.sh │ │ ├── shuffle.py │ │ └── utils.py └── star-gate │ ├── build-gold-responses │ ├── check-content-violations.py │ ├── conf │ │ ├── config.yaml │ │ ├── model │ │ │ ├── azure.yaml │ │ │ ├── gpt4-content-violation.yaml │ │ │ ├── gpt4.yaml │ │ │ ├── mistral-7b-instruct-v02-vllm.yaml │ │ │ └── mixtral-8x7b-instruct-vllm.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ ├── generate.py │ ├── outputs │ │ └── 2024-02-26 │ │ │ ├── 11-35-34 final-generate-A │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 13-37-53 final-generate-B │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 13-42-39 final-generate-test │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── scripts │ │ ├── check-content-violations.sh │ │ ├── generate-all-gold-responses-test.sh │ │ └── generate-all-gold-responses.sh │ └── utils.py │ ├── general-vs-specific-shuffled │ ├── conf │ │ ├── config.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ └── test.yaml │ ├── outputs │ │ └── 2024-03-20 │ │ │ ├── 18-07-57 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 19-39-19 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-categories.py │ ├── star-2-bsft-log_probs_general-vs-specific-test-shuffled-OLD_top-1.png │ └── utils.py │ ├── general-vs-specific │ ├── conf │ │ ├── config.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ └── test.yaml │ ├── plot-categories.py │ ├── star-2-bsft-qa-experimental-general_means.json │ ├── star-2-bsft-qa-experimental-general_sems.json │ ├── star-2-bsft-qa-experimental-general_topk_means.json │ ├── star-2-bsft-qa-experimental-general_topk_sems.json │ ├── star-2-bsft-qa-experimental-specific_means.json │ ├── star-2-bsft-qa-experimental-specific_sems.json │ ├── star-2-bsft-qa-experimental-specific_topk_means.json │ ├── star-2-bsft-qa-experimental-specific_topk_sems.json │ └── utils.py │ ├── gpt-4-general-vs-specific │ ├── conf │ │ ├── config.yaml │ │ ├── rating_model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ └── test.yaml │ ├── outputs │ │ └── 2024-03-13 │ │ │ └── specificity rating │ │ │ └── 16-20-48 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-categories.py │ ├── plot-correlations.py │ ├── rate-specificity.py │ ├── star-2-bsft-qa-experimental-GPT4-RATED-general_means.json │ ├── star-2-bsft-qa-experimental-GPT4-RATED-general_sems.json │ ├── star-2-bsft-qa-experimental-GPT4-RATED-general_topk_means.json │ ├── star-2-bsft-qa-experimental-GPT4-RATED-general_topk_sems.json │ ├── star-2-bsft-qa-experimental-GPT4-RATED-specific_means.json │ ├── star-2-bsft-qa-experimental-GPT4-RATED-specific_sems.json │ ├── star-2-bsft-qa-experimental-GPT4-RATED-specific_topk_means.json │ ├── star-2-bsft-qa-experimental-GPT4-RATED-specific_topk_sems.json │ └── utils.py │ ├── instruct-questions │ ├── conf │ │ └── config.yaml │ ├── extract-questions.py │ ├── outputs │ │ └── 2024-02-26 │ │ │ └── 09-49-17 final-extract-A-B-test │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ └── scripts │ │ └── extract-all.sh │ ├── log-probs │ ├── conf │ │ ├── condition │ │ │ ├── neg-control.yaml │ │ │ ├── pos-control-1.yaml │ │ │ ├── pos-control-2.yaml │ │ │ └── qa-experimental.yaml │ │ ├── config.yaml │ │ ├── model │ │ │ ├── m0.yaml │ │ │ └── m1.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ ├── test-mixtral.yaml │ │ │ └── test.yaml │ ├── filter-pos-control.py │ ├── filter.py │ ├── likelihood-neg-control.py │ ├── likelihood-pos-control-1.py │ ├── likelihood-pos-control-2.py │ ├── likelihood-qa-experimental.py │ ├── outputs │ │ ├── 2024-03-04 │ │ │ ├── m0 test split log-prob outputs │ │ │ │ ├── 14-46-11 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-49-16 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 14-59-20 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-05-37 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-14-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 15-14-53 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 15-14-56 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── m0 train split A log-probs + filtering outputs │ │ │ │ ├── 13-39-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 15-27-18 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-06 │ │ │ └── m1 train split B log-probs + filtering outputs │ │ │ │ ├── 03-19-06 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 05-08-58 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-13 │ │ │ └── m2 train split A logprobs + outputs │ │ │ │ ├── 18-52-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-44-28 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-14 │ │ │ ├── m1 test split log-probs + filtering │ │ │ ├── 22-11-10 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 22-12-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 22-18-52 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 22-21-48 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-15-09 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-15-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 23-15-19 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── m2 test split log-probs + filtering │ │ │ ├── 22-26-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 22-28-03 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 22-34-48 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 22-37-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-16-10 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-16-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 23-16-20 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── m3 test split log-probs + filtering │ │ │ ├── 22-43-09 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 22-44-23 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 22-51-23 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 22-54-21 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 23-16-09 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 23-16-13 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 23-16-17 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── scripts │ │ ├── m0 │ │ │ ├── m0-A-filter.sh │ │ │ ├── m0-A-log-probs.sh │ │ │ ├── m0-test-filter.sh │ │ │ └── m0-test-log-probs.sh │ │ ├── m1 │ │ │ ├── m1-B-filter.sh │ │ │ ├── m1-B-log-probs.sh │ │ │ ├── m1-test-filter.sh │ │ │ └── m1-test-log-probs.sh │ │ ├── m2 │ │ │ ├── m2-A-filter.sh │ │ │ ├── m2-A-log-probs.sh │ │ │ ├── m2-test-filter.sh │ │ │ └── m2-test-log-probs.sh │ │ └── m3 │ │ │ ├── .m3-test-log-probs.sh.swp │ │ │ ├── m3-test-filter.sh │ │ │ └── m3-test-log-probs.sh │ └── utils.py │ ├── m0-response-win-rates-randomized-zero-shot │ ├── conf │ │ ├── answer_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── config.yaml │ │ ├── qa_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── qa_model_2 │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── rating_model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ └── split │ │ │ └── test.yaml │ ├── get-ratings.py │ ├── get-responses.py │ ├── outputs │ │ ├── 2024-03-21 │ │ │ ├── 13-12-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-13-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-15-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-17-18 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-21-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-23-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-26-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 14-44-43 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-24 │ │ │ ├── 10-18-17 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 10-20-49 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 10-22-11 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 10-23-44 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 10-25-54 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 10-26-15 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 10-26-33 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 10-33-01 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-wins.py │ ├── randomized-m0-winrates-temp-0.0.png │ ├── scripts │ │ ├── get-ratings.sh │ │ └── get-responses.sh │ ├── star-2-bsft-overall-m0-winrates-randomized.json │ ├── star-2-bsft-overall-m0-winrates-randomized_zero_shot.json │ └── utils.py │ ├── m0-response-win-rates-randomized │ ├── conf │ │ ├── answer_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── config.yaml │ │ ├── qa_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── qa_model_2 │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── rating_model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ └── split │ │ │ └── test.yaml │ ├── get-ratings.py │ ├── get-responses.py │ ├── outputs │ │ └── 2024-03-21 │ │ │ ├── 13-12-05 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 13-13-51 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 13-15-34 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 13-17-18 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 13-21-25 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 13-23-40 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 13-26-39 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 14-44-43 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-wins.py │ ├── scripts │ │ ├── get-ratings.sh │ │ └── get-responses.sh │ ├── star-2-bsft-overall-m0-winrates-randomized.json │ └── utils.py │ ├── persona-generation │ ├── conf │ │ ├── model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ ├── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ │ ├── test-split-config.yaml │ │ └── train-split-config.yaml │ ├── generate-personas-test.py │ ├── generate-personas.py │ ├── outputs │ │ └── .hydra final-persona-generation │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── scripts │ │ └── generate-personas.sh │ └── utils.py │ ├── plot │ ├── conf │ │ ├── config.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ └── test.yaml │ ├── outputs │ │ ├── 2024-02-29 │ │ │ ├── 19-16-36 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-19-01 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-19-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 19-20-33 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-01 │ │ │ ├── 04-49-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 05-07-33 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-03 │ │ │ ├── 21-00-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 21-01-51 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-04 │ │ │ ├── 15-13-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 15-15-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 23-14-08 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 23-18-09 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-06 │ │ │ └── 18-50-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-09 │ │ │ ├── 08-17-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 08-23-50 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 08-27-36 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-14 │ │ │ └── 23-18-01 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-15 │ │ │ ├── 15-56-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 15-59-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 16-03-56 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 16-04-25 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-17 │ │ │ ├── 09-22-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-22-48 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-23-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-24-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 09-26-49 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-20 │ │ │ ├── 11-50-56 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 11-54-43 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 11-55-51 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 19-29-17 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 19-30-13 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 19-33-29 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 19-35-53 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 19-37-02 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 19-37-45 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-log-probs-shuffled.py │ ├── plot-log-probs.py │ ├── scripts │ │ └── plot-test.sh │ ├── star-2-bsft-neg-control_means.json │ ├── star-2-bsft-neg-control_sems.json │ ├── star-2-bsft-pos_control_1_means.json │ ├── star-2-bsft-pos_control_1_sems.json │ ├── star-2-bsft-pos_control_1_topk_means.json │ ├── star-2-bsft-pos_control_1_topk_sems.json │ ├── star-2-bsft-pos_control_2_means.json │ ├── star-2-bsft-pos_control_2_sems.json │ ├── star-2-bsft-pos_control_2_topk_means.json │ ├── star-2-bsft-pos_control_2_topk_sems.json │ ├── star-2-bsft-qa-experimental-shuffled-OLD_means.json │ ├── star-2-bsft-qa-experimental-shuffled-OLD_sems.json │ ├── star-2-bsft-qa-experimental-shuffled-OLD_topk_means.json │ ├── star-2-bsft-qa-experimental-shuffled-OLD_topk_sems.json │ ├── star-2-bsft-qa-experimental-shuffled_means.json │ ├── star-2-bsft-qa-experimental-shuffled_sems.json │ ├── star-2-bsft-qa-experimental-shuffled_topk_means.json │ ├── star-2-bsft-qa-experimental-shuffled_topk_sems.json │ ├── star-2-bsft-qa-experimental_means.json │ ├── star-2-bsft-qa-experimental_sems.json │ ├── star-2-bsft-qa-experimental_topk_means.json │ ├── star-2-bsft-qa-experimental_topk_sems.json │ └── utils.py │ ├── response-win-rates-counterbalanced │ ├── conf │ │ ├── answer_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── config.yaml │ │ ├── qa_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── qa_model_2 │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── rating_model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ └── split │ │ │ └── test.yaml │ ├── get-ratings.py │ ├── get-responses.py │ ├── outputs │ │ └── 2024-03-20 │ │ │ └── final ratings │ │ │ ├── 00-47-42 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-51-49 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 00-57-20 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 09-55-52 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-wins.py │ ├── scripts │ │ ├── get-ratings.sh │ │ └── get-responses.sh │ ├── star-2-bsft-overall-winrates-counterbalanced.json │ └── utils.py │ ├── response-win-rates-randomized-zero-shot │ ├── conf │ │ ├── answer_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── config.yaml │ │ ├── qa_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── qa_model_2 │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── rating_model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ └── split │ │ │ └── test.yaml │ ├── get-ratings.py │ ├── get-responses.py │ ├── outputs │ │ ├── 2024-03-19 │ │ │ └── final ratings (day 1) │ │ │ │ ├── 22-56-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-32-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-20 │ │ │ ├── 01-08-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-52-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── final ratings (day 2) │ │ │ │ └── 00-03-07 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-23 │ │ │ ├── 11-38-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-45-10 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-55-28 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-57-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-58-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-59-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-08-12 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-08-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-09-48 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-14-44 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-20-39 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-27-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-37-43 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-42-35 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-46-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-46-43 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-49-31 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-49-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-50-40 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-52-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-57-52 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-59-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-59-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-01-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-02-37 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-02-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-03-50 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-15-47 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-32-31 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-40-12 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 13-41-54 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-24 │ │ │ └── 10-36-02 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-wins.py │ ├── randomized-winrates-temp-0.0_zero_shot.png │ ├── scripts │ │ ├── err.err │ │ ├── get-ratings.sh │ │ ├── get-responses.sh │ │ └── out.out │ ├── star-2-bsft-overall-winrates-randomized.json │ ├── star-2-bsft-overall-winrates-randomized_zero_shot.json │ └── utils.py │ ├── response-win-rates-randomized │ ├── conf │ │ ├── answer_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── config.yaml │ │ ├── qa_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── qa_model_2 │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── rating_model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ └── split │ │ │ └── test.yaml │ ├── get-ratings.py │ ├── get-responses.py │ ├── outputs │ │ ├── 2024-03-19 │ │ │ └── final ratings (day 1) │ │ │ │ ├── 22-56-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 23-32-37 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-20 │ │ │ ├── 01-08-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-52-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── final ratings (day 2) │ │ │ │ └── 00-03-07 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-23 │ │ │ ├── 12-12-20 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 12-55-51 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-wins.py │ ├── scripts │ │ ├── get-ratings.sh │ │ └── get-responses.sh │ ├── star-2-bsft-overall-winrates-randomized.json │ └── utils.py │ ├── response-win-rates │ ├── conf │ │ ├── answer_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── config.yaml │ │ ├── qa_model │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── qa_model_2 │ │ │ ├── baseline.yaml │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ ├── rating_model │ │ │ ├── azure.yaml │ │ │ └── gpt4.yaml │ │ └── split │ │ │ └── test.yaml │ ├── get-ratings.py │ ├── get-responses.py │ ├── outputs │ │ ├── 2024-03-15 │ │ │ ├── 09-15-54 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-16-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-19-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-38-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-56-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 09-59-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-15-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-36-26 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 10-41-31 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-10-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-16-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-17-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-19-43 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-26-32 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-23-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-32-48 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-34-34 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-36-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-47-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-50-28 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-55-49 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── temp 0 responses + ratings │ │ │ │ ├── 00-48-46 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-50-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-52-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-53-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 00-55-29 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-10-14 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-15-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 01-31-08 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 01-47-23 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-17 │ │ │ └── 09-37-47 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-19 │ │ │ └── final ratings │ │ │ ├── 19-42-21 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 19-42-25 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 19-42-29 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── plot-wins.py │ ├── scripts │ │ ├── get-ratings.sh │ │ └── get-responses.sh │ ├── star-2-bsft-overall-winrates.json │ └── utils.py │ ├── sft │ ├── preprocess │ │ ├── conf │ │ │ ├── config.yaml │ │ │ ├── qa_model │ │ │ │ ├── m0.yaml │ │ │ │ ├── m1.yaml │ │ │ │ └── m2.yaml │ │ │ └── split │ │ │ │ ├── A.yaml │ │ │ │ └── B.yaml │ │ ├── generate-model-responses.py │ │ ├── outputs │ │ │ ├── 2024-03-04 │ │ │ │ └── m0 split A train preprocessing │ │ │ │ │ ├── 17-17-27 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 17-43-41 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 2024-03-06 │ │ │ │ └── m1 split B train preprocessing │ │ │ │ │ ├── 08-42-49 │ │ │ │ │ └── .hydra │ │ │ │ │ │ ├── config.yaml │ │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ │ └── overrides.yaml │ │ │ │ │ └── 09-13-48 │ │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 2024-03-13 │ │ │ │ ├── 20-46-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 21-13-35 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── scripts │ │ │ ├── m0 │ │ │ │ ├── m0-A-model-responses.sh │ │ │ │ └── m0-A-split.sh │ │ │ ├── m1 │ │ │ │ ├── m1-B-model-responses.sh │ │ │ │ └── m1-B-split.sh │ │ │ └── m2 │ │ │ │ ├── m2-A-model-responses.sh │ │ │ │ └── m2-A-split.sh │ │ ├── split-conversations.py │ │ └── utils.py │ └── train │ │ ├── conf │ │ ├── config.yaml │ │ ├── model │ │ │ └── m0.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ └── m2.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ └── B.yaml │ │ ├── outputs │ │ ├── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── m0 A training run │ │ │ ├── sequence-lengths │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── training run │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── m1 B training run │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── plot-sequence-lengths.py │ │ ├── scripts │ │ ├── m0-A-sequence-lengths.sh │ │ ├── m1-B-sequence-lengths.sh │ │ ├── m2-A-sequence-lengths.sh │ │ ├── train-sft-m0-A.sh │ │ ├── train-sft-m1-B.sh │ │ └── train-sft-m2-A.sh │ │ ├── seq-length-plots │ │ ├── star-2-bsft m0-A-sequence-lengths.png │ │ └── star-2-bsft m1-B-sequence-lengths.png │ │ ├── train_sft.py │ │ ├── utils.py │ │ └── wandb │ │ ├── latest-run │ │ ├── run-20240219_133025-c6secmtu │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-c6secmtu.wandb │ │ ├── run-20240219_133025-iqn72low │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-iqn72low.wandb │ │ ├── run-20240219_133025-l4mhv69x │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-l4mhv69x.wandb │ │ ├── run-20240219_133025-rcfwuba7 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-rcfwuba7.wandb │ │ ├── run-20240219_133103-6n3d9rsq │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-6n3d9rsq.wandb │ │ ├── run-20240219_133103-o5tmrvpr │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-o5tmrvpr.wandb │ │ ├── run-20240219_133103-x0k4wioe │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-x0k4wioe.wandb │ │ ├── run-20240219_133103-z5ms9drl │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-z5ms9drl.wandb │ │ ├── run-20240219_143720-a9uqleje │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-a9uqleje.wandb │ │ ├── run-20240219_143812-xzddpz3t │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-xzddpz3t.wandb │ │ ├── run-20240219_144002-cca5jzup │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-cca5jzup.wandb │ │ ├── run-20240219_144311-ru549kzb │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-ru549kzb.wandb │ │ ├── run-20240219_153421-ws1rekg0 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-ws1rekg0.wandb │ │ ├── run-20240219_153422-v4wx75v8 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-v4wx75v8.wandb │ │ ├── run-20240219_154013-7eat5qmx │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-7eat5qmx.wandb │ │ ├── run-20240219_154013-tod5jobf │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-tod5jobf.wandb │ │ ├── run-20240219_154239-qhm50eq9 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-qhm50eq9.wandb │ │ ├── run-20240219_154239-wrcwf99z │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-wrcwf99z.wandb │ │ ├── run-20240219_154605-10bfmv3d │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-10bfmv3d.wandb │ │ ├── run-20240219_154605-c9lfvt03 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-c9lfvt03.wandb │ │ ├── run-20240219_155354-19p687n6 │ │ └── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ └── requirements.txt │ │ ├── run-20240228_202358-h89k31hv │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-h89k31hv.wandb │ │ ├── run-20240228_202624-0zu1ij09 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-0zu1ij09.wandb │ │ ├── run-20240228_202736-s07jfif3 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-s07jfif3.wandb │ │ ├── run-20240228_203309-4p2f6v9m │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-4p2f6v9m.wandb │ │ ├── run-20240228_204032-yvpbhb9t │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-yvpbhb9t.wandb │ │ ├── run-20240301_024934-3b1a6hjt │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-3b1a6hjt.wandb │ │ ├── run-20240301_025035-r2a7zfh4 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-r2a7zfh4.wandb │ │ ├── run-20240301_025336-q9koa439 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-q9koa439.wandb │ │ ├── run-20240301_030600-knsa1okj │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-knsa1okj.wandb │ │ ├── run-20240304_044133-4uul4mei │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-4uul4mei.wandb │ │ ├── run-20240304_044302-dt7pvqcw │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-dt7pvqcw.wandb │ │ ├── run-20240304_045211-ij94z46o │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-ij94z46o.wandb │ │ ├── run-20240304_195354-ifo17b6o │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-ifo17b6o.wandb │ │ ├── run-20240306_092907-l0q98fot │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-l0q98fot.wandb │ │ ├── run-20240306_102342-qam062gh │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-qam062gh.wandb │ │ ├── run-20240308_025432-jaxc7ikt │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-jaxc7ikt.wandb │ │ ├── run-20240308_095845-v5hjq55y │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-v5hjq55y.wandb │ │ ├── run-20240308_114336-czd00p49 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-czd00p49.wandb │ │ ├── run-20240308_213100-akgmuisc │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-akgmuisc.wandb │ │ ├── run-20240308_215340-9wj2ttxo │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ ├── wandb-metadata.json │ │ │ └── wandb-summary.json │ │ └── run-9wj2ttxo.wandb │ │ ├── run-20240313_211739-qy2ronp7 │ │ ├── files │ │ │ ├── conda-environment.yaml │ │ │ ├── config.yaml │ │ │ ├── requirements.txt │ │ │ └── wandb-metadata.json │ │ └── run-qy2ronp7.wandb │ │ └── run-20240313_211845-b9vtej5v │ │ ├── files │ │ ├── conda-environment.yaml │ │ ├── config.yaml │ │ ├── requirements.txt │ │ ├── wandb-metadata.json │ │ └── wandb-summary.json │ │ └── run-b9vtej5v.wandb │ ├── shuffled-log-probs │ ├── conf │ │ ├── condition │ │ │ ├── neg-control.yaml │ │ │ ├── pos-control-1.yaml │ │ │ ├── pos-control-2.yaml │ │ │ └── qa-experimental.yaml │ │ ├── config.yaml │ │ ├── model │ │ │ ├── m0.yaml │ │ │ └── m1.yaml │ │ ├── qa_model │ │ │ ├── m0.yaml │ │ │ ├── m1.yaml │ │ │ ├── m2.yaml │ │ │ └── m3.yaml │ │ └── split │ │ │ ├── A.yaml │ │ │ ├── B.yaml │ │ │ └── test.yaml │ ├── filter.py │ ├── likelihood-qa-experimental.py │ ├── outputs │ │ ├── 2024-03-19 │ │ │ └── shuffling outputs │ │ │ │ ├── 20-55-45 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-55-50 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ ├── 20-55-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ │ └── 20-56-00 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 2024-03-20 │ │ │ ├── 11-20-24 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-22-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-22-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-22-36 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-22-41 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-23-09 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-23-15 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-23-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-23-27 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-26-25 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-30-51 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-30-55 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-30-58 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-31-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-32-13 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-35-35 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-38-17 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-40-38 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-43-59 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-45-00 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-45-20 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-46-21 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 11-49-02 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-16-22 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-16-26 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-16-30 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-16-33 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-18-04 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-18-05 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-23-06 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-32-07 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 19-32-48 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 19-33-08 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 2024-03-21 │ │ │ └── 15-21-26 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── scripts │ │ ├── m0 │ │ │ ├── m0-test-log-probs-shuffle-filter.sh │ │ │ └── m0-test-log-probs-shuffle.sh │ │ ├── m1 │ │ │ ├── m1-test-log-probs-shuffle-filter.sh │ │ │ └── m1-test-log-probs-shuffle.sh │ │ ├── m2 │ │ │ ├── m2-test-log-probs-shuffle-filter.sh │ │ │ └── m2-test-log-probs-shuffle.sh │ │ ├── m3 │ │ │ ├── m3-test-log-probs-shuffle-filter.sh │ │ │ └── m3-test-log-probs-shuffle.sh │ │ └── shuffle-all.sh │ ├── shuffle.py │ └── utils.py │ └── simulate-conversations │ ├── conf │ ├── config.yaml │ ├── human_model │ │ └── m0.yaml │ ├── qa_model │ │ ├── m0.yaml │ │ ├── m1.yaml │ │ ├── m2.yaml │ │ └── m3.yaml │ ├── split │ │ ├── A.yaml │ │ ├── B.yaml │ │ └── test.yaml │ └── turn │ │ ├── t1.yaml │ │ ├── t2.yaml │ │ └── t3.yaml │ ├── generate-human.py │ ├── generate-qa.py │ ├── outputs │ ├── 2024-03-04 │ │ ├── m0 split A simulations (day 1) │ │ │ ├── 20-45-16 final m0-qa-t1 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 21-51-55 final m0-human-t1 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── m0 split A simulations (day 2) │ │ │ ├── 01-35-46 final m0-A-qa-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 02-40-52 final m0-A-human-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 06-00-24 final m0-A-qa-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 06-47-33 final m0-A-human-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 09-04-25 final m0-A-pool │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── m0 test split simulations │ │ │ ├── 12-01-06 final-m0-test-qa-t1 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-03-40 final-m0-test-human-t1 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-20-56 final-m0-test-qa-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-25-32 final-m0-test-human-t2 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 12-41-09 final-m0-test-qa-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ ├── 13-05-34 final-m0-test-human-t3 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 14-46-20 final m0-test-pool │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── m1 split B simulations (day 1) │ │ │ └── 23-25-52 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── 2024-03-05 │ │ └── m1 split B simulation (day 2) │ │ │ ├── 00-01-17 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 03-52-44 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 04-58-51 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 08-27-41 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── 2024-03-06 │ │ ├── m1 split B simulation (day 3) │ │ │ ├── 01-03-53 │ │ │ │ └── .hydra │ │ │ │ │ ├── config.yaml │ │ │ │ │ ├── hydra.yaml │ │ │ │ │ └── overrides.yaml │ │ │ └── 03-18-43 │ │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── m2 split A simulations (day 1) │ │ │ ├── 19-24-20 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 20-34-37 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── 2024-03-07 │ │ └── m2 split A simulation (day 2) │ │ │ ├── 05-38-17 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 08-38-40 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ ├── 17-00-25 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ │ └── 19-00-34 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ ├── 2024-03-08 │ │ └── m2 split A simulation (day 3) │ │ │ └── 00-32-30 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ └── 2024-03-14 │ │ ├── m1 test split simulations │ │ ├── 18-44-54 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 18-47-27 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-05-28 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-09-10 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-19-07 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-22-09 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 19-29-30 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── m2 test split simulations │ │ ├── 19-29-56 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-32-37 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-43-34 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-47-27 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 19-58-10 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ ├── 20-01-19 │ │ │ └── .hydra │ │ │ │ ├── config.yaml │ │ │ │ ├── hydra.yaml │ │ │ │ └── overrides.yaml │ │ └── 20-09-12 │ │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ └── m3 test split simulations │ │ ├── 20-09-34 │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── 20-12-29 │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── 20-23-44 │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── 20-27-51 │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── 20-38-38 │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ ├── 20-41-47 │ │ └── .hydra │ │ │ ├── config.yaml │ │ │ ├── hydra.yaml │ │ │ └── overrides.yaml │ │ └── 20-49-47 │ │ └── .hydra │ │ ├── config.yaml │ │ ├── hydra.yaml │ │ └── overrides.yaml │ ├── pool-conversations.py │ ├── scripts │ ├── m0 │ │ ├── m0-A-pool.sh │ │ ├── m0-A.sh │ │ ├── m0-test-pool.sh │ │ └── m0-test.sh │ ├── m1 │ │ ├── m1-B-pool.sh │ │ ├── m1-B.sh │ │ ├── m1-test-pool.sh │ │ └── m1-test.sh │ ├── m2 │ │ ├── m2-A-pool.sh │ │ ├── m2-A.sh │ │ ├── m2-test-pool.sh │ │ └── m2-test.sh │ └── m3 │ │ ├── m3-test-pool.sh │ │ └── m3-test.sh │ ├── shuffle.py │ └── utils.py ├── pyproject.toml ├── requirements.txt ├── setup.py └── src ├── AG ├── __init__.py ├── helpers.py ├── models │ ├── __init__.py │ ├── huggingface │ │ ├── __init__.py │ │ └── hf_inference_model.py │ ├── openai │ │ ├── __init__.py │ │ ├── azure.py │ │ └── gpt4.py │ └── vllm_models │ │ ├── __init__.py │ │ └── inference_model.py └── trainers │ ├── SFTTrainer.py │ ├── SFTTrainerUtils.py │ └── __init__,.py ├── __init__.py ├── global_utils.py └── paths.py /.gitattributes: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/.gitattributes -------------------------------------------------------------------------------- /.gitignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/.gitignore -------------------------------------------------------------------------------- /LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/LICENSE -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/README.md -------------------------------------------------------------------------------- /exclude-large-files.sh: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/exclude-large-files.sh -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/build-gold-responses/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/build-gold-responses/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/build-gold-responses/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/general-vs-specific/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/gpt-4-general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/gpt-4-general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/instruct-questions/outputs/2024-02-26/09-49-17 final-extract-A-B-test/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/split/test-mixtral.yaml: -------------------------------------------------------------------------------- 1 | name: test-mixtral 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/m0-response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/m0-response-win-rates-randomized/outputs/2024-03-21/14-45-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/persona-generation/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/persona-generation/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/persona-generation/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-02-29/19-16-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-02-29/19-19-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-02-29/19-19-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-02-29/19-20-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-01/04-49-17/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-01/05-07-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-03/21-00-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-03/21-01-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-04/15-13-21/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-04/15-15-39/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-04/23-14-08/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-04/23-18-09/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-06/18-50-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-09/08-17-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-09/08-23-50/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-09/08-27-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-14/23-18-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-15/15-56-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-15/15-59-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-15/16-03-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-15/16-04-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-16/04-14-24/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-17/09-28-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/plot/outputs/2024-03-20/12-36-57/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates-counterbalanced/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates-randomized-zero-shot/outputs/2024-03-23/16-30-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates-randomized-zero-shot/outputs/2024-03-24/11-01-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates-randomized-zero-shot/outputs/2024-03-24/11-02-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates-randomized/outputs/2024-03-20/01-08-44/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates/outputs/2024-03-16/12-57-16/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates/outputs/2024-03-16/12-58-00/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates/outputs/2024-03-16/12-58-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates/outputs/2024-03-16/13-00-46/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates/outputs/2024-03-16/13-01-14/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/response-win-rates/outputs/2024-03-17/09-36-29/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/preprocess/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/preprocess/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/preprocess/outputs/2024-03-13/20-46-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/preprocess/outputs/2024-03-13/21-13-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/latest-run: -------------------------------------------------------------------------------- 1 | run-20240313_211845-b9vtej5v -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_133025-c6secmtu/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_133025-iqn72low/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_133025-l4mhv69x/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_133025-rcfwuba7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_133103-6n3d9rsq/run-6n3d9rsq.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_133103-o5tmrvpr/run-o5tmrvpr.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_133103-z5ms9drl/run-z5ms9drl.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_143720-a9uqleje/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 3}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_143812-xzddpz3t/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_144002-cca5jzup/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 66}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_153421-ws1rekg0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 106}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_153422-v4wx75v8/run-v4wx75v8.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_154013-7eat5qmx/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 72}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_154013-tod5jobf/run-tod5jobf.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_154239-wrcwf99z/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 110}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_154605-10bfmv3d/run-10bfmv3d.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240219_154605-c9lfvt03/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 84}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240228_202358-h89k31hv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 7}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240228_202624-0zu1ij09/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 58}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240228_202736-s07jfif3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240301_024934-3b1a6hjt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 10}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240301_025035-r2a7zfh4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240304_044133-4uul4mei/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 9}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240306_092907-l0q98fot/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240308_025432-jaxc7ikt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240308_095845-v5hjq55y/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240308_114336-czd00p49/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/sft/train/wandb/run-20240313_211739-qy2ronp7/run-qy2ronp7.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/shuffled-log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/shuffled-log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/shuffled-log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/shuffled-log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/shuffled-log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/shuffled-log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/shuffled-log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/simulate-conversations/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/simulate-conversations/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/simulate-conversations/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/simulate-conversations/conf/turn/t1.yaml: -------------------------------------------------------------------------------- 1 | number: 1 -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/simulate-conversations/conf/turn/t2.yaml: -------------------------------------------------------------------------------- 1 | number: 2 -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/simulate-conversations/conf/turn/t3.yaml: -------------------------------------------------------------------------------- 1 | number: 3 -------------------------------------------------------------------------------- /experiments/star-gate-gemma-ablation/simulate-conversations/shuffle.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/build-gold-responses/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/build-gold-responses/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/build-gold-responses/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/outputs/2024-03-12/21-51-47/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/outputs/2024-03-12/21-54-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/outputs/2024-03-12/21-55-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/outputs/2024-03-15/00-22-59/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/general-vs-specific/outputs/2024-03-15/14-39-23/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/instruct-questions/outputs/2024-02-26/09-49-17 final-extract-A-B-test/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/split/test-mixtral.yaml: -------------------------------------------------------------------------------- 1 | name: test-mixtral 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/m0-response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/m0-response-win-rates-randomized/outputs/2024-03-21/14-45-49/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/m0-response-win-rates-randomized/outputs/2024-03-22/00-14-27/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/persona-generation/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/persona-generation/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/persona-generation/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-12/20-40-44/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-12/20-40-44/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/00-11-56/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 3 5 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/00-11-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/00-18-16/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/00-18-16/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/00-21-20/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/00-21-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/16-06-45/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-15/16-06-45/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-21/14-53-34/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-21/14-53-34/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-21/15-25-07/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/plot/outputs/2024-03-21/15-25-07/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized-zero-shot/outputs/2024-03-23/16-10-46/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized-zero-shot/outputs/2024-03-24/10-36-42/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized/outputs/2024-03-20/01-08-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized/outputs/2024-03-20/09-52-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized/outputs/2024-03-21/20-01-04/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized/outputs/2024-03-21/20-01-22/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates-randomized/outputs/2024-03-21/20-54-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/response-win-rates/outputs/2024-03-15/01-52-31/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/preprocess/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/preprocess/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/preprocess/outputs/2024-03-12/12-28-04/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/preprocess/outputs/2024-03-13/23-20-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=B 2 | - qa_model=m1 3 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/preprocess/outputs/2024-03-14/15-14-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/latest-run: -------------------------------------------------------------------------------- 1 | run-20240314_151942-sj4vimf3 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_133025-c6secmtu/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_133025-iqn72low/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_133025-l4mhv69x/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_133025-rcfwuba7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_133103-6n3d9rsq/run-6n3d9rsq.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_133103-o5tmrvpr/run-o5tmrvpr.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_133103-z5ms9drl/run-z5ms9drl.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_143720-a9uqleje/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 3}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_143812-xzddpz3t/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_144002-cca5jzup/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 66}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_153421-ws1rekg0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 106}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_153422-v4wx75v8/run-v4wx75v8.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_154013-7eat5qmx/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 72}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_154013-tod5jobf/run-tod5jobf.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_154239-wrcwf99z/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 110}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_154605-10bfmv3d/run-10bfmv3d.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240219_154605-c9lfvt03/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 84}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240228_202358-h89k31hv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 7}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240228_202624-0zu1ij09/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 58}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240228_202736-s07jfif3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240301_024934-3b1a6hjt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 10}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240301_025035-r2a7zfh4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240304_044133-4uul4mei/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 9}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240306_092907-l0q98fot/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240308_025432-jaxc7ikt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240308_095845-v5hjq55y/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240308_114336-czd00p49/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240310_142257-b17fgp0i/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 9}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/sft/train/wandb/run-20240310_204651-dn6bv8ad/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 7}} -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/shuffled-log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/shuffled-log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/shuffled-log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/shuffled-log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/shuffled-log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/shuffled-log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/shuffled-log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/simulate-conversations/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/simulate-conversations/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/simulate-conversations/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/simulate-conversations/conf/turn/t1.yaml: -------------------------------------------------------------------------------- 1 | number: 1 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/simulate-conversations/conf/turn/t2.yaml: -------------------------------------------------------------------------------- 1 | number: 2 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/simulate-conversations/conf/turn/t3.yaml: -------------------------------------------------------------------------------- 1 | number: 3 -------------------------------------------------------------------------------- /experiments/star-gate-gold-response/simulate-conversations/shuffle.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/15-21-58/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/15-44-16/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/15-47-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/15-49-41/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/16-06-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/16-15-16/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/16-18-16/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/16-22-06/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/16-24-14/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/18-24-04/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=B 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/build-gold-responses/outputs/2024-05-24/20-53-50/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | - model=llama3 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/instruct-questions/outputs/2024-02-26/09-49-17 final-extract-A-B-test/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/split/test-mixtral.yaml: -------------------------------------------------------------------------------- 1 | name: test-mixtral 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/m0-response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/m0-response-win-rates-randomized-zero-shot/outputs/2024-03-21/14-44-43/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/m0-response-win-rates-randomized-zero-shot/outputs/2024-03-24/10-33-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/m0-response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/m0-response-win-rates-randomized/outputs/2024-03-21/14-44-43/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/persona-generation/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-llama3/persona-generation/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-llama3/persona-generation/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/persona-generation/outputs/.hydra final-persona-generation/overrides.yaml: -------------------------------------------------------------------------------- 1 | - model=gpt4 2 | - split=B 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-02-29/19-16-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-02-29/19-19-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-02-29/19-19-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-02-29/19-20-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-01/04-49-17/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-01/05-07-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-03/21-00-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-03/21-01-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-04/15-13-21/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-04/15-15-39/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-04/23-14-08/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 2 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-04/23-14-08/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-04/23-18-09/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 2 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-04/23-18-09/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-06/18-50-37/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 3 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-06/18-50-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-09/08-17-55/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-09/08-17-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-09/08-23-50/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-09/08-23-50/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-09/08-27-36/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-09/08-27-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-14/23-18-01/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-14/23-18-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/15-56-55/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/15-56-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/15-59-13/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/15-59-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/16-03-56/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/16-03-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/16-04-25/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-15/16-04-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-22-25/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-22-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-22-48/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-22-48/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-23-20/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-23-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-24-15/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-24-15/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-26-49/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-17/09-26-49/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/11-50-56/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/11-50-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/11-54-43/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/11-54-43/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/11-55-51/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/11-55-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-29-17/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-29-17/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-30-13/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-30-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-33-29/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-33-29/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-35-53/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-35-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-37-02/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-37-02/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-37-45/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/plot/outputs/2024-03-20/19-37-45/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-counterbalanced/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized-zero-shot/outputs/2024-03-20/01-08-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized-zero-shot/outputs/2024-03-20/09-52-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized-zero-shot/outputs/2024-03-23/13-02-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized-zero-shot/outputs/2024-03-23/13-41-54/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized-zero-shot/outputs/2024-03-24/10-36-02/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized/outputs/2024-03-20/01-08-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates-randomized/outputs/2024-03-20/09-52-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/response-win-rates/outputs/2024-03-17/09-37-47/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-03-13/20-46-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-03-13/21-13-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/10-55-38/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/10-58-44/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/11-03-02/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/11-23-45/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/11-37-03/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/11-38-46/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/11-40-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/11-46-38/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/13-05-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/14-33-09/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/14-34-34/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/preprocess/outputs/2024-05-27/14-36-06/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/outputs/m0 A training run/sequence-lengths/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/latest-run: -------------------------------------------------------------------------------- 1 | run-20240528_141252-r60u2s84 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_133025-c6secmtu/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_133025-iqn72low/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_133025-l4mhv69x/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_133025-rcfwuba7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_133103-6n3d9rsq/run-6n3d9rsq.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_133103-o5tmrvpr/run-o5tmrvpr.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_133103-z5ms9drl/run-z5ms9drl.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_143720-a9uqleje/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 3}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_143812-xzddpz3t/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_144002-cca5jzup/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 66}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_153421-ws1rekg0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 106}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_153422-v4wx75v8/run-v4wx75v8.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_154013-7eat5qmx/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 72}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_154013-tod5jobf/run-tod5jobf.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_154239-wrcwf99z/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 110}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_154605-10bfmv3d/run-10bfmv3d.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240219_154605-c9lfvt03/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 84}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240228_202358-h89k31hv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 7}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240228_202624-0zu1ij09/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 58}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240228_202736-s07jfif3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240301_024934-3b1a6hjt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 10}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240301_025035-r2a7zfh4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240304_044133-4uul4mei/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 9}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240306_092907-l0q98fot/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240308_025432-jaxc7ikt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240308_095845-v5hjq55y/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240308_114336-czd00p49/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240313_211739-qy2ronp7/run-qy2ronp7.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_163003-kmqw4l1s/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 11}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_163402-200ay3c9/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 10}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_163640-o8t42m6d/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 173}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_170557-kjmk5xwp/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 217}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_173419-rqzwnaq9/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 150}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-10pidsvn/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-bht52ow7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-c31syr01/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-rbulqnvi/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-rh9x7fyg/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-rwzo8xoc/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-s395lalk/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_215755-y5bzcqpj/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-gidc0ub1/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-i6knrmdj/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-ii933xnx/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-ncojzcj7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-s7mcnkv7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-th8agnpo/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-uxdxc7qo/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 25}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_220350-yfrpjx9m/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221052-21chpo6d/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221052-3v7idsul/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221052-6pq258vs/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221052-blorow3q/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221052-edga4dby/run-edga4dby.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221052-fjjmpmn0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221052-qlym4fwf/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_221053-qyybw63r/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_230830-e99ar812/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_230830-f4l50vl4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 88}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_230830-qflket9r/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_230830-zaxwn0m8/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_231108-84jgx7fj/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_231108-b5vktmn2/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_231108-n2krnng8/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 88}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_231108-yh4fxhqv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 90}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232630-0zlaie49/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232630-5g60pdcn/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232630-acirgz2v/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232630-g6pza2h1/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232630-qnyesuol/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232630-suco9a3q/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232630-wz2p1ga6/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232729-4qezmmri/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232729-j5luons7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232729-w8uoyh6c/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232730-7or3ohq0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232730-dl90rqy4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232730-erkc84wp/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232730-rjde6q15/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232730-xra7v3di/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232932-czdq81hz/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232932-fk2twg1w/run-fk2twg1w.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232932-hcb5pq6o/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232932-o6j08uf3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232932-ojrypi2e/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232933-1p4elik2/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232933-ci1276rq/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 22}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240527_232933-n7qv960a/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_110356-0jqycqy3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_110356-0uhr79da/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_110356-5det0uz9/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_110356-96cs5tsv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_110356-dhshtwvv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_110356-ltmhwqz9/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 24}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_110356-t3igls55/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 23}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_113913-o3spg936/run-o3spg936.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_122122-1iqi9x5j/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 78}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_122904-5b3vk2rj/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 81}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_125919-knamj4vn/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 5}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_130239-nw2m68nl/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 31}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_130545-8wc4sbar/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 33}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_131101-hze1djym/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 38}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_131551-itq0qhte/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 32}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_132055-zkh378nb/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 32}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_132510-aho0p9fd/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 31}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_133125-7fop2iqd/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 31}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_135235-8px48xi3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 31}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_140532-ivh0wr74/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 32}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/sft/train/wandb/run-20240528_141252-r60u2s84/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 32}} -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-22-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-22-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-22-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-22-41/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-23-09/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-23-15/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-23-21/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-23-27/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-30-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-30-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-30-58/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/11-31-02/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/19-16-22/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/19-16-26/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/19-16-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/shuffled-log-probs/outputs/2024-03-20/19-16-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/conf/turn/t1.yaml: -------------------------------------------------------------------------------- 1 | number: 1 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/conf/turn/t2.yaml: -------------------------------------------------------------------------------- 1 | number: 2 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/conf/turn/t3.yaml: -------------------------------------------------------------------------------- 1 | number: 3 -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/outputs/2024-05-26/00-23-06/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=A 3 | -------------------------------------------------------------------------------- /experiments/star-gate-llama3/simulate-conversations/shuffle.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/build-gold-responses/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/build-gold-responses/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/build-gold-responses/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/general-vs-specific/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/gpt-4-general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/gpt-4-general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/instruct-questions/outputs/2024-02-26/09-49-17 final-extract-A-B-test/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/split/test-mixtral.yaml: -------------------------------------------------------------------------------- 1 | name: test-mixtral 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/m0-response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/m0-response-win-rates-randomized/outputs/2024-03-21/14-45-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/persona-generation/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/persona-generation/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/persona-generation/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-02-29/19-16-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-02-29/19-19-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-02-29/19-19-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-02-29/19-20-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-01/04-49-17/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-01/05-07-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-03/21-00-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-03/21-01-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-04/15-13-21/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-04/15-15-39/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-04/23-14-08/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-04/23-18-09/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-06/18-50-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-09/08-17-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-09/08-23-50/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-09/08-27-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-14/23-18-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-15/15-56-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-15/15-59-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-15/16-03-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-15/16-04-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-16/04-14-24/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-17/09-28-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/plot/outputs/2024-03-20/12-36-57/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates-counterbalanced/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates-randomized-zero-shot/outputs/2024-03-23/16-30-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates-randomized-zero-shot/outputs/2024-03-24/11-01-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates-randomized-zero-shot/outputs/2024-03-24/11-02-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates-randomized/outputs/2024-03-20/01-08-44/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates/outputs/2024-03-16/12-57-16/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates/outputs/2024-03-16/12-58-00/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates/outputs/2024-03-16/12-58-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates/outputs/2024-03-16/13-00-46/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates/outputs/2024-03-16/13-01-14/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/response-win-rates/outputs/2024-03-17/09-36-29/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/preprocess/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/preprocess/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/preprocess/outputs/2024-03-13/20-46-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/preprocess/outputs/2024-03-13/21-13-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/latest-run: -------------------------------------------------------------------------------- 1 | run-20240313_211845-b9vtej5v -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_133025-c6secmtu/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_133025-iqn72low/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_133025-l4mhv69x/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_133025-rcfwuba7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_133103-6n3d9rsq/run-6n3d9rsq.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_133103-o5tmrvpr/run-o5tmrvpr.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_133103-z5ms9drl/run-z5ms9drl.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_143720-a9uqleje/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 3}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_143812-xzddpz3t/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_144002-cca5jzup/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 66}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_153421-ws1rekg0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 106}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_153422-v4wx75v8/run-v4wx75v8.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_154013-7eat5qmx/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 72}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_154013-tod5jobf/run-tod5jobf.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_154239-wrcwf99z/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 110}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_154605-10bfmv3d/run-10bfmv3d.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240219_154605-c9lfvt03/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 84}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240228_202358-h89k31hv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 7}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240228_202624-0zu1ij09/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 58}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240228_202736-s07jfif3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240301_024934-3b1a6hjt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 10}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240301_025035-r2a7zfh4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240304_044133-4uul4mei/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 9}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240306_092907-l0q98fot/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240308_025432-jaxc7ikt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240308_095845-v5hjq55y/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240308_114336-czd00p49/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/sft/train/wandb/run-20240313_211739-qy2ronp7/run-qy2ronp7.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/shuffled-log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/shuffled-log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/shuffled-log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/shuffled-log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/shuffled-log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/shuffled-log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/shuffled-log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/simulate-conversations/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/simulate-conversations/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/simulate-conversations/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/simulate-conversations/conf/turn/t1.yaml: -------------------------------------------------------------------------------- 1 | number: 1 -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/simulate-conversations/conf/turn/t2.yaml: -------------------------------------------------------------------------------- 1 | number: 2 -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/simulate-conversations/conf/turn/t3.yaml: -------------------------------------------------------------------------------- 1 | number: 3 -------------------------------------------------------------------------------- /experiments/star-gate-mistral-ablation/simulate-conversations/shuffle.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/build-gold-responses/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/build-gold-responses/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/build-gold-responses/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/general-vs-specific/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/gpt-4-general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/gpt-4-general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/instruct-questions/outputs/2024-02-26/09-49-17 final-extract-A-B-test/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/split/test-mixtral.yaml: -------------------------------------------------------------------------------- 1 | name: test-mixtral 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/m0-response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/persona-generation/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/persona-generation/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/persona-generation/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/outputs/2024-03-12/20-40-44/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/outputs/2024-03-15/16-34-40/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/outputs/2024-03-16/13-17-31/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/outputs/2024-03-17/09-31-23/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/plot/outputs/2024-03-20/13-15-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-counterbalanced/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-randomized-zero-shot/outputs/2024-03-23/15-49-47/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-randomized-zero-shot/outputs/2024-03-23/15-50-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-randomized-zero-shot/outputs/2024-03-23/15-53-05/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-randomized-zero-shot/outputs/2024-03-24/10-37-32/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates-randomized/outputs/2024-03-20/01-09-16/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates/outputs/2024-03-16/16-24-04/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/response-win-rates/outputs/2024-03-17/09-33-48/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/outputs/2024-03-13/01-51-18/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/outputs/2024-03-13/01-52-43/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/outputs/2024-03-13/01-53-18/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/outputs/2024-03-14/22-05-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=B 2 | - qa_model=m1 3 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/outputs/2024-03-15/11-50-58/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=B 2 | - qa_model=m1 3 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/preprocess/outputs/2024-03-16/04-56-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/latest-run: -------------------------------------------------------------------------------- 1 | run-20240316_092219-3fbrt6zy -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_133025-c6secmtu/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_133025-iqn72low/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_133025-l4mhv69x/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_133025-rcfwuba7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_133103-6n3d9rsq/run-6n3d9rsq.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_133103-o5tmrvpr/run-o5tmrvpr.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_133103-z5ms9drl/run-z5ms9drl.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_143720-a9uqleje/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 3}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_143812-xzddpz3t/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_144002-cca5jzup/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 66}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_153421-ws1rekg0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 106}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_153422-v4wx75v8/run-v4wx75v8.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_154013-7eat5qmx/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 72}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_154013-tod5jobf/run-tod5jobf.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_154239-wrcwf99z/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 110}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_154605-10bfmv3d/run-10bfmv3d.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240219_154605-c9lfvt03/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 84}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240228_202358-h89k31hv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 7}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240228_202624-0zu1ij09/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 58}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240228_202736-s07jfif3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240301_024934-3b1a6hjt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 10}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240301_025035-r2a7zfh4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240304_044133-4uul4mei/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 9}} -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240313_020320-pvz7t9rx/run-pvz7t9rx.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240313_125547-j2g31fqh/run-j2g31fqh.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240313_125747-qfmh0dq7/run-qfmh0dq7.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/sft/train/wandb/run-20240313_125850-4pmdo7dp/run-4pmdo7dp.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/shuffled-log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/shuffled-log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/shuffled-log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/shuffled-log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/shuffled-log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/shuffled-log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/shuffled-log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/simulate-conversations/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/simulate-conversations/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/simulate-conversations/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/simulate-conversations/conf/turn/t1.yaml: -------------------------------------------------------------------------------- 1 | number: 1 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/simulate-conversations/conf/turn/t2.yaml: -------------------------------------------------------------------------------- 1 | number: 2 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/simulate-conversations/conf/turn/t3.yaml: -------------------------------------------------------------------------------- 1 | number: 3 -------------------------------------------------------------------------------- /experiments/star-gate-no-regularization/simulate-conversations/shuffle.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/build-gold-responses/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate/build-gold-responses/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate/build-gold-responses/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific-shuffled/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific-shuffled/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific-shuffled/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific-shuffled/outputs/2024-03-20/18-07-57/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific-shuffled/outputs/2024-03-20/19-39-19/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/gpt-4-general-vs-specific/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/gpt-4-general-vs-specific/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/gpt-4-general-vs-specific/outputs/2024-03-13/specificity rating/16-20-48/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/instruct-questions/outputs/2024-02-26/09-49-17 final-extract-A-B-test/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/split/test-mixtral.yaml: -------------------------------------------------------------------------------- 1 | name: test-mixtral 2 | -------------------------------------------------------------------------------- /experiments/star-gate/log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/m0-response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/m0-response-win-rates-randomized-zero-shot/outputs/2024-03-21/14-44-43/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/m0-response-win-rates-randomized-zero-shot/outputs/2024-03-24/10-33-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate/m0-response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/m0-response-win-rates-randomized/outputs/2024-03-21/14-44-43/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/persona-generation/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/persona-generation/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate/persona-generation/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/persona-generation/outputs/.hydra final-persona-generation/overrides.yaml: -------------------------------------------------------------------------------- 1 | - model=gpt4 2 | - split=B 3 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/conf/config.yaml: -------------------------------------------------------------------------------- 1 | defaults: 2 | - split: test 3 | 4 | k: 1 5 | N_ITER: 4 6 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/plot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-02-29/19-16-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-02-29/19-19-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-02-29/19-19-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-02-29/19-20-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-01/04-49-17/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-01/05-07-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-03/21-00-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-03/21-01-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-04/15-13-21/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-04/15-15-39/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-04/23-14-08/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 2 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-04/23-14-08/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-04/23-18-09/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 2 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-04/23-18-09/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-06/18-50-37/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 3 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-06/18-50-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-09/08-17-55/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-09/08-17-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-09/08-23-50/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-09/08-23-50/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-09/08-27-36/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-09/08-27-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-14/23-18-01/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-14/23-18-01/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/15-56-55/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/15-56-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/15-59-13/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/15-59-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/16-03-56/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/16-03-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/16-04-25/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-15/16-04-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-22-25/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-22-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-22-48/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-22-48/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-23-20/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-23-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-24-15/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-24-15/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-26-49/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-17/09-26-49/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/11-50-56/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/11-50-56/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/11-54-43/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/11-54-43/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/11-55-51/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/11-55-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-29-17/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-29-17/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-30-13/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-30-13/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-33-29/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-33-29/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-35-53/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-35-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-37-02/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-37-02/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-37-45/.hydra/config.yaml: -------------------------------------------------------------------------------- 1 | split: 2 | name: test 3 | k: 1 4 | N_ITER: 4 5 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/outputs/2024-03-20/19-37-45/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/plot/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/experiments/star-gate/plot/utils.py -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-counterbalanced/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized-zero-shot/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized-zero-shot/outputs/2024-03-20/01-08-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized-zero-shot/outputs/2024-03-20/09-52-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized-zero-shot/outputs/2024-03-23/13-02-37/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized-zero-shot/outputs/2024-03-23/13-41-54/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized-zero-shot/outputs/2024-03-24/10-36-02/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | [] 2 | -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized/outputs/2024-03-20/01-08-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates-randomized/outputs/2024-03-20/09-52-20/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/response-win-rates/outputs/2024-03-17/09-37-47/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/preprocess/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/sft/preprocess/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate/sft/preprocess/outputs/2024-03-13/20-46-53/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/preprocess/outputs/2024-03-13/21-13-35/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m2 3 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/outputs/m0 A training run/sequence-lengths/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - split=A 2 | - qa_model=m0 3 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/latest-run: -------------------------------------------------------------------------------- 1 | run-20240313_211845-b9vtej5v -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_133025-c6secmtu/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_133025-iqn72low/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_133025-l4mhv69x/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_133025-rcfwuba7/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 2}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_133103-6n3d9rsq/run-6n3d9rsq.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_133103-o5tmrvpr/run-o5tmrvpr.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_133103-z5ms9drl/run-z5ms9drl.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_143720-a9uqleje/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 3}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_143812-xzddpz3t/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_144002-cca5jzup/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 66}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_153421-ws1rekg0/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 106}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_153422-v4wx75v8/run-v4wx75v8.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_154013-7eat5qmx/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 72}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_154013-tod5jobf/run-tod5jobf.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_154239-wrcwf99z/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 110}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_154605-10bfmv3d/run-10bfmv3d.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240219_154605-c9lfvt03/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 84}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240228_202358-h89k31hv/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 7}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240228_202624-0zu1ij09/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 58}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240228_202736-s07jfif3/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 89}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240301_024934-3b1a6hjt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 10}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240301_025035-r2a7zfh4/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 71}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240304_044133-4uul4mei/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 9}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240306_092907-l0q98fot/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240308_025432-jaxc7ikt/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240308_095845-v5hjq55y/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240308_114336-czd00p49/files/wandb-summary.json: -------------------------------------------------------------------------------- 1 | {"_wandb": {"runtime": 8}} -------------------------------------------------------------------------------- /experiments/star-gate/sft/train/wandb/run-20240313_211739-qy2ronp7/run-qy2ronp7.wandb: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/conf/condition/neg-control.yaml: -------------------------------------------------------------------------------- 1 | name: neg-control -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/conf/condition/pos-control-1.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-1 -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/conf/condition/pos-control-2.yaml: -------------------------------------------------------------------------------- 1 | name: pos-control-2 -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/conf/condition/qa-experimental.yaml: -------------------------------------------------------------------------------- 1 | name: qa-experimental -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A 2 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B 2 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test 2 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-22-25/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-22-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-22-36/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-22-41/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-23-09/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-23-15/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-23-21/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-23-27/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-30-51/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-30-55/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-30-58/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/11-31-02/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/19-16-22/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m0 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/19-16-26/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m1 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/19-16-30/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m2 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/shuffled-log-probs/outputs/2024-03-20/19-16-33/.hydra/overrides.yaml: -------------------------------------------------------------------------------- 1 | - qa_model=m3 2 | - split=test 3 | -------------------------------------------------------------------------------- /experiments/star-gate/simulate-conversations/conf/split/A.yaml: -------------------------------------------------------------------------------- 1 | name: A -------------------------------------------------------------------------------- /experiments/star-gate/simulate-conversations/conf/split/B.yaml: -------------------------------------------------------------------------------- 1 | name: B -------------------------------------------------------------------------------- /experiments/star-gate/simulate-conversations/conf/split/test.yaml: -------------------------------------------------------------------------------- 1 | name: test -------------------------------------------------------------------------------- /experiments/star-gate/simulate-conversations/conf/turn/t1.yaml: -------------------------------------------------------------------------------- 1 | number: 1 -------------------------------------------------------------------------------- /experiments/star-gate/simulate-conversations/conf/turn/t2.yaml: -------------------------------------------------------------------------------- 1 | number: 2 -------------------------------------------------------------------------------- /experiments/star-gate/simulate-conversations/conf/turn/t3.yaml: -------------------------------------------------------------------------------- 1 | number: 3 -------------------------------------------------------------------------------- /experiments/star-gate/simulate-conversations/shuffle.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/pyproject.toml -------------------------------------------------------------------------------- /requirements.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/requirements.txt -------------------------------------------------------------------------------- /setup.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/setup.py -------------------------------------------------------------------------------- /src/AG/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /src/AG/helpers.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/src/AG/helpers.py -------------------------------------------------------------------------------- /src/AG/models/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /src/AG/models/huggingface/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /src/AG/models/openai/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /src/AG/models/openai/azure.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/src/AG/models/openai/azure.py -------------------------------------------------------------------------------- /src/AG/models/openai/gpt4.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/src/AG/models/openai/gpt4.py -------------------------------------------------------------------------------- /src/AG/models/vllm_models/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /src/AG/trainers/SFTTrainer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/src/AG/trainers/SFTTrainer.py -------------------------------------------------------------------------------- /src/AG/trainers/SFTTrainerUtils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/src/AG/trainers/SFTTrainerUtils.py -------------------------------------------------------------------------------- /src/AG/trainers/__init__,.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /src/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /src/global_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/src/global_utils.py -------------------------------------------------------------------------------- /src/paths.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/scandukuri/assistant-gate/HEAD/src/paths.py --------------------------------------------------------------------------------