├── .gitignore ├── InternVL ├── CL-MoE │ ├── .env │ ├── CLMoE │ │ ├── .DS_Store │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ └── __init__.cpython-310.pyc │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── auto.cpython-310.pyc │ │ │ ├── import_utils.cpython-310.pyc │ │ │ ├── mapping.cpython-310.pyc │ │ │ ├── peft_model.cpython-310.pyc │ │ │ └── shared.cpython-310.pyc │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── adalora.cpython-310.pyc │ │ │ │ ├── adaption_prompt.cpython-310.pyc │ │ │ │ ├── clitmoelora.cpython-310.pyc │ │ │ │ ├── ia3.cpython-310.pyc │ │ │ │ ├── lora.cpython-310.pyc │ │ │ │ ├── p_tuning.cpython-310.pyc │ │ │ │ ├── prefix_tuning.cpython-310.pyc │ │ │ │ └── prompt_tuning.cpython-310.pyc │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── clitmoelora.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── config.cpython-310.pyc │ │ │ ├── hub_utils.cpython-310.pyc │ │ │ ├── other.cpython-310.pyc │ │ │ └── save_and_load.cpython-310.pyc │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── README.md │ ├── llava │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── constants.cpython-310.pyc │ │ │ ├── conversation.cpython-310.pyc │ │ │ ├── mm_utils.cpython-310.pyc │ │ │ └── utils.cpython-310.pyc │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── api.cpython-310.pyc │ │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ │ ├── convert_result_to_submission.cpython-310.pyc │ │ │ │ │ ├── eval_ai2d.cpython-310.pyc │ │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ │ ├── eval_deepseek_r1.cpython-310.pyc │ │ │ │ │ ├── eval_finvis.cpython-310.pyc │ │ │ │ │ ├── eval_math.cpython-310.pyc │ │ │ │ │ ├── eval_ocr.cpython-310.pyc │ │ │ │ │ ├── eval_pvqa.cpython-310.pyc │ │ │ │ │ ├── eval_sat.cpython-310.pyc │ │ │ │ │ ├── eval_sci.cpython-310.pyc │ │ │ │ │ ├── model_ai2d.cpython-310.pyc │ │ │ │ │ ├── model_fin.cpython-310.pyc │ │ │ │ │ ├── model_math.cpython-310.pyc │ │ │ │ │ ├── model_ocr.cpython-310.pyc │ │ │ │ │ ├── model_others.cpython-310.pyc │ │ │ │ │ ├── model_pvqa.cpython-310.pyc │ │ │ │ │ └── model_sat.cpython-310.pyc │ │ │ │ ├── api.py │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── __pycache__ │ │ │ │ ├── eval_aokvqa.cpython-310.pyc │ │ │ │ ├── eval_arxivqa.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_iconqa.cpython-310.pyc │ │ │ │ └── model_vqa_loader.cpython-310.pyc │ │ │ ├── eval_aokvqa.py │ │ │ ├── eval_arxivqa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_iconqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── eval_textvqa.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_science.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── results │ │ │ │ │ ├── test_sqa_llava_13b_v0.json │ │ │ │ │ └── test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── llava_arch.cpython-310.pyc │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ │ └── llava_mpt.cpython-310.pyc │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ │ ├── builder.py │ │ │ │ ├── clip_encoder.py │ │ │ │ ├── eva_clip │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_evaclip.cpython-310.pyc │ │ │ │ │ │ └── modeling_evaclip.cpython-310.pyc │ │ │ │ │ ├── configuration_evaclip.py │ │ │ │ │ └── modeling_evaclip.py │ │ │ │ ├── intern_vit_6b │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ │ └── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ └── modeling_intern_vit.py │ │ │ │ └── internvl_14b │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_internvl.cpython-310.pyc │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ ├── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── modeling_internvl.cpython-310.pyc │ │ │ │ │ └── modeling_qllama.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── configuration_internvl.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ │ ├── modeling_internvl.py │ │ │ │ │ └── modeling_qllama.py │ │ │ ├── multimodal_projector │ │ │ │ ├── __pycache__ │ │ │ │ │ └── builder.cpython-310.pyc │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ ├── img1.jpg │ │ │ │ ├── img2.jpg │ │ │ │ ├── img3.jpg │ │ │ │ ├── img4.jpg │ │ │ │ ├── img5.jpg │ │ │ │ ├── img6.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── __pycache__ │ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ │ └── train.cpython-310.pyc │ │ │ ├── dist_utils.py │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_custom.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_custom.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── zero1.json │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── DISCO │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ └── __init__.cpython-39.pyc │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── auto.cpython-310.pyc │ │ │ ├── auto.cpython-39.pyc │ │ │ ├── import_utils.cpython-310.pyc │ │ │ ├── import_utils.cpython-39.pyc │ │ │ ├── mapping.cpython-310.pyc │ │ │ ├── mapping.cpython-39.pyc │ │ │ ├── peft_model.cpython-310.pyc │ │ │ ├── peft_model.cpython-39.pyc │ │ │ ├── shared.cpython-310.pyc │ │ │ └── shared.cpython-39.pyc │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── __init__.cpython-39.pyc │ │ │ │ ├── adalora.cpython-310.pyc │ │ │ │ ├── adalora.cpython-39.pyc │ │ │ │ ├── adaption_prompt.cpython-310.pyc │ │ │ │ ├── adaption_prompt.cpython-39.pyc │ │ │ │ ├── coinmoelora.cpython-310.pyc │ │ │ │ ├── coinmoelora.cpython-39.pyc │ │ │ │ ├── ia3.cpython-310.pyc │ │ │ │ ├── ia3.cpython-39.pyc │ │ │ │ ├── lora.cpython-310.pyc │ │ │ │ ├── lora.cpython-39.pyc │ │ │ │ ├── p_tuning.cpython-310.pyc │ │ │ │ ├── p_tuning.cpython-39.pyc │ │ │ │ ├── prefix_tuning.cpython-310.pyc │ │ │ │ ├── prefix_tuning.cpython-39.pyc │ │ │ │ ├── prompt_tuning.cpython-310.pyc │ │ │ │ └── prompt_tuning.cpython-39.pyc │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── coinmoelora.py │ │ │ ├── coinmoelora_new.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── config.cpython-310.pyc │ │ │ ├── config.cpython-39.pyc │ │ │ ├── hub_utils.cpython-310.pyc │ │ │ ├── hub_utils.cpython-39.pyc │ │ │ ├── other.cpython-310.pyc │ │ │ ├── other.cpython-39.pyc │ │ │ ├── save_and_load.cpython-310.pyc │ │ │ └── save_and_load.cpython-39.pyc │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── README.md │ ├── llava │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── constants.cpython-310.pyc │ │ │ ├── conversation.cpython-310.pyc │ │ │ ├── mm_utils.cpython-310.pyc │ │ │ └── utils.cpython-310.pyc │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ │ ├── eval_ai2d.cpython-310.pyc │ │ │ │ │ ├── eval_finvis.cpython-310.pyc │ │ │ │ │ ├── eval_math.cpython-310.pyc │ │ │ │ │ ├── eval_ocr.cpython-310.pyc │ │ │ │ │ ├── eval_pvqa.cpython-310.pyc │ │ │ │ │ ├── eval_sat.cpython-310.pyc │ │ │ │ │ ├── eval_sci.cpython-310.pyc │ │ │ │ │ ├── model_ai2d.cpython-310.pyc │ │ │ │ │ ├── model_fin.cpython-310.pyc │ │ │ │ │ ├── model_math.cpython-310.pyc │ │ │ │ │ ├── model_ocr.cpython-310.pyc │ │ │ │ │ ├── model_pvqa.cpython-310.pyc │ │ │ │ │ └── model_sat.cpython-310.pyc │ │ │ │ ├── api.py │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── __pycache__ │ │ │ │ ├── eval_aokvqa.cpython-310.pyc │ │ │ │ ├── eval_arxivqa.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_iconqa.cpython-310.pyc │ │ │ │ └── model_vqa_loader.cpython-310.pyc │ │ │ ├── eval_aokvqa.py │ │ │ ├── eval_arxivqa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_iconqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── eval_textvqa.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_science.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── results │ │ │ │ │ ├── test_sqa_llava_13b_v0.json │ │ │ │ │ └── test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── llava_arch.cpython-310.pyc │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ │ └── llava_mpt.cpython-310.pyc │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ │ ├── builder.py │ │ │ │ ├── clip_encoder.py │ │ │ │ ├── eva_clip │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_evaclip.cpython-310.pyc │ │ │ │ │ │ └── modeling_evaclip.cpython-310.pyc │ │ │ │ │ ├── configuration_evaclip.py │ │ │ │ │ └── modeling_evaclip.py │ │ │ │ ├── intern_vit_6b │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ │ └── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ └── modeling_intern_vit.py │ │ │ │ └── internvl_14b │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_internvl.cpython-310.pyc │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ ├── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── modeling_internvl.cpython-310.pyc │ │ │ │ │ └── modeling_qllama.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── configuration_internvl.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ │ ├── modeling_internvl.py │ │ │ │ │ └── modeling_qllama.py │ │ │ ├── multimodal_projector │ │ │ │ ├── __pycache__ │ │ │ │ │ └── builder.cpython-310.pyc │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ ├── img1.jpg │ │ │ │ ├── img2.jpg │ │ │ │ ├── img3.jpg │ │ │ │ ├── img4.jpg │ │ │ │ ├── img5.jpg │ │ │ │ ├── img6.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── __pycache__ │ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ │ └── train.cpython-310.pyc │ │ │ ├── dist_utils.py │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_custom.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_custom.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── zero1.json │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── HiDe │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ └── __init__.cpython-39.pyc │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── auto.cpython-310.pyc │ │ │ ├── auto.cpython-39.pyc │ │ │ ├── import_utils.cpython-310.pyc │ │ │ ├── import_utils.cpython-39.pyc │ │ │ ├── mapping.cpython-310.pyc │ │ │ ├── mapping.cpython-39.pyc │ │ │ ├── peft_model.cpython-310.pyc │ │ │ ├── peft_model.cpython-39.pyc │ │ │ ├── shared.cpython-310.pyc │ │ │ └── shared.cpython-39.pyc │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── __init__.cpython-39.pyc │ │ │ │ ├── adalora.cpython-310.pyc │ │ │ │ ├── adalora.cpython-39.pyc │ │ │ │ ├── adaption_prompt.cpython-310.pyc │ │ │ │ ├── adaption_prompt.cpython-39.pyc │ │ │ │ ├── coinmoelora.cpython-310.pyc │ │ │ │ ├── coinmoelora.cpython-39.pyc │ │ │ │ ├── ia3.cpython-310.pyc │ │ │ │ ├── ia3.cpython-39.pyc │ │ │ │ ├── lora.cpython-310.pyc │ │ │ │ ├── lora.cpython-39.pyc │ │ │ │ ├── p_tuning.cpython-310.pyc │ │ │ │ ├── p_tuning.cpython-39.pyc │ │ │ │ ├── prefix_tuning.cpython-310.pyc │ │ │ │ ├── prefix_tuning.cpython-39.pyc │ │ │ │ ├── prompt_tuning.cpython-310.pyc │ │ │ │ └── prompt_tuning.cpython-39.pyc │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── coinmoelora.py │ │ │ ├── coinmoelora_new.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── config.cpython-310.pyc │ │ │ ├── config.cpython-39.pyc │ │ │ ├── hub_utils.cpython-310.pyc │ │ │ ├── hub_utils.cpython-39.pyc │ │ │ ├── other.cpython-310.pyc │ │ │ ├── other.cpython-39.pyc │ │ │ ├── save_and_load.cpython-310.pyc │ │ │ └── save_and_load.cpython-39.pyc │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── README.md │ ├── llava │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── constants.cpython-310.pyc │ │ │ ├── conversation.cpython-310.pyc │ │ │ ├── mm_utils.cpython-310.pyc │ │ │ └── utils.cpython-310.pyc │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ │ ├── convert_result_to_submission.cpython-310.pyc │ │ │ │ │ ├── eval_ai2d.cpython-310.pyc │ │ │ │ │ ├── eval_deepseek_r1.cpython-310.pyc │ │ │ │ │ ├── eval_finvis.cpython-310.pyc │ │ │ │ │ ├── eval_math.cpython-310.pyc │ │ │ │ │ ├── eval_ocr.cpython-310.pyc │ │ │ │ │ ├── eval_pvqa.cpython-310.pyc │ │ │ │ │ ├── eval_sat.cpython-310.pyc │ │ │ │ │ ├── eval_sci.cpython-310.pyc │ │ │ │ │ ├── model_ai2d.cpython-310.pyc │ │ │ │ │ ├── model_fin.cpython-310.pyc │ │ │ │ │ ├── model_math.cpython-310.pyc │ │ │ │ │ ├── model_ocr.cpython-310.pyc │ │ │ │ │ ├── model_others.cpython-310.pyc │ │ │ │ │ ├── model_pvqa.cpython-310.pyc │ │ │ │ │ └── model_sat.cpython-310.pyc │ │ │ │ ├── api.py │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── __pycache__ │ │ │ │ ├── eval_aokvqa.cpython-310.pyc │ │ │ │ ├── eval_arxivqa.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_iconqa.cpython-310.pyc │ │ │ │ └── model_vqa_loader.cpython-310.pyc │ │ │ ├── eval_aokvqa.py │ │ │ ├── eval_arxivqa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_iconqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── eval_textvqa.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_science.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── results │ │ │ │ │ ├── test_sqa_llava_13b_v0.json │ │ │ │ │ └── test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── llava_arch.cpython-310.pyc │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ │ └── llava_mpt.cpython-310.pyc │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ │ ├── builder.py │ │ │ │ ├── clip_encoder.py │ │ │ │ ├── eva_clip │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_evaclip.cpython-310.pyc │ │ │ │ │ │ └── modeling_evaclip.cpython-310.pyc │ │ │ │ │ ├── configuration_evaclip.py │ │ │ │ │ └── modeling_evaclip.py │ │ │ │ ├── intern_vit_6b │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ │ └── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ └── modeling_intern_vit.py │ │ │ │ └── internvl_14b │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_internvl.cpython-310.pyc │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ ├── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── modeling_internvl.cpython-310.pyc │ │ │ │ │ └── modeling_qllama.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── configuration_internvl.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ │ ├── modeling_internvl.py │ │ │ │ │ └── modeling_qllama.py │ │ │ ├── multimodal_projector │ │ │ │ ├── __pycache__ │ │ │ │ │ └── builder.cpython-310.pyc │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ ├── img1.jpg │ │ │ │ ├── img2.jpg │ │ │ │ ├── img3.jpg │ │ │ │ ├── img4.jpg │ │ │ │ ├── img5.jpg │ │ │ │ ├── img6.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── __pycache__ │ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ │ └── train.cpython-310.pyc │ │ │ ├── dist_utils.py │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_custom.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_custom.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ ├── requirements.txt │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── zero1.json │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── LoRA-FT │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ └── __init__.cpython-39.pyc │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── auto.cpython-310.pyc │ │ │ ├── auto.cpython-39.pyc │ │ │ ├── import_utils.cpython-310.pyc │ │ │ ├── import_utils.cpython-39.pyc │ │ │ ├── mapping.cpython-310.pyc │ │ │ ├── mapping.cpython-39.pyc │ │ │ ├── peft_model.cpython-310.pyc │ │ │ ├── peft_model.cpython-39.pyc │ │ │ ├── shared.cpython-310.pyc │ │ │ └── shared.cpython-39.pyc │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── __init__.cpython-39.pyc │ │ │ │ ├── adalora.cpython-310.pyc │ │ │ │ ├── adalora.cpython-39.pyc │ │ │ │ ├── adaption_prompt.cpython-310.pyc │ │ │ │ ├── adaption_prompt.cpython-39.pyc │ │ │ │ ├── coinmoelora.cpython-310.pyc │ │ │ │ ├── coinmoelora.cpython-39.pyc │ │ │ │ ├── ia3.cpython-310.pyc │ │ │ │ ├── ia3.cpython-39.pyc │ │ │ │ ├── lora.cpython-310.pyc │ │ │ │ ├── lora.cpython-39.pyc │ │ │ │ ├── p_tuning.cpython-310.pyc │ │ │ │ ├── p_tuning.cpython-39.pyc │ │ │ │ ├── prefix_tuning.cpython-310.pyc │ │ │ │ ├── prefix_tuning.cpython-39.pyc │ │ │ │ ├── prompt_tuning.cpython-310.pyc │ │ │ │ └── prompt_tuning.cpython-39.pyc │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── coinmoelora.py │ │ │ ├── coinmoelora_new.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── config.cpython-310.pyc │ │ │ ├── config.cpython-39.pyc │ │ │ ├── hub_utils.cpython-310.pyc │ │ │ ├── hub_utils.cpython-39.pyc │ │ │ ├── other.cpython-310.pyc │ │ │ ├── other.cpython-39.pyc │ │ │ ├── save_and_load.cpython-310.pyc │ │ │ └── save_and_load.cpython-39.pyc │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── README.md │ ├── llava │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── constants.cpython-310.pyc │ │ │ ├── conversation.cpython-310.pyc │ │ │ ├── mm_utils.cpython-310.pyc │ │ │ └── utils.cpython-310.pyc │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── api.cpython-310.pyc │ │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ │ ├── convert_result_to_submission.cpython-310.pyc │ │ │ │ │ ├── eval_ai2d.cpython-310.pyc │ │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ │ ├── eval_deepseek_r1.cpython-310.pyc │ │ │ │ │ ├── eval_finvis.cpython-310.pyc │ │ │ │ │ ├── eval_math.cpython-310.pyc │ │ │ │ │ ├── eval_ocr.cpython-310.pyc │ │ │ │ │ ├── eval_pvqa.cpython-310.pyc │ │ │ │ │ ├── eval_sat.cpython-310.pyc │ │ │ │ │ ├── eval_sci.cpython-310.pyc │ │ │ │ │ ├── model_ai2d.cpython-310.pyc │ │ │ │ │ ├── model_fin.cpython-310.pyc │ │ │ │ │ ├── model_math.cpython-310.pyc │ │ │ │ │ ├── model_ocr.cpython-310.pyc │ │ │ │ │ ├── model_others.cpython-310.pyc │ │ │ │ │ ├── model_pvqa.cpython-310.pyc │ │ │ │ │ └── model_sat.cpython-310.pyc │ │ │ │ ├── api.py │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── __pycache__ │ │ │ │ ├── eval_aokvqa.cpython-310.pyc │ │ │ │ ├── eval_arxivqa.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_iconqa.cpython-310.pyc │ │ │ │ └── model_vqa_loader.cpython-310.pyc │ │ │ ├── eval_aokvqa.py │ │ │ ├── eval_arxivqa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_iconqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── eval_textvqa.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_science.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── results │ │ │ │ │ ├── test_sqa_llava_13b_v0.json │ │ │ │ │ └── test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── llava_arch.cpython-310.pyc │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ │ └── llava_mpt.cpython-310.pyc │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ │ ├── builder.py │ │ │ │ ├── clip_encoder.py │ │ │ │ ├── eva_clip │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_evaclip.cpython-310.pyc │ │ │ │ │ │ └── modeling_evaclip.cpython-310.pyc │ │ │ │ │ ├── configuration_evaclip.py │ │ │ │ │ └── modeling_evaclip.py │ │ │ │ ├── intern_vit_6b │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ │ └── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ └── modeling_intern_vit.py │ │ │ │ └── internvl_14b │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_internvl.cpython-310.pyc │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ ├── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── modeling_internvl.cpython-310.pyc │ │ │ │ │ └── modeling_qllama.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── configuration_internvl.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ │ ├── modeling_internvl.py │ │ │ │ │ └── modeling_qllama.py │ │ │ ├── multimodal_projector │ │ │ │ ├── __pycache__ │ │ │ │ │ └── builder.cpython-310.pyc │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ ├── img1.jpg │ │ │ │ ├── img2.jpg │ │ │ │ ├── img3.jpg │ │ │ │ ├── img4.jpg │ │ │ │ ├── img5.jpg │ │ │ │ ├── img6.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── __pycache__ │ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ │ └── train.cpython-310.pyc │ │ │ ├── dist_utils.py │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_custom.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_custom.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── Eval_zero_shot.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── Eval_zero_shot.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── merge_lora_weights.py │ │ ├── zero1.json │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── MoELoRA │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ └── __init__.cpython-39.pyc │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── auto.cpython-310.pyc │ │ │ ├── auto.cpython-39.pyc │ │ │ ├── import_utils.cpython-310.pyc │ │ │ ├── import_utils.cpython-39.pyc │ │ │ ├── mapping.cpython-310.pyc │ │ │ ├── mapping.cpython-39.pyc │ │ │ ├── peft_model.cpython-310.pyc │ │ │ ├── peft_model.cpython-39.pyc │ │ │ ├── shared.cpython-310.pyc │ │ │ └── shared.cpython-39.pyc │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── __init__.cpython-39.pyc │ │ │ │ ├── adalora.cpython-310.pyc │ │ │ │ ├── adalora.cpython-39.pyc │ │ │ │ ├── adaption_prompt.cpython-310.pyc │ │ │ │ ├── adaption_prompt.cpython-39.pyc │ │ │ │ ├── coinmoelora.cpython-310.pyc │ │ │ │ ├── coinmoelora.cpython-39.pyc │ │ │ │ ├── ia3.cpython-310.pyc │ │ │ │ ├── ia3.cpython-39.pyc │ │ │ │ ├── lora.cpython-310.pyc │ │ │ │ ├── lora.cpython-39.pyc │ │ │ │ ├── p_tuning.cpython-310.pyc │ │ │ │ ├── p_tuning.cpython-39.pyc │ │ │ │ ├── prefix_tuning.cpython-310.pyc │ │ │ │ ├── prefix_tuning.cpython-39.pyc │ │ │ │ ├── prompt_tuning.cpython-310.pyc │ │ │ │ └── prompt_tuning.cpython-39.pyc │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── coinmoelora.py │ │ │ ├── coinmoelora_new.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── config.cpython-310.pyc │ │ │ ├── config.cpython-39.pyc │ │ │ ├── hub_utils.cpython-310.pyc │ │ │ ├── hub_utils.cpython-39.pyc │ │ │ ├── other.cpython-310.pyc │ │ │ ├── other.cpython-39.pyc │ │ │ ├── save_and_load.cpython-310.pyc │ │ │ └── save_and_load.cpython-39.pyc │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── README.md │ ├── llava │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── constants.cpython-310.pyc │ │ │ ├── conversation.cpython-310.pyc │ │ │ ├── mm_utils.cpython-310.pyc │ │ │ └── utils.cpython-310.pyc │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── api.cpython-310.pyc │ │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ │ ├── convert_result_to_submission.cpython-310.pyc │ │ │ │ │ ├── eval_ai2d.cpython-310.pyc │ │ │ │ │ ├── eval_finvis.cpython-310.pyc │ │ │ │ │ ├── eval_math.cpython-310.pyc │ │ │ │ │ ├── eval_ocr.cpython-310.pyc │ │ │ │ │ ├── eval_pvqa.cpython-310.pyc │ │ │ │ │ ├── eval_sat.cpython-310.pyc │ │ │ │ │ ├── eval_sci.cpython-310.pyc │ │ │ │ │ ├── model_ai2d.cpython-310.pyc │ │ │ │ │ ├── model_fin.cpython-310.pyc │ │ │ │ │ ├── model_math.cpython-310.pyc │ │ │ │ │ ├── model_ocr.cpython-310.pyc │ │ │ │ │ ├── model_pvqa.cpython-310.pyc │ │ │ │ │ └── model_sat.cpython-310.pyc │ │ │ │ ├── api.py │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── __pycache__ │ │ │ │ ├── eval_aokvqa.cpython-310.pyc │ │ │ │ ├── eval_arxivqa.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_iconqa.cpython-310.pyc │ │ │ │ └── model_vqa_loader.cpython-310.pyc │ │ │ ├── eval_aokvqa.py │ │ │ ├── eval_arxivqa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_iconqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── eval_textvqa.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_science.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── results │ │ │ │ │ ├── test_sqa_llava_13b_v0.json │ │ │ │ │ └── test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── llava_arch.cpython-310.pyc │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ │ └── llava_mpt.cpython-310.pyc │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ │ ├── builder.py │ │ │ │ ├── clip_encoder.py │ │ │ │ ├── eva_clip │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_evaclip.cpython-310.pyc │ │ │ │ │ │ └── modeling_evaclip.cpython-310.pyc │ │ │ │ │ ├── configuration_evaclip.py │ │ │ │ │ └── modeling_evaclip.py │ │ │ │ ├── intern_vit_6b │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ │ └── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ └── modeling_intern_vit.py │ │ │ │ └── internvl_14b │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_internvl.cpython-310.pyc │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ ├── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── modeling_internvl.cpython-310.pyc │ │ │ │ │ └── modeling_qllama.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── configuration_internvl.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ │ ├── modeling_internvl.py │ │ │ │ │ └── modeling_qllama.py │ │ │ ├── multimodal_projector │ │ │ │ ├── __pycache__ │ │ │ │ │ └── builder.cpython-310.pyc │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ ├── img1.jpg │ │ │ │ ├── img2.jpg │ │ │ │ ├── img3.jpg │ │ │ │ ├── img4.jpg │ │ │ │ ├── img5.jpg │ │ │ │ ├── img6.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── __pycache__ │ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ │ └── train.cpython-310.pyc │ │ │ ├── dist_utils.py │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_custom.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_custom.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── zero1.json │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── ModalPrompt │ ├── .env │ ├── LICENSE │ ├── ModalPrompt │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── README.md │ ├── llava │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── ModalPrompt │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ImagetNet.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gpt_review.py │ │ │ │ ├── eval_gqa copy.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_scienceqa_llm.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── evaluate_generalknowledege.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_gqa.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_ocr_vqa.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ ├── model_text_vqa.py │ │ │ │ ├── model_vizwiz.py │ │ │ │ ├── model_vqa_cc_imagenet.py │ │ │ │ ├── model_vqa_cc_instruction.py │ │ │ │ ├── model_vqa_science.py │ │ │ │ └── rule.json │ │ │ ├── eval_aokvqa.py │ │ │ ├── eval_arxivqa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_iconqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── eval_textvqa.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_science.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── ModalPrompt.py │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── builder.py │ │ │ │ ├── clip_encoder.py │ │ │ │ ├── eva_clip │ │ │ │ │ ├── configuration_evaclip.py │ │ │ │ │ └── modeling_evaclip.py │ │ │ │ ├── intern_vit_6b │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ └── modeling_intern_vit.py │ │ │ │ └── internvl_14b │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── configuration_internvl.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ │ ├── modeling_internvl.py │ │ │ │ │ └── modeling_qllama.py │ │ │ ├── multimodal_projector │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ ├── img1.jpg │ │ │ │ ├── img2.jpg │ │ │ │ ├── img3.jpg │ │ │ │ ├── img4.jpg │ │ │ │ ├── img5.jpg │ │ │ │ ├── img6.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── dist_utils.py │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_custom.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_custom.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ ├── requirements.txt │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── zero1.json │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── OLoRA │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ └── __init__.cpython-39.pyc │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── auto.cpython-310.pyc │ │ │ ├── auto.cpython-39.pyc │ │ │ ├── import_utils.cpython-310.pyc │ │ │ ├── import_utils.cpython-39.pyc │ │ │ ├── mapping.cpython-310.pyc │ │ │ ├── mapping.cpython-39.pyc │ │ │ ├── peft_model.cpython-310.pyc │ │ │ ├── peft_model.cpython-39.pyc │ │ │ ├── shared.cpython-310.pyc │ │ │ └── shared.cpython-39.pyc │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── __init__.cpython-39.pyc │ │ │ │ ├── adalora.cpython-310.pyc │ │ │ │ ├── adalora.cpython-39.pyc │ │ │ │ ├── adaption_prompt.cpython-310.pyc │ │ │ │ ├── adaption_prompt.cpython-39.pyc │ │ │ │ ├── coinmoelora.cpython-310.pyc │ │ │ │ ├── coinmoelora.cpython-39.pyc │ │ │ │ ├── ia3.cpython-310.pyc │ │ │ │ ├── ia3.cpython-39.pyc │ │ │ │ ├── lora.cpython-310.pyc │ │ │ │ ├── lora.cpython-39.pyc │ │ │ │ ├── p_tuning.cpython-310.pyc │ │ │ │ ├── p_tuning.cpython-39.pyc │ │ │ │ ├── prefix_tuning.cpython-310.pyc │ │ │ │ ├── prefix_tuning.cpython-39.pyc │ │ │ │ ├── prompt_tuning.cpython-310.pyc │ │ │ │ └── prompt_tuning.cpython-39.pyc │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── coinmoelora.py │ │ │ ├── coinmoelora_new.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── __init__.cpython-39.pyc │ │ │ ├── config.cpython-310.pyc │ │ │ ├── config.cpython-39.pyc │ │ │ ├── hub_utils.cpython-310.pyc │ │ │ ├── hub_utils.cpython-39.pyc │ │ │ ├── other.cpython-310.pyc │ │ │ ├── other.cpython-39.pyc │ │ │ ├── save_and_load.cpython-310.pyc │ │ │ └── save_and_load.cpython-39.pyc │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── README.md │ ├── llava │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── constants.cpython-310.pyc │ │ │ ├── conversation.cpython-310.pyc │ │ │ ├── mm_utils.cpython-310.pyc │ │ │ └── utils.cpython-310.pyc │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── api.cpython-310.pyc │ │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ │ ├── convert_result_to_submission.cpython-310.pyc │ │ │ │ │ ├── eval_ai2d.cpython-310.pyc │ │ │ │ │ ├── eval_finvis.cpython-310.pyc │ │ │ │ │ ├── eval_math.cpython-310.pyc │ │ │ │ │ ├── eval_ocr.cpython-310.pyc │ │ │ │ │ ├── eval_pvqa.cpython-310.pyc │ │ │ │ │ ├── eval_sat.cpython-310.pyc │ │ │ │ │ ├── eval_sci.cpython-310.pyc │ │ │ │ │ ├── model_ai2d.cpython-310.pyc │ │ │ │ │ ├── model_fin.cpython-310.pyc │ │ │ │ │ ├── model_math.cpython-310.pyc │ │ │ │ │ ├── model_ocr.cpython-310.pyc │ │ │ │ │ ├── model_pvqa.cpython-310.pyc │ │ │ │ │ └── model_sat.cpython-310.pyc │ │ │ │ ├── api.py │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── __pycache__ │ │ │ │ ├── eval_aokvqa.cpython-310.pyc │ │ │ │ ├── eval_arxivqa.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_iconqa.cpython-310.pyc │ │ │ │ └── model_vqa_loader.cpython-310.pyc │ │ │ ├── eval_aokvqa.py │ │ │ ├── eval_arxivqa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_iconqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── eval_textvqa.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_science.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── results │ │ │ │ │ ├── test_sqa_llava_13b_v0.json │ │ │ │ │ └── test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── llava_arch.cpython-310.pyc │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ │ └── llava_mpt.cpython-310.pyc │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ │ ├── builder.py │ │ │ │ ├── clip_encoder.py │ │ │ │ ├── eva_clip │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_evaclip.cpython-310.pyc │ │ │ │ │ │ └── modeling_evaclip.cpython-310.pyc │ │ │ │ │ ├── configuration_evaclip.py │ │ │ │ │ └── modeling_evaclip.py │ │ │ │ ├── intern_vit_6b │ │ │ │ │ ├── __pycache__ │ │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ │ └── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ └── modeling_intern_vit.py │ │ │ │ └── internvl_14b │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ ├── configuration_internvl.cpython-310.pyc │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ ├── modeling_intern_vit.cpython-310.pyc │ │ │ │ │ ├── modeling_internvl.cpython-310.pyc │ │ │ │ │ └── modeling_qllama.cpython-310.pyc │ │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ │ ├── configuration_internvl.py │ │ │ │ │ ├── flash_attention.py │ │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ │ ├── modeling_internvl.py │ │ │ │ │ └── modeling_qllama.py │ │ │ ├── multimodal_projector │ │ │ │ ├── __pycache__ │ │ │ │ │ └── builder.cpython-310.pyc │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ ├── img1.jpg │ │ │ │ ├── img2.jpg │ │ │ │ ├── img3.jpg │ │ │ │ ├── img4.jpg │ │ │ │ ├── img5.jpg │ │ │ │ ├── img6.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── __pycache__ │ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ │ └── train.cpython-310.pyc │ │ │ ├── dist_utils.py │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_custom.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_custom.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── zero1.json │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json └── SEFE │ ├── .env │ ├── CoIN-ASD │ ├── .DS_Store │ └── prompts │ │ ├── GQA │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ ├── Grounding │ │ ├── brief.txt │ │ └── detail.txt │ │ ├── ImageNet │ │ ├── brief.txt │ │ └── detail.txt │ │ ├── OCRVQA │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ ├── ScienceQA │ │ ├── brief_w_image.txt │ │ ├── brief_wo_image.txt │ │ ├── detail_w_image.txt │ │ └── detail_wo_image.txt │ │ ├── TextVQA │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ ├── VQAv2 │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ └── VizWiz │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ ├── LICENSE │ ├── README.md │ ├── key_elements_identification.py │ ├── llava │ ├── __init__.py │ ├── __pycache__ │ │ ├── __init__.cpython-310.pyc │ │ ├── constants.cpython-310.pyc │ │ ├── conversation.cpython-310.pyc │ │ ├── mm_utils.cpython-310.pyc │ │ └── utils.cpython-310.pyc │ ├── constants.py │ ├── conversation.py │ ├── eval │ │ ├── CoIN │ │ │ ├── __pycache__ │ │ │ │ ├── api.cpython-310.pyc │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ ├── convert_result_to_submission.cpython-310.pyc │ │ │ │ ├── eval_ai2d.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_deepseek_r1.cpython-310.pyc │ │ │ │ ├── eval_finvis.cpython-310.pyc │ │ │ │ ├── eval_math.cpython-310.pyc │ │ │ │ ├── eval_ocr.cpython-310.pyc │ │ │ │ ├── eval_pvqa.cpython-310.pyc │ │ │ │ ├── eval_sat.cpython-310.pyc │ │ │ │ ├── eval_sci.cpython-310.pyc │ │ │ │ ├── model_ai2d.cpython-310.pyc │ │ │ │ ├── model_fin.cpython-310.pyc │ │ │ │ ├── model_math.cpython-310.pyc │ │ │ │ ├── model_ocr.cpython-310.pyc │ │ │ │ ├── model_others.cpython-310.pyc │ │ │ │ ├── model_pvqa.cpython-310.pyc │ │ │ │ └── model_sat.cpython-310.pyc │ │ │ ├── api.py │ │ │ ├── coin_utils.py │ │ │ ├── convert_result_to_submission.py │ │ │ ├── eval_ai2d.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_finvis.py │ │ │ ├── eval_gqa.py │ │ │ ├── eval_grounding.py │ │ │ ├── eval_imagenet.py │ │ │ ├── eval_math.py │ │ │ ├── eval_ocr.py │ │ │ ├── eval_ocrvqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_pvqa.py │ │ │ ├── eval_sat.py │ │ │ ├── eval_sci.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_textvqa.py │ │ │ ├── eval_vizwiz.py │ │ │ ├── eval_vqav2.py │ │ │ ├── model_ai2d.py │ │ │ ├── model_fin.py │ │ │ ├── model_math.py │ │ │ ├── model_ocr.py │ │ │ ├── model_others.py │ │ │ ├── model_pvqa.py │ │ │ ├── model_sat.py │ │ │ └── model_science_qa.py │ │ ├── __pycache__ │ │ │ ├── eval_aokvqa.cpython-310.pyc │ │ │ ├── eval_arxivqa.cpython-310.pyc │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ ├── eval_iconqa.cpython-310.pyc │ │ │ └── model_vqa_loader.cpython-310.pyc │ │ ├── eval_aokvqa.py │ │ ├── eval_arxivqa.py │ │ ├── eval_caption.py │ │ ├── eval_gpt_review.py │ │ ├── eval_gpt_review_bench.py │ │ ├── eval_gpt_review_visual.py │ │ ├── eval_iconqa.py │ │ ├── eval_pope.py │ │ ├── eval_science_qa.py │ │ ├── eval_science_qa_gpt4.py │ │ ├── eval_science_qa_gpt4_requery.py │ │ ├── eval_textvqa.py │ │ ├── generate_webpage_data_from_table.py │ │ ├── m4c_evaluator.py │ │ ├── model_qa.py │ │ ├── model_vqa.py │ │ ├── model_vqa_loader.py │ │ ├── model_vqa_mmbench.py │ │ ├── model_vqa_science.py │ │ ├── qa_baseline_gpt35.py │ │ ├── run_llava.py │ │ ├── summarize_gpt_review.py │ │ ├── table │ │ │ ├── answer │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ ├── answer_bard.jsonl │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ ├── model.jsonl │ │ │ ├── prompt.jsonl │ │ │ ├── question.jsonl │ │ │ ├── results │ │ │ │ ├── test_sqa_llava_13b_v0.json │ │ │ │ └── test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json │ │ │ ├── review │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ ├── reviewer.jsonl │ │ │ └── rule.json │ │ └── webpage │ │ │ ├── figures │ │ │ ├── alpaca.png │ │ │ ├── bard.jpg │ │ │ ├── chatgpt.svg │ │ │ ├── llama.jpg │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ └── vicuna.jpeg │ │ │ ├── index.html │ │ │ ├── script.js │ │ │ └── styles.css │ ├── mm_utils.py │ ├── model │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── builder.cpython-310.pyc │ │ │ └── llava_arch.cpython-310.pyc │ │ ├── apply_delta.py │ │ ├── builder.py │ │ ├── consolidate.py │ │ ├── language_model │ │ │ ├── __pycache__ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ ├── llava_mpt.cpython-310.pyc │ │ │ │ └── modeling_llama.cpython-310.pyc │ │ │ ├── llava_llama.py │ │ │ ├── llava_mpt.py │ │ │ ├── modeling_llama.py │ │ │ └── mpt │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ ├── attention.py │ │ │ │ ├── blocks.py │ │ │ │ ├── configuration_mpt.py │ │ │ │ ├── custom_embedding.py │ │ │ │ ├── flash_attn_triton.py │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ ├── meta_init_context.py │ │ │ │ ├── modeling_mpt.py │ │ │ │ ├── norm.py │ │ │ │ └── param_init_fns.py │ │ ├── llava_arch.py │ │ ├── make_delta.py │ │ ├── multimodal_encoder │ │ │ ├── __pycache__ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ ├── builder.py │ │ │ ├── clip_encoder.py │ │ │ ├── eva_clip │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── configuration_evaclip.cpython-310.pyc │ │ │ │ │ └── modeling_evaclip.cpython-310.pyc │ │ │ │ ├── configuration_evaclip.py │ │ │ │ └── modeling_evaclip.py │ │ │ ├── intern_vit_6b │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ │ └── modeling_intern_vit.cpython-310.pyc │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ ├── flash_attention.py │ │ │ │ └── modeling_intern_vit.py │ │ │ └── internvl_14b │ │ │ │ ├── __init__.py │ │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ ├── configuration_intern_vit.cpython-310.pyc │ │ │ │ ├── configuration_internvl.cpython-310.pyc │ │ │ │ ├── flash_attention.cpython-310.pyc │ │ │ │ ├── modeling_intern_vit.cpython-310.pyc │ │ │ │ ├── modeling_internvl.cpython-310.pyc │ │ │ │ └── modeling_qllama.cpython-310.pyc │ │ │ │ ├── configuration_intern_vit.py │ │ │ │ ├── configuration_internvl.py │ │ │ │ ├── flash_attention.py │ │ │ │ ├── modeling_intern_vit.py │ │ │ │ ├── modeling_internvl.py │ │ │ │ └── modeling_qllama.py │ │ ├── multimodal_projector │ │ │ ├── __pycache__ │ │ │ │ └── builder.cpython-310.pyc │ │ │ └── builder.py │ │ └── utils.py │ ├── serve │ │ ├── __init__.py │ │ ├── cli.py │ │ ├── controller.py │ │ ├── examples │ │ │ ├── extreme_ironing.jpg │ │ │ ├── img1.jpg │ │ │ ├── img2.jpg │ │ │ ├── img3.jpg │ │ │ ├── img4.jpg │ │ │ ├── img5.jpg │ │ │ ├── img6.jpg │ │ │ └── waterview.jpg │ │ ├── gradio_web_server.py │ │ ├── model_worker.py │ │ ├── register_worker.py │ │ └── test_message.py │ ├── train │ │ ├── __pycache__ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ └── train.cpython-310.pyc │ │ ├── dist_utils.py │ │ ├── llama_flash_attn_monkey_patch.py │ │ ├── llava_trainer.py │ │ ├── train.py │ │ ├── train_custom.py │ │ ├── train_mem.py │ │ └── train_mem_custom.py │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ ├── MCITlib │ ├── Eval_MLLM_ACL │ │ ├── Eval_finetune1.sh │ │ ├── eval_APP.sh │ │ ├── eval_Math.sh │ │ ├── eval_OCR.sh │ │ └── eval_VP.sh │ ├── Eval_MLLM_DCL │ │ ├── Eval_finetune1.sh │ │ ├── eval_ad.sh │ │ ├── eval_fin.sh │ │ ├── eval_med.sh │ │ ├── eval_rs.sh │ │ └── eval_sci.sh │ ├── Eval_UCIT │ │ ├── Eval_finetune1.sh │ │ ├── eval_arxivqa.sh │ │ ├── eval_clevr.sh │ │ ├── eval_flickr30k.sh │ │ ├── eval_iconqa.sh │ │ ├── eval_imagenet.sh │ │ └── eval_vizwiz.sh │ └── Train │ │ ├── Task1.sh │ │ ├── Taskn.sh │ │ ├── train_ACL.sh │ │ ├── train_DCL.sh │ │ └── train_UCIT.sh │ ├── merge_lora_weights.py │ ├── zero1.json │ ├── zero2.json │ ├── zero3.json │ └── zero3_offload.json ├── LLaVA ├── CL-MoE │ ├── .dockerignore │ ├── .editorconfig │ ├── .env │ ├── CLMoE │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── clitmoelora.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── cog.yaml │ ├── llava │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CLMoE │ │ │ │ └── model_vqa_cc_instruction.py │ │ │ ├── CoIN │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ └── model_answer.py │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── builder.py │ │ │ │ └── clip_encoder.py │ │ │ ├── multimodal_projector │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── train │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llama_xformers_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_MOE.py │ │ │ ├── train_mem.py │ │ │ └── train_mem_MOE.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── DISCO │ ├── .dockerignore │ ├── .editorconfig │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── clitmoelora.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── cog.yaml │ ├── llava │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_gpt_review_visual_cl.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_answer.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_cl.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_qbench.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ └── summarize_gpt_review.py │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── builder.py │ │ │ │ └── clip_encoder.py │ │ │ ├── multimodal_projector │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llama_xformers_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_MOE.py │ │ │ ├── train_mem.py │ │ │ ├── train_mem_MOE.py │ │ │ └── train_xformers.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── convert_gqa_for_eval.py │ │ ├── convert_vizwiz_for_submission.py │ │ ├── convert_vqav2_for_submission.py │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── HiDe │ ├── .dockerignore │ ├── .editorconfig │ ├── .env │ ├── HiDe │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── clitmoelora.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── cog.yaml │ ├── llava │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_gpt_review_visual_cl.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_answer.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_cl.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_qbench.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ └── summarize_gpt_review.py │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── builder.py │ │ │ │ └── clip_encoder.py │ │ │ ├── multimodal_projector │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llama_xformers_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_MOE.py │ │ │ ├── train_mem.py │ │ │ ├── train_mem_MOE.py │ │ │ └── train_xformers.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── convert_gqa_for_eval.py │ │ ├── convert_vizwiz_for_submission.py │ │ ├── convert_vqav2_for_submission.py │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── LoRA-FT │ ├── .dockerignore │ ├── .editorconfig │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── clitmoelora.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── cog.yaml │ ├── llava │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── api.py │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── eval_ai2d.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_finvis.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_gpt_review_visual_cl.py │ │ │ ├── eval_math.py │ │ │ ├── eval_ocr.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_pvqa.py │ │ │ ├── eval_sat.py │ │ │ ├── eval_sci.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_answer.py │ │ │ ├── model_answer_sci.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_cl.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_qbench.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ └── summarize_gpt_review.py │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── builder.py │ │ │ │ └── clip_encoder.py │ │ │ ├── multimodal_projector │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llama_xformers_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_MOE.py │ │ │ ├── train_mem.py │ │ │ ├── train_mem_MOE.py │ │ │ └── train_xformers.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── output.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── Eval_zero_shot.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── Eval_zero_shot.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── convert_gqa_for_eval.py │ │ ├── convert_result_to_submission.py │ │ ├── convert_vizwiz_for_submission.py │ │ ├── convert_vqav2_for_submission.py │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── MoELoRA │ ├── .dockerignore │ ├── .editorconfig │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── clitmoelora.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── cog.yaml │ ├── llava │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_imagenet.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pope.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ └── model_science_qa.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_gpt_review_visual_cl.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_answer.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_cl.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_qbench.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── builder.py │ │ │ │ └── clip_encoder.py │ │ │ ├── multimodal_projector │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llama_xformers_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_MOE.py │ │ │ ├── train_mem.py │ │ │ ├── train_mem_MOE.py │ │ │ └── train_xformers.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── convert_gqa_for_eval.py │ │ ├── convert_vizwiz_for_submission.py │ │ ├── convert_vqav2_for_submission.py │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── ModalPrompt │ ├── .env │ ├── ModalPrompt │ │ ├── .DS_Store │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── cog.yaml │ ├── llava │ │ ├── .DS_Store │ │ ├── __init__.py │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── constants.cpython-310.pyc │ │ │ ├── conversation.cpython-310.pyc │ │ │ └── mm_utils.cpython-310.pyc │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── ModalPrompt │ │ │ │ ├── api.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── eval_ImagetNet.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gpt_review.py │ │ │ │ ├── eval_gqa copy.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_scienceqa_llm.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── evaluate_generalknowledege.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_gqa.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_ocr_vqa.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ ├── model_text_vqa.py │ │ │ │ ├── model_vizwiz.py │ │ │ │ ├── model_vqa_cc_imagenet.py │ │ │ │ ├── model_vqa_cc_instruction.py │ │ │ │ ├── model_vqa_science.py │ │ │ │ └── rule.json │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_gpt_review_visual_cl.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_answer.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_cl.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_qbench.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── __pycache__ │ │ │ │ ├── __init__.cpython-310.pyc │ │ │ │ └── llava_arch.cpython-310.pyc │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── ModalPrompt.py │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── ModalPrompt.cpython-310.pyc │ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ │ └── llava_mpt.cpython-310.pyc │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── adapt_tokenizer.cpython-310.pyc │ │ │ │ │ ├── attention.cpython-310.pyc │ │ │ │ │ ├── blocks.cpython-310.pyc │ │ │ │ │ ├── configuration_mpt.cpython-310.pyc │ │ │ │ │ ├── custom_embedding.cpython-310.pyc │ │ │ │ │ ├── flash_attn_triton.cpython-310.pyc │ │ │ │ │ ├── hf_prefixlm_converter.cpython-310.pyc │ │ │ │ │ ├── meta_init_context.cpython-310.pyc │ │ │ │ │ ├── modeling_mpt.cpython-310.pyc │ │ │ │ │ ├── norm.cpython-310.pyc │ │ │ │ │ └── param_init_fns.cpython-310.pyc │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── __pycache__ │ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ │ ├── builder.py │ │ │ │ └── clip_encoder.py │ │ │ ├── multimodal_projector │ │ │ │ ├── __pycache__ │ │ │ │ │ └── builder.cpython-310.pyc │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── __pycache__ │ │ │ │ ├── llama_flash_attn_monkey_patch.cpython-310.pyc │ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ │ └── train.cpython-310.pyc │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llama_xformers_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_mem.py │ │ │ └── train_xformers.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── .DS_Store │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── convert_gqa_for_eval.py │ │ ├── convert_vizwiz_for_submission.py │ │ ├── convert_vqav2_for_submission.py │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json ├── OLoRA │ ├── .dockerignore │ ├── .editorconfig │ ├── .env │ ├── CoIN │ │ ├── __init__.py │ │ └── peft │ │ │ ├── __init__.py │ │ │ ├── auto.py │ │ │ ├── import_utils.py │ │ │ ├── mapping.py │ │ │ ├── peft_model.py │ │ │ ├── shared.py │ │ │ ├── tuners │ │ │ ├── __init__.py │ │ │ ├── adalora.py │ │ │ ├── adaption_prompt.py │ │ │ ├── clitmoelora.py │ │ │ ├── ia3.py │ │ │ ├── lora.py │ │ │ ├── p_tuning.py │ │ │ ├── prefix_tuning.py │ │ │ └── prompt_tuning.py │ │ │ └── utils │ │ │ ├── __init__.py │ │ │ ├── config.py │ │ │ ├── hub_utils.py │ │ │ ├── other.py │ │ │ └── save_and_load.py │ ├── LICENSE │ ├── cog.yaml │ ├── llava │ │ ├── __init__.py │ │ ├── constants.py │ │ ├── conversation.py │ │ ├── eval │ │ │ ├── CoIN │ │ │ │ ├── coin_utils.py │ │ │ │ ├── convert_result_to_submission.py │ │ │ │ ├── create_prompt.py │ │ │ │ ├── eval_ImagetNet.py │ │ │ │ ├── eval_ai2d.py │ │ │ │ ├── eval_caption.py │ │ │ │ ├── eval_deepseek_r1.py │ │ │ │ ├── eval_finvis.py │ │ │ │ ├── eval_gpt_review.py │ │ │ │ ├── eval_gqa.py │ │ │ │ ├── eval_grounding.py │ │ │ │ ├── eval_math.py │ │ │ │ ├── eval_ocr.py │ │ │ │ ├── eval_ocrvqa.py │ │ │ │ ├── eval_pvqa.py │ │ │ │ ├── eval_sat.py │ │ │ │ ├── eval_sci.py │ │ │ │ ├── eval_science_qa.py │ │ │ │ ├── eval_scienceqa_llm.py │ │ │ │ ├── eval_textvqa.py │ │ │ │ ├── eval_vizwiz.py │ │ │ │ ├── eval_vqav2.py │ │ │ │ ├── evaluate_generalknowledege.py │ │ │ │ ├── model_ai2d.py │ │ │ │ ├── model_fin.py │ │ │ │ ├── model_gqa.py │ │ │ │ ├── model_math.py │ │ │ │ ├── model_ocr.py │ │ │ │ ├── model_ocr_vqa.py │ │ │ │ ├── model_others.py │ │ │ │ ├── model_pvqa.py │ │ │ │ ├── model_sat.py │ │ │ │ ├── model_text_vqa.py │ │ │ │ ├── model_vizwiz.py │ │ │ │ ├── model_vqa_cc_instruction.py │ │ │ │ ├── model_vqa_science.py │ │ │ │ ├── rule.json │ │ │ │ └── to_eval_prompt.txt │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_gpt_review.py │ │ │ ├── eval_gpt_review_bench.py │ │ │ ├── eval_gpt_review_visual.py │ │ │ ├── eval_gpt_review_visual_cl.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_science_qa_gpt4.py │ │ │ ├── eval_science_qa_gpt4_requery.py │ │ │ ├── generate_webpage_data_from_table.py │ │ │ ├── m4c_evaluator.py │ │ │ ├── model_answer.py │ │ │ ├── model_qa.py │ │ │ ├── model_vqa.py │ │ │ ├── model_vqa_cl.py │ │ │ ├── model_vqa_loader.py │ │ │ ├── model_vqa_mmbench.py │ │ │ ├── model_vqa_qbench.py │ │ │ ├── qa_baseline_gpt35.py │ │ │ ├── run_llava.py │ │ │ ├── summarize_gpt_review.py │ │ │ ├── table │ │ │ │ ├── answer │ │ │ │ │ ├── answer_alpaca-13b.jsonl │ │ │ │ │ ├── answer_bard.jsonl │ │ │ │ │ ├── answer_gpt35.jsonl │ │ │ │ │ ├── answer_llama-13b.jsonl │ │ │ │ │ └── answer_vicuna-13b.jsonl │ │ │ │ ├── caps_boxes_coco2014_val_80.jsonl │ │ │ │ ├── model.jsonl │ │ │ │ ├── prompt.jsonl │ │ │ │ ├── question.jsonl │ │ │ │ ├── review │ │ │ │ │ ├── review_alpaca-13b_vicuna-13b.jsonl │ │ │ │ │ ├── review_bard_vicuna-13b.jsonl │ │ │ │ │ ├── review_gpt35_vicuna-13b.jsonl │ │ │ │ │ └── review_llama-13b_vicuna-13b.jsonl │ │ │ │ ├── reviewer.jsonl │ │ │ │ └── rule.json │ │ │ └── webpage │ │ │ │ ├── figures │ │ │ │ ├── alpaca.png │ │ │ │ ├── bard.jpg │ │ │ │ ├── chatgpt.svg │ │ │ │ ├── llama.jpg │ │ │ │ ├── swords_FILL0_wght300_GRAD0_opsz48.svg │ │ │ │ └── vicuna.jpeg │ │ │ │ ├── index.html │ │ │ │ ├── script.js │ │ │ │ └── styles.css │ │ ├── mm_utils.py │ │ ├── model │ │ │ ├── __init__.py │ │ │ ├── apply_delta.py │ │ │ ├── builder.py │ │ │ ├── consolidate.py │ │ │ ├── language_model │ │ │ │ ├── llava_llama.py │ │ │ │ ├── llava_mpt.py │ │ │ │ └── mpt │ │ │ │ │ ├── adapt_tokenizer.py │ │ │ │ │ ├── attention.py │ │ │ │ │ ├── blocks.py │ │ │ │ │ ├── configuration_mpt.py │ │ │ │ │ ├── custom_embedding.py │ │ │ │ │ ├── flash_attn_triton.py │ │ │ │ │ ├── hf_prefixlm_converter.py │ │ │ │ │ ├── meta_init_context.py │ │ │ │ │ ├── modeling_mpt.py │ │ │ │ │ ├── norm.py │ │ │ │ │ └── param_init_fns.py │ │ │ ├── llava_arch.py │ │ │ ├── make_delta.py │ │ │ ├── multimodal_encoder │ │ │ │ ├── builder.py │ │ │ │ └── clip_encoder.py │ │ │ ├── multimodal_projector │ │ │ │ └── builder.py │ │ │ └── utils.py │ │ ├── serve │ │ │ ├── __init__.py │ │ │ ├── cli.py │ │ │ ├── controller.py │ │ │ ├── examples │ │ │ │ ├── extreme_ironing.jpg │ │ │ │ └── waterview.jpg │ │ │ ├── gradio_web_server.py │ │ │ ├── model_worker.py │ │ │ ├── register_worker.py │ │ │ └── test_message.py │ │ ├── train │ │ │ ├── llama_flash_attn_monkey_patch.py │ │ │ ├── llama_xformers_attn_monkey_patch.py │ │ │ ├── llava_trainer.py │ │ │ ├── train.py │ │ │ ├── train_MOE.py │ │ │ ├── train_mem.py │ │ │ ├── train_mem_MOE.py │ │ │ └── train_xformers.py │ │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ │ ├── MCITlib │ │ ├── Eval_MLLM_ACL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_APP.sh │ │ │ ├── eval_Math.sh │ │ │ ├── eval_OCR.sh │ │ │ └── eval_VP.sh │ │ ├── Eval_MLLM_DCL │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_ad.sh │ │ │ ├── eval_fin.sh │ │ │ ├── eval_med.sh │ │ │ ├── eval_rs.sh │ │ │ └── eval_sci.sh │ │ ├── Eval_UCIT │ │ │ ├── Eval_finetune1.sh │ │ │ ├── eval_arxivqa.sh │ │ │ ├── eval_clevr.sh │ │ │ ├── eval_flickr30k.sh │ │ │ ├── eval_iconqa.sh │ │ │ ├── eval_imagenet.sh │ │ │ └── eval_vizwiz.sh │ │ └── Train │ │ │ ├── Task1.sh │ │ │ ├── Taskn.sh │ │ │ ├── train_ACL.sh │ │ │ ├── train_DCL.sh │ │ │ └── train_UCIT.sh │ │ ├── convert_gqa_for_eval.py │ │ ├── convert_vizwiz_for_submission.py │ │ ├── convert_vqav2_for_submission.py │ │ ├── zero2.json │ │ ├── zero3.json │ │ └── zero3_offload.json └── SEFE │ ├── .DS_Store │ ├── .env │ ├── CoIN-ASD │ ├── .DS_Store │ └── prompts │ │ ├── GQA │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ ├── Grounding │ │ ├── brief.txt │ │ └── detail.txt │ │ ├── ImageNet │ │ ├── brief.txt │ │ └── detail.txt │ │ ├── OCRVQA │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ ├── ScienceQA │ │ ├── brief_w_image.txt │ │ ├── brief_wo_image.txt │ │ ├── detail_w_image.txt │ │ └── detail_wo_image.txt │ │ ├── TextVQA │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ ├── VQAv2 │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ │ └── VizWiz │ │ ├── brief.txt │ │ ├── detail.txt │ │ ├── mcq.txt │ │ └── yn.txt │ ├── LICENSE │ ├── README.md │ ├── cog.yaml │ ├── key_elements_identification.py │ ├── llava │ ├── .DS_Store │ ├── __init__.py │ ├── __init__.pyc │ ├── __pycache__ │ │ ├── __init__.cpython-310.pyc │ │ ├── constants.cpython-310.pyc │ │ ├── conversation.cpython-310.pyc │ │ ├── mm_utils.cpython-310.pyc │ │ └── utils.cpython-310.pyc │ ├── constants.py │ ├── conversation.py │ ├── eval │ │ ├── CoIN │ │ │ ├── __pycache__ │ │ │ │ ├── coin_utils.cpython-310.pyc │ │ │ │ ├── eval_caption.cpython-310.pyc │ │ │ │ ├── eval_deepseek_r1.cpython-310.pyc │ │ │ │ └── model_others.cpython-310.pyc │ │ │ ├── coin_utils.py │ │ │ ├── convert_result_to_submission.py │ │ │ ├── eval_ai2d.py │ │ │ ├── eval_caption.py │ │ │ ├── eval_deepseek_r1.py │ │ │ ├── eval_finvis.py │ │ │ ├── eval_gqa.py │ │ │ ├── eval_grounding.py │ │ │ ├── eval_imagenet.py │ │ │ ├── eval_math.py │ │ │ ├── eval_ocr.py │ │ │ ├── eval_ocrvqa.py │ │ │ ├── eval_pope.py │ │ │ ├── eval_pvqa.py │ │ │ ├── eval_sat.py │ │ │ ├── eval_sci.py │ │ │ ├── eval_science_qa.py │ │ │ ├── eval_textvqa.py │ │ │ ├── eval_vizwiz.py │ │ │ ├── eval_vqav2.py │ │ │ ├── model_ai2d.py │ │ │ ├── model_fin.py │ │ │ ├── model_math.py │ │ │ ├── model_ocr.py │ │ │ ├── model_others.py │ │ │ ├── model_pvqa.py │ │ │ ├── model_sat.py │ │ │ └── model_science_qa.py │ │ └── m4c_evaluator.py │ ├── mm_utils.py │ ├── model │ │ ├── __init__.py │ │ ├── __init__.pyc │ │ ├── __pycache__ │ │ │ ├── __init__.cpython-310.pyc │ │ │ ├── builder.cpython-310.pyc │ │ │ └── llava_arch.cpython-310.pyc │ │ ├── apply_delta.py │ │ ├── builder.py │ │ ├── consolidate.py │ │ ├── language_model │ │ │ ├── __pycache__ │ │ │ │ ├── llava_llama.cpython-310.pyc │ │ │ │ ├── llava_mistral.cpython-310.pyc │ │ │ │ ├── llava_mpt.cpython-310.pyc │ │ │ │ └── modeling_llama.cpython-310.pyc │ │ │ ├── llava_llama.py │ │ │ ├── llava_mistral.py │ │ │ ├── llava_mpt.py │ │ │ └── modeling_llama.py │ │ ├── llava_arch.py │ │ ├── make_delta.py │ │ ├── multimodal_encoder │ │ │ ├── __pycache__ │ │ │ │ ├── builder.cpython-310.pyc │ │ │ │ └── clip_encoder.cpython-310.pyc │ │ │ ├── builder.py │ │ │ └── clip_encoder.py │ │ ├── multimodal_projector │ │ │ ├── __pycache__ │ │ │ │ └── builder.cpython-310.pyc │ │ │ └── builder.py │ │ └── utils.py │ ├── train │ │ ├── __pycache__ │ │ │ ├── llava_trainer.cpython-310.pyc │ │ │ └── train.cpython-310.pyc │ │ ├── llama_flash_attn_monkey_patch.py │ │ ├── llama_xformers_attn_monkey_patch.py │ │ ├── llava_trainer.py │ │ ├── train.py │ │ ├── train_mem.py │ │ └── train_xformers.py │ └── utils.py │ ├── llava_v1.5_7b_MMT-Bench_ALL_openai_submission.tsv │ ├── llava_v1.5_7b_MathVista_MINI.xlsx │ ├── pyproject.toml │ └── scripts │ ├── .DS_Store │ ├── MCITlib │ ├── Eval_MLLM_ACL │ │ ├── Eval_finetune1.sh │ │ ├── eval_APP.sh │ │ ├── eval_Math.sh │ │ ├── eval_OCR.sh │ │ └── eval_VP.sh │ ├── Eval_MLLM_DCL │ │ ├── Eval_finetune1.sh │ │ ├── eval_ad.sh │ │ ├── eval_fin.sh │ │ ├── eval_med.sh │ │ ├── eval_rs.sh │ │ └── eval_sci.sh │ ├── Eval_UCIT │ │ ├── Eval_finetune1.sh │ │ ├── eval_arxivqa.sh │ │ ├── eval_clevr.sh │ │ ├── eval_flickr30k.sh │ │ ├── eval_iconqa.sh │ │ ├── eval_imagenet.sh │ │ └── eval_vizwiz.sh │ └── Train │ │ ├── Task1.sh │ │ ├── Taskn.sh │ │ ├── train_ACL.sh │ │ ├── train_DCL.sh │ │ └── train_UCIT.sh │ ├── convert_gqa_for_eval.py │ ├── merge_lora_weights.py │ ├── zero2.json │ ├── zero3.json │ └── zero3_offload.json ├── README.md ├── configs ├── data_configs │ ├── .DS_Store │ ├── MLLM-ACL │ │ ├── APP.json │ │ ├── Math.json │ │ ├── OCR.json │ │ └── VP.json │ ├── MLLM-DCL │ │ ├── AD.json │ │ ├── Fin.json │ │ ├── Med.json │ │ ├── RS.json │ │ └── Sci.json │ └── UCIT │ │ ├── ArxivQA.json │ │ ├── CLEVR-Math.json │ │ ├── Flickr30k.json │ │ ├── IconQA.json │ │ ├── ImageNet-R.json │ │ └── VizWiz.json ├── modal_configs │ ├── internvl.json │ └── llava.json └── train_configs │ ├── CL-MoE │ ├── InternVL │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ └── UCIT │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ └── LLaVA │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ ├── DISCO │ ├── InternVL │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ └── UCIT │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ └── LLaVA │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ ├── HiDe │ ├── InternVL │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ └── UCIT │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ └── LLaVA │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ ├── LoRA-FT │ ├── InternVL │ │ ├── MLLM-ACL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── zero_shot.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ ├── task5.json │ │ │ │ └── zero_shot.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ └── UCIT │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ ├── task6.json │ │ │ └── zero_shot.json │ │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ └── LLaVA │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── zero_shot.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── zero_shot.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ ├── task6.json │ │ └── zero_shot.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ ├── MoELoRA │ ├── InternVL │ │ ├── MLLM-ACL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ └── UCIT │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ └── LLaVA │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ ├── ModalPrompt │ ├── InternVL │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ └── UCIT │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ └── LLaVA │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ ├── OLoRA │ ├── InternVL │ │ ├── MLLM-ACL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ │ └── train │ │ │ │ ├── .DS_Store │ │ │ │ ├── task1.json │ │ │ │ ├── task2.json │ │ │ │ ├── task3.json │ │ │ │ ├── task4.json │ │ │ │ └── task5.json │ │ └── UCIT │ │ │ ├── .DS_Store │ │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ ├── task5.json │ │ │ └── task6.json │ └── LLaVA │ │ ├── .DS_Store │ │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ └── SEFE │ ├── InternVL │ ├── MLLM-ACL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ └── task4.json │ ├── MLLM-DCL │ │ ├── .DS_Store │ │ ├── eval │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ │ └── train │ │ │ ├── .DS_Store │ │ │ ├── task1.json │ │ │ ├── task2.json │ │ │ ├── task3.json │ │ │ ├── task4.json │ │ │ └── task5.json │ └── UCIT │ │ ├── .DS_Store │ │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ ├── task5.json │ │ └── task6.json │ └── LLaVA │ ├── .DS_Store │ ├── MLLM-ACL │ ├── .DS_Store │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ └── task4.json │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ └── task4.json │ ├── MLLM-DCL │ ├── .DS_Store │ ├── eval │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ └── task5.json │ └── train │ │ ├── .DS_Store │ │ ├── task1.json │ │ ├── task2.json │ │ ├── task3.json │ │ ├── task4.json │ │ └── task5.json │ └── UCIT │ ├── .DS_Store │ ├── eval │ ├── task1.json │ ├── task2.json │ ├── task3.json │ ├── task4.json │ ├── task5.json │ └── task6.json │ └── train │ ├── .DS_Store │ ├── task1.json │ ├── task2.json │ ├── task3.json │ ├── task4.json │ ├── task5.json │ └── task6.json ├── environment.yml ├── examples ├── config.json └── generation_config.json └── resources └── MCITlib.png /.gitignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/.gitignore -------------------------------------------------------------------------------- /InternVL/CL-MoE/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/.env -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/.DS_Store -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/__init__.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/auto.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/import_utils.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/mapping.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/peft_model.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/shared.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/tuners/ia3.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/tuners/lora.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/utils/config.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/CLMoE/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/CLMoE/peft/utils/other.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/LICENSE -------------------------------------------------------------------------------- /InternVL/CL-MoE/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/README.md -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/constants.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/conversation.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/eval_aokvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/eval_aokvqa.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/eval_arxivqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/eval_arxivqa.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/eval_iconqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/eval_iconqa.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/eval_textvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/eval_textvqa.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/model_qa.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/run_llava.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/eval/table/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/eval/table/rule.json -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/model/__init__.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/model/apply_delta.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/model/builder.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/model/consolidate.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/model/llava_arch.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/model/make_delta.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/serve/controller.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/serve/model_worker.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/train/dist_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/train/dist_utils.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/train/train_mem.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/llava/utils.py -------------------------------------------------------------------------------- /InternVL/CL-MoE/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/pyproject.toml -------------------------------------------------------------------------------- /InternVL/CL-MoE/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/CL-MoE/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/CL-MoE/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/CL-MoE/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/DISCO/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/.env -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/auto.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/import_utils.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/shared.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/utils/config.py -------------------------------------------------------------------------------- /InternVL/DISCO/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /InternVL/DISCO/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/LICENSE -------------------------------------------------------------------------------- /InternVL/DISCO/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/README.md -------------------------------------------------------------------------------- /InternVL/DISCO/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/DISCO/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/constants.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/conversation.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/eval_aokvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/eval_aokvqa.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/eval_arxivqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/eval_arxivqa.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/eval_iconqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/eval_iconqa.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/eval_textvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/eval_textvqa.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/model_qa.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/run_llava.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/eval/table/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/eval/table/rule.json -------------------------------------------------------------------------------- /InternVL/DISCO/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/model/__init__.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/model/apply_delta.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/model/builder.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/model/consolidate.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/model/llava_arch.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/model/make_delta.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/DISCO/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/serve/controller.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/train/dist_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/train/dist_utils.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/train/train_mem.py -------------------------------------------------------------------------------- /InternVL/DISCO/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/llava/utils.py -------------------------------------------------------------------------------- /InternVL/DISCO/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/pyproject.toml -------------------------------------------------------------------------------- /InternVL/DISCO/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/DISCO/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/DISCO/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/DISCO/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/DISCO/scripts/zero3_offload.json -------------------------------------------------------------------------------- /InternVL/HiDe/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/.env -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/auto.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/import_utils.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/shared.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/tuners/adalora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/tuners/adalora.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/utils/__init__.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/utils/config.py -------------------------------------------------------------------------------- /InternVL/HiDe/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /InternVL/HiDe/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/LICENSE -------------------------------------------------------------------------------- /InternVL/HiDe/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/README.md -------------------------------------------------------------------------------- /InternVL/HiDe/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/HiDe/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/constants.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/conversation.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/eval_aokvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/eval_aokvqa.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/eval_arxivqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/eval_arxivqa.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/eval_iconqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/eval_iconqa.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/eval_textvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/eval_textvqa.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/model_qa.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/run_llava.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/eval/table/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/eval/table/rule.json -------------------------------------------------------------------------------- /InternVL/HiDe/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/model/__init__.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/model/apply_delta.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/model/builder.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/model/consolidate.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/model/llava_arch.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/model/make_delta.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/HiDe/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/serve/controller.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/serve/model_worker.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/serve/test_message.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/serve/test_message.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/train/dist_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/train/dist_utils.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/train/train_custom.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/train/train_custom.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/train/train_mem.py -------------------------------------------------------------------------------- /InternVL/HiDe/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/llava/utils.py -------------------------------------------------------------------------------- /InternVL/HiDe/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/pyproject.toml -------------------------------------------------------------------------------- /InternVL/HiDe/requirements.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/requirements.txt -------------------------------------------------------------------------------- /InternVL/HiDe/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/HiDe/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/HiDe/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/HiDe/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/HiDe/scripts/zero3_offload.json -------------------------------------------------------------------------------- /InternVL/LoRA-FT/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/.env -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/auto.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/shared.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/LICENSE -------------------------------------------------------------------------------- /InternVL/LoRA-FT/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/README.md -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/constants.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/conversation.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/eval/model_qa.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/eval/run_llava.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/model/__init__.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/model/builder.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/train/train_mem.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/llava/utils.py -------------------------------------------------------------------------------- /InternVL/LoRA-FT/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/pyproject.toml -------------------------------------------------------------------------------- /InternVL/LoRA-FT/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/LoRA-FT/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/LoRA-FT/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/LoRA-FT/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/MoELoRA/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/.env -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/auto.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/shared.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/LICENSE -------------------------------------------------------------------------------- /InternVL/MoELoRA/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/README.md -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/constants.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/conversation.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/eval/model_qa.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/eval/run_llava.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/model/__init__.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/model/builder.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/train/train_mem.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/llava/utils.py -------------------------------------------------------------------------------- /InternVL/MoELoRA/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/pyproject.toml -------------------------------------------------------------------------------- /InternVL/MoELoRA/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/MoELoRA/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/MoELoRA/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/MoELoRA/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/ModalPrompt/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/.env -------------------------------------------------------------------------------- /InternVL/ModalPrompt/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/LICENSE -------------------------------------------------------------------------------- /InternVL/ModalPrompt/ModalPrompt/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/ModalPrompt/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/README.md -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/llava/constants.py -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/ModalPrompt/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/llava/utils.py -------------------------------------------------------------------------------- /InternVL/ModalPrompt/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/pyproject.toml -------------------------------------------------------------------------------- /InternVL/ModalPrompt/requirements.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/requirements.txt -------------------------------------------------------------------------------- /InternVL/ModalPrompt/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/ModalPrompt/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/ModalPrompt/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/ModalPrompt/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/OLoRA/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/.env -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/auto.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/import_utils.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/shared.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/utils/config.py -------------------------------------------------------------------------------- /InternVL/OLoRA/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /InternVL/OLoRA/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/LICENSE -------------------------------------------------------------------------------- /InternVL/OLoRA/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/README.md -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/constants.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/conversation.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/eval_aokvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/eval_aokvqa.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/eval_arxivqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/eval_arxivqa.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/eval_iconqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/eval_iconqa.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/eval_textvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/eval_textvqa.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/model_qa.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/run_llava.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/eval/table/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/eval/table/rule.json -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/model/__init__.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/model/apply_delta.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/model/builder.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/model/consolidate.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/model/llava_arch.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/model/make_delta.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/serve/controller.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/train/dist_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/train/dist_utils.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/train/train_mem.py -------------------------------------------------------------------------------- /InternVL/OLoRA/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/llava/utils.py -------------------------------------------------------------------------------- /InternVL/OLoRA/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/pyproject.toml -------------------------------------------------------------------------------- /InternVL/OLoRA/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/OLoRA/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/OLoRA/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/OLoRA/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/OLoRA/scripts/zero3_offload.json -------------------------------------------------------------------------------- /InternVL/SEFE/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/.env -------------------------------------------------------------------------------- /InternVL/SEFE/CoIN-ASD/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/CoIN-ASD/.DS_Store -------------------------------------------------------------------------------- /InternVL/SEFE/CoIN-ASD/prompts/GQA/yn.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/CoIN-ASD/prompts/GQA/yn.txt -------------------------------------------------------------------------------- /InternVL/SEFE/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/LICENSE -------------------------------------------------------------------------------- /InternVL/SEFE/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/README.md -------------------------------------------------------------------------------- /InternVL/SEFE/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /InternVL/SEFE/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/constants.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/conversation.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/eval_aokvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/eval_aokvqa.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/eval_arxivqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/eval_arxivqa.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/eval_iconqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/eval_iconqa.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/eval_textvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/eval_textvqa.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/model_qa.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/run_llava.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/eval/table/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/eval/table/rule.json -------------------------------------------------------------------------------- /InternVL/SEFE/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/mm_utils.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/model/__init__.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/model/apply_delta.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/model/builder.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/model/consolidate.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/model/llava_arch.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/model/make_delta.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/model/utils.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /InternVL/SEFE/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/serve/cli.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/serve/controller.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/serve/model_worker.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/serve/test_message.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/serve/test_message.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/train/dist_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/train/dist_utils.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/train/train.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/train/train_custom.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/train/train_custom.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/train/train_mem.py -------------------------------------------------------------------------------- /InternVL/SEFE/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/llava/utils.py -------------------------------------------------------------------------------- /InternVL/SEFE/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/pyproject.toml -------------------------------------------------------------------------------- /InternVL/SEFE/scripts/zero1.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/scripts/zero1.json -------------------------------------------------------------------------------- /InternVL/SEFE/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/scripts/zero2.json -------------------------------------------------------------------------------- /InternVL/SEFE/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/scripts/zero3.json -------------------------------------------------------------------------------- /InternVL/SEFE/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/InternVL/SEFE/scripts/zero3_offload.json -------------------------------------------------------------------------------- /LLaVA/CL-MoE/.dockerignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/.dockerignore -------------------------------------------------------------------------------- /LLaVA/CL-MoE/.editorconfig: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/.editorconfig -------------------------------------------------------------------------------- /LLaVA/CL-MoE/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/.env -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/__init__.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/auto.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/import_utils.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/mapping.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/peft_model.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/shared.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/tuners/adalora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/tuners/adalora.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/tuners/ia3.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/tuners/lora.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/utils/__init__.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/utils/config.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/CLMoE/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/CLMoE/peft/utils/other.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/LICENSE -------------------------------------------------------------------------------- /LLaVA/CL-MoE/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/cog.yaml -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_ai2d.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_math.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_pvqa.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/model_fin.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/model_fin.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/model_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/model_ocr.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/CoIN/model_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/CoIN/model_sat.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/eval/model_answer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/eval/model_answer.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/model/apply_delta.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/model/consolidate.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/model/llava_arch.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/model/make_delta.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/train/llava_trainer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/train/llava_trainer.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/train/train_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/train/train_MOE.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/train/train_mem.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/train/train_mem_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/train/train_mem_MOE.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/CL-MoE/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/CL-MoE/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/CL-MoE/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/CL-MoE/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/CL-MoE/scripts/zero3_offload.json -------------------------------------------------------------------------------- /LLaVA/DISCO/.dockerignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/.dockerignore -------------------------------------------------------------------------------- /LLaVA/DISCO/.editorconfig: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/.editorconfig -------------------------------------------------------------------------------- /LLaVA/DISCO/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/.env -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/auto.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/import_utils.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/shared.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/tuners/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/tuners/__init__.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/tuners/adalora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/tuners/adalora.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/tuners/p_tuning.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/tuners/p_tuning.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/utils/__init__.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/utils/config.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/utils/hub_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/utils/hub_utils.py -------------------------------------------------------------------------------- /LLaVA/DISCO/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /LLaVA/DISCO/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/LICENSE -------------------------------------------------------------------------------- /LLaVA/DISCO/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/cog.yaml -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/coin_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/coin_utils.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_ai2d.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_math.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_pvqa.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/eval_vqav2.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/eval_vqav2.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/model_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/model_ai2d.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/model_fin.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/model_fin.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/model_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/model_math.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/model_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/model_ocr.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/model_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/model_pvqa.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/CoIN/model_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/CoIN/model_sat.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/eval_gpt_review.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/eval_gpt_review.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/model_answer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/model_answer.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/model_qa.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/model_vqa_cl.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/model_vqa_cl.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/eval/run_llava.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/model/apply_delta.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/model/consolidate.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/model/llava_arch.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/model/make_delta.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/serve/cli.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/serve/controller.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/serve/model_worker.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/serve/test_message.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/serve/test_message.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/train/llava_trainer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/train/llava_trainer.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/train/train_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/train/train_MOE.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/train/train_mem.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/train/train_mem_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/train/train_mem_MOE.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/train/train_xformers.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/train/train_xformers.py -------------------------------------------------------------------------------- /LLaVA/DISCO/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/DISCO/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/DISCO/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/DISCO/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/DISCO/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/DISCO/scripts/zero3_offload.json -------------------------------------------------------------------------------- /LLaVA/HiDe/.dockerignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/.dockerignore -------------------------------------------------------------------------------- /LLaVA/HiDe/.editorconfig: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/.editorconfig -------------------------------------------------------------------------------- /LLaVA/HiDe/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/.env -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/__init__.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/auto.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/import_utils.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/mapping.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/peft_model.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/shared.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/tuners/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/tuners/__init__.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/tuners/adalora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/tuners/adalora.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/tuners/ia3.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/tuners/lora.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/tuners/p_tuning.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/tuners/p_tuning.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/utils/__init__.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/utils/config.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/utils/hub_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/utils/hub_utils.py -------------------------------------------------------------------------------- /LLaVA/HiDe/HiDe/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/HiDe/peft/utils/other.py -------------------------------------------------------------------------------- /LLaVA/HiDe/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/LICENSE -------------------------------------------------------------------------------- /LLaVA/HiDe/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/cog.yaml -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/coin_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/coin_utils.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_ai2d.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_finvis.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_finvis.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_math.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_ocrvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_ocrvqa.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_pvqa.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_vizwiz.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_vizwiz.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/eval_vqav2.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/eval_vqav2.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/model_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/model_ai2d.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/model_fin.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/model_fin.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/model_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/model_math.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/model_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/model_ocr.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/model_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/model_pvqa.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/CoIN/model_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/CoIN/model_sat.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/eval_deepseek_r1.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/eval_deepseek_r1.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/eval_gpt_review.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/eval_gpt_review.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/model_answer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/model_answer.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/model_qa.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/model_vqa_cl.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/model_vqa_cl.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/model_vqa_loader.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/model_vqa_loader.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/model_vqa_qbench.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/model_vqa_qbench.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/eval/run_llava.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/model/apply_delta.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/model/consolidate.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/model/llava_arch.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/model/make_delta.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/serve/cli.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/serve/controller.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/serve/model_worker.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/serve/register_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/serve/register_worker.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/serve/test_message.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/serve/test_message.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/train/llava_trainer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/train/llava_trainer.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/train/train_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/train/train_MOE.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/train/train_mem.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/train/train_mem_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/train/train_mem_MOE.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/train/train_xformers.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/train/train_xformers.py -------------------------------------------------------------------------------- /LLaVA/HiDe/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/HiDe/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/HiDe/scripts/MCITlib/Train/Task1.sh: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/scripts/MCITlib/Train/Task1.sh -------------------------------------------------------------------------------- /LLaVA/HiDe/scripts/MCITlib/Train/Taskn.sh: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/scripts/MCITlib/Train/Taskn.sh -------------------------------------------------------------------------------- /LLaVA/HiDe/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/HiDe/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/HiDe/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/HiDe/scripts/zero3_offload.json -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/.dockerignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/.dockerignore -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/.editorconfig: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/.editorconfig -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/.env -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/auto.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/import_utils.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/shared.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/tuners/adalora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/tuners/adalora.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/utils/__init__.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/utils/config.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/LICENSE -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/cog.yaml -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/CoIN/api.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/CoIN/api.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_ai2d.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_finvis.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_finvis.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_math.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_pvqa.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/model_answer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/model_answer.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/model_qa.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/model_vqa_cl.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/model_vqa_cl.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/eval/run_llava.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/model/apply_delta.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/model/consolidate.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/model/llava_arch.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/model/make_delta.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/serve/cli.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/serve/controller.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/serve/model_worker.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/serve/test_message.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/serve/test_message.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/train/train_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/train/train_MOE.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/train/train_mem.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/output.xlsx: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/output.xlsx -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/LoRA-FT/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/LoRA-FT/scripts/zero3_offload.json -------------------------------------------------------------------------------- /LLaVA/MoELoRA/.dockerignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/.dockerignore -------------------------------------------------------------------------------- /LLaVA/MoELoRA/.editorconfig: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/.editorconfig -------------------------------------------------------------------------------- /LLaVA/MoELoRA/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/.env -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/auto.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/import_utils.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/shared.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/tuners/adalora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/tuners/adalora.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/utils/__init__.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/utils/config.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/LICENSE -------------------------------------------------------------------------------- /LLaVA/MoELoRA/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/cog.yaml -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/model_answer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/model_answer.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/model_qa.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/model_vqa_cl.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/model_vqa_cl.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/run_llava.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/eval/table/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/eval/table/rule.json -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/model/apply_delta.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/model/consolidate.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/model/llava_arch.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/model/make_delta.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/serve/cli.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/serve/controller.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/serve/model_worker.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/serve/test_message.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/serve/test_message.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/train/train_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/train/train_MOE.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/train/train_mem.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/MoELoRA/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/MoELoRA/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/MoELoRA/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/MoELoRA/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/MoELoRA/scripts/zero3_offload.json -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/.env -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/ModalPrompt/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/ModalPrompt/.DS_Store -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/ModalPrompt/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/cog.yaml -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/.DS_Store -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/eval/model_qa.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/eval/run_llava.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/serve/cli.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/scripts/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/scripts/.DS_Store -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/ModalPrompt/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/ModalPrompt/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/OLoRA/.dockerignore: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/.dockerignore -------------------------------------------------------------------------------- /LLaVA/OLoRA/.editorconfig: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/.editorconfig -------------------------------------------------------------------------------- /LLaVA/OLoRA/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/.env -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/__init__.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/auto.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/auto.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/import_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/import_utils.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/mapping.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/mapping.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/peft_model.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/peft_model.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/shared.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/shared.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/tuners/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/tuners/__init__.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/tuners/adalora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/tuners/adalora.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/tuners/ia3.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/tuners/ia3.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/tuners/lora.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/tuners/lora.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/tuners/p_tuning.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/tuners/p_tuning.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/utils/__init__.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/utils/config.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/utils/config.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/utils/hub_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/utils/hub_utils.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/CoIN/peft/utils/other.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/CoIN/peft/utils/other.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/LICENSE -------------------------------------------------------------------------------- /LLaVA/OLoRA/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/cog.yaml -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/coin_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/coin_utils.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_ai2d.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_math.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_pvqa.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/eval_vqav2.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/eval_vqav2.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/model_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/model_ai2d.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/model_fin.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/model_fin.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/model_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/model_gqa.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/model_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/model_math.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/model_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/model_ocr.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/model_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/model_pvqa.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/model_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/model_sat.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/CoIN/rule.json -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/CoIN/to_eval_prompt.txt: -------------------------------------------------------------------------------- 1 | ## For example 2 | ./results/CoIN/ScienceQA/Finetune -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/eval_caption.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/eval_caption.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/eval_gpt_review.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/eval_gpt_review.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/model_answer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/model_answer.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/model_qa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/model_qa.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/model_vqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/model_vqa.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/model_vqa_cl.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/model_vqa_cl.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/run_llava.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/run_llava.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/table/model.jsonl: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/table/model.jsonl -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/table/prompt.jsonl: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/table/prompt.jsonl -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/table/rule.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/table/rule.json -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/webpage/index.html: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/webpage/index.html -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/webpage/script.js: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/webpage/script.js -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/eval/webpage/styles.css: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/eval/webpage/styles.css -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/model/apply_delta.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/model/consolidate.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/model/llava_arch.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/model/make_delta.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/serve/__init__.py: -------------------------------------------------------------------------------- 1 | -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/serve/cli.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/serve/cli.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/serve/controller.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/serve/controller.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/serve/model_worker.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/serve/model_worker.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/serve/test_message.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/serve/test_message.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/train/llava_trainer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/train/llava_trainer.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/train/train_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/train/train_MOE.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/train/train_mem.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/train/train_mem_MOE.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/train/train_mem_MOE.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/train/train_xformers.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/train/train_xformers.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/OLoRA/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/OLoRA/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/OLoRA/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/OLoRA/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/OLoRA/scripts/zero3_offload.json -------------------------------------------------------------------------------- /LLaVA/SEFE/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/.DS_Store -------------------------------------------------------------------------------- /LLaVA/SEFE/.env: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/.env -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/.DS_Store -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/prompts/GQA/brief.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/prompts/GQA/brief.txt -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/prompts/GQA/mcq.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/prompts/GQA/mcq.txt -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/prompts/GQA/yn.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/prompts/GQA/yn.txt -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/prompts/OCRVQA/yn.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/prompts/OCRVQA/yn.txt -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/prompts/VQAv2/mcq.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/prompts/VQAv2/mcq.txt -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/prompts/VQAv2/yn.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/prompts/VQAv2/yn.txt -------------------------------------------------------------------------------- /LLaVA/SEFE/CoIN-ASD/prompts/VizWiz/yn.txt: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/CoIN-ASD/prompts/VizWiz/yn.txt -------------------------------------------------------------------------------- /LLaVA/SEFE/LICENSE: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/LICENSE -------------------------------------------------------------------------------- /LLaVA/SEFE/README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/README.md -------------------------------------------------------------------------------- /LLaVA/SEFE/cog.yaml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/cog.yaml -------------------------------------------------------------------------------- /LLaVA/SEFE/key_elements_identification.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/key_elements_identification.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/.DS_Store -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/__init__.py: -------------------------------------------------------------------------------- 1 | from .model import LlavaLlamaForCausalLM 2 | -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/__init__.pyc: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/__init__.pyc -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/constants.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/constants.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/conversation.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/conversation.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/coin_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/coin_utils.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_ai2d.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_finvis.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_finvis.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_gqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_gqa.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_math.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_ocr.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_ocrvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_ocrvqa.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_pope.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_pope.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_pvqa.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_sat.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_sci.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_sci.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_vizwiz.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_vizwiz.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/eval_vqav2.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/eval_vqav2.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/model_ai2d.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/model_ai2d.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/model_fin.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/model_fin.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/model_math.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/model_math.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/model_ocr.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/model_ocr.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/model_pvqa.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/model_pvqa.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/CoIN/model_sat.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/CoIN/model_sat.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/eval/m4c_evaluator.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/eval/m4c_evaluator.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/mm_utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/mm_utils.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/__init__.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/__init__.pyc: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/__init__.pyc -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/apply_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/apply_delta.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/builder.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/builder.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/consolidate.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/consolidate.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/llava_arch.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/llava_arch.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/make_delta.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/make_delta.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/model/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/model/utils.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/train/llava_trainer.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/train/llava_trainer.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/train/train.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/train/train.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/train/train_mem.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/train/train_mem.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/train/train_xformers.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/train/train_xformers.py -------------------------------------------------------------------------------- /LLaVA/SEFE/llava/utils.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/llava/utils.py -------------------------------------------------------------------------------- /LLaVA/SEFE/pyproject.toml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/pyproject.toml -------------------------------------------------------------------------------- /LLaVA/SEFE/scripts/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/scripts/.DS_Store -------------------------------------------------------------------------------- /LLaVA/SEFE/scripts/MCITlib/Train/Task1.sh: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/scripts/MCITlib/Train/Task1.sh -------------------------------------------------------------------------------- /LLaVA/SEFE/scripts/MCITlib/Train/Taskn.sh: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/scripts/MCITlib/Train/Taskn.sh -------------------------------------------------------------------------------- /LLaVA/SEFE/scripts/merge_lora_weights.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/scripts/merge_lora_weights.py -------------------------------------------------------------------------------- /LLaVA/SEFE/scripts/zero2.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/scripts/zero2.json -------------------------------------------------------------------------------- /LLaVA/SEFE/scripts/zero3.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/scripts/zero3.json -------------------------------------------------------------------------------- /LLaVA/SEFE/scripts/zero3_offload.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/LLaVA/SEFE/scripts/zero3_offload.json -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/README.md -------------------------------------------------------------------------------- /configs/data_configs/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/.DS_Store -------------------------------------------------------------------------------- /configs/data_configs/MLLM-ACL/APP.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-ACL/APP.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-ACL/Math.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-ACL/Math.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-ACL/OCR.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-ACL/OCR.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-ACL/VP.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-ACL/VP.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-DCL/AD.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-DCL/AD.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-DCL/Fin.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-DCL/Fin.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-DCL/Med.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-DCL/Med.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-DCL/RS.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-DCL/RS.json -------------------------------------------------------------------------------- /configs/data_configs/MLLM-DCL/Sci.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/MLLM-DCL/Sci.json -------------------------------------------------------------------------------- /configs/data_configs/UCIT/ArxivQA.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/UCIT/ArxivQA.json -------------------------------------------------------------------------------- /configs/data_configs/UCIT/CLEVR-Math.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/UCIT/CLEVR-Math.json -------------------------------------------------------------------------------- /configs/data_configs/UCIT/Flickr30k.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/UCIT/Flickr30k.json -------------------------------------------------------------------------------- /configs/data_configs/UCIT/IconQA.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/UCIT/IconQA.json -------------------------------------------------------------------------------- /configs/data_configs/UCIT/ImageNet-R.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/UCIT/ImageNet-R.json -------------------------------------------------------------------------------- /configs/data_configs/UCIT/VizWiz.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/data_configs/UCIT/VizWiz.json -------------------------------------------------------------------------------- /configs/modal_configs/internvl.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/modal_configs/internvl.json -------------------------------------------------------------------------------- /configs/modal_configs/llava.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/configs/modal_configs/llava.json -------------------------------------------------------------------------------- /environment.yml: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/environment.yml -------------------------------------------------------------------------------- /examples/config.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/examples/config.json -------------------------------------------------------------------------------- /examples/generation_config.json: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/examples/generation_config.json -------------------------------------------------------------------------------- /resources/MCITlib.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/Ghy0501/MCITlib/HEAD/resources/MCITlib.png --------------------------------------------------------------------------------