├── .env
├── .github
├── PULL_REQUEST_TEMPLATE.md
└── workflows
│ ├── docker.yml
│ ├── genlocale.yml
│ ├── pull_format.yml
│ ├── push_format.yml
│ ├── sync_dev.yml
│ └── unitest.yml
├── .gitignore
├── Dockerfile
├── LICENSE
├── MIT协议暨相关引用库协议
├── README.md
├── Retrieval_based_Voice_Conversion_WebUI.ipynb
├── Retrieval_based_Voice_Conversion_WebUI_v2.ipynb
├── assets
├── Synthesizer_inputs.pth
├── hubert
│ ├── .gitignore
│ └── hubert_inputs.pth
├── pretrained
│ └── .gitignore
├── pretrained_v2
│ └── .gitignore
├── rmvpe
│ ├── .gitignore
│ └── rmvpe_inputs.pth
├── uvr5_weights
│ └── .gitignore
└── weights
│ └── .gitignore
├── configs
├── config.json
├── config.py
├── v1
│ ├── 32k.json
│ ├── 40k.json
│ └── 48k.json
└── v2
│ ├── 32k.json
│ └── 48k.json
├── docker-compose.yml
├── docs
├── cn
│ ├── Changelog_CN.md
│ └── faq.md
├── en
│ ├── Changelog_EN.md
│ ├── README.en.md
│ ├── faiss_tips_en.md
│ ├── faq_en.md
│ └── training_tips_en.md
├── fr
│ ├── Changelog_FR.md
│ ├── README.fr.md
│ ├── faiss_tips_fr.md
│ ├── faq_fr.md
│ └── training_tips_fr.md
├── jp
│ ├── README.ja.md
│ ├── faiss_tips_ja.md
│ └── training_tips_ja.md
├── kr
│ ├── Changelog_KO.md
│ ├── README.ko.han.md
│ ├── README.ko.md
│ ├── faiss_tips_ko.md
│ └── training_tips_ko.md
├── tr
│ ├── Changelog_TR.md
│ ├── README.tr.md
│ ├── faiss_tips_tr.md
│ ├── faq_tr.md
│ └── training_tips_tr.md
└── 小白简易教程.doc
├── environment_dml.yaml
├── go-realtime-gui-dml.bat
├── go-realtime-gui.bat
├── go-web-dml.bat
├── go-web.bat
├── gui_v1.py
├── i18n
├── i18n.py
├── locale
│ ├── en_US.json
│ ├── es_ES.json
│ ├── fr_FR.json
│ ├── it_IT.json
│ ├── ja_JP.json
│ ├── ru_RU.json
│ ├── tr_TR.json
│ ├── zh_CN.json
│ ├── zh_HK.json
│ ├── zh_SG.json
│ └── zh_TW.json
├── locale_diff.py
└── scan_i18n.py
├── infer-web.py
├── infer
├── lib
│ ├── audio.py
│ ├── infer_pack
│ │ ├── attentions.py
│ │ ├── commons.py
│ │ ├── models.py
│ │ ├── models_onnx.py
│ │ ├── modules.py
│ │ ├── modules
│ │ │ └── F0Predictor
│ │ │ │ ├── DioF0Predictor.py
│ │ │ │ ├── F0Predictor.py
│ │ │ │ ├── HarvestF0Predictor.py
│ │ │ │ ├── PMF0Predictor.py
│ │ │ │ └── __init__.py
│ │ ├── onnx_inference.py
│ │ └── transforms.py
│ ├── jit
│ │ ├── __init__.py
│ │ ├── get_hubert.py
│ │ ├── get_rmvpe.py
│ │ └── get_synthesizer.py
│ ├── rmvpe.py
│ ├── slicer2.py
│ ├── train
│ │ ├── data_utils.py
│ │ ├── losses.py
│ │ ├── mel_processing.py
│ │ ├── process_ckpt.py
│ │ └── utils.py
│ └── uvr5_pack
│ │ ├── lib_v5
│ │ ├── dataset.py
│ │ ├── layers.py
│ │ ├── layers_123812KB .py
│ │ ├── layers_123821KB.py
│ │ ├── layers_33966KB.py
│ │ ├── layers_537227KB.py
│ │ ├── layers_537238KB.py
│ │ ├── layers_new.py
│ │ ├── model_param_init.py
│ │ ├── modelparams
│ │ │ ├── 1band_sr16000_hl512.json
│ │ │ ├── 1band_sr32000_hl512.json
│ │ │ ├── 1band_sr33075_hl384.json
│ │ │ ├── 1band_sr44100_hl1024.json
│ │ │ ├── 1band_sr44100_hl256.json
│ │ │ ├── 1band_sr44100_hl512.json
│ │ │ ├── 1band_sr44100_hl512_cut.json
│ │ │ ├── 2band_32000.json
│ │ │ ├── 2band_44100_lofi.json
│ │ │ ├── 2band_48000.json
│ │ │ ├── 3band_44100.json
│ │ │ ├── 3band_44100_mid.json
│ │ │ ├── 3band_44100_msb2.json
│ │ │ ├── 4band_44100.json
│ │ │ ├── 4band_44100_mid.json
│ │ │ ├── 4band_44100_msb.json
│ │ │ ├── 4band_44100_msb2.json
│ │ │ ├── 4band_44100_reverse.json
│ │ │ ├── 4band_44100_sw.json
│ │ │ ├── 4band_v2.json
│ │ │ ├── 4band_v2_sn.json
│ │ │ ├── 4band_v3.json
│ │ │ └── ensemble.json
│ │ ├── nets.py
│ │ ├── nets_123812KB.py
│ │ ├── nets_123821KB.py
│ │ ├── nets_33966KB.py
│ │ ├── nets_537227KB.py
│ │ ├── nets_537238KB.py
│ │ ├── nets_61968KB.py
│ │ ├── nets_new.py
│ │ └── spec_utils.py
│ │ ├── name_params.json
│ │ └── utils.py
└── modules
│ ├── ipex
│ ├── __init__.py
│ ├── attention.py
│ ├── gradscaler.py
│ └── hijacks.py
│ ├── onnx
│ └── export.py
│ ├── train
│ ├── extract
│ │ ├── extract_f0_print.py
│ │ ├── extract_f0_rmvpe.py
│ │ └── extract_f0_rmvpe_dml.py
│ ├── extract_feature_print.py
│ ├── preprocess.py
│ └── train.py
│ ├── uvr5
│ ├── mdxnet.py
│ ├── modules.py
│ └── vr.py
│ └── vc
│ ├── __init__.py
│ ├── modules.py
│ ├── pipeline.py
│ └── utils.py
├── logs
└── mute
│ ├── 0_gt_wavs
│ ├── mute32k.wav
│ ├── mute40k.wav
│ └── mute48k.wav
│ ├── 1_16k_wavs
│ └── mute.wav
│ ├── 2a_f0
│ └── mute.wav.npy
│ ├── 2b-f0nsf
│ └── mute.wav.npy
│ ├── 3_feature256
│ └── mute.npy
│ └── 3_feature768
│ └── mute.npy
├── poetry.lock
├── pyproject.toml
├── requirements-amd.txt
├── requirements-dml.txt
├── requirements-ipex.txt
├── requirements-win-for-realtime_vc_gui-dml.txt
├── requirements-win-for-realtime_vc_gui.txt
├── requirements.txt
├── run.sh
├── rvc_fastapi.py
├── start_server.bat
├── tools
├── app.py
├── calc_rvc_model_similarity.py
├── dlmodels.bat
├── dlmodels.sh
├── download_models.py
├── export_onnx.py
├── infer
│ ├── infer-pm-index256.py
│ ├── train-index-v2.py
│ ├── train-index.py
│ └── trans_weights.py
├── infer_batch_rvc.py
├── infer_cli.py
├── onnx_inference_demo.py
├── rvc_for_realtime.py
└── torchgate
│ ├── __init__.py
│ ├── torchgate.py
│ └── utils.py
└── venv.sh
/.env:
--------------------------------------------------------------------------------
1 | OPENBLAS_NUM_THREADS = 1
2 | no_proxy = localhost, 127.0.0.1, ::1
3 |
4 | # You can change the location of the model, etc. by changing here
5 | weight_root = assets/weights
6 | weight_uvr5_root = assets/uvr5_weights
7 | index_root = logs
8 | rmvpe_root = assets/rmvpe
9 |
--------------------------------------------------------------------------------
/.github/PULL_REQUEST_TEMPLATE.md:
--------------------------------------------------------------------------------
1 | # Pull request checklist
2 |
3 | - [ ] The PR has a proper title. Use [Semantic Commit Messages](https://seesparkbox.com/foundry/semantic_commit_messages). (No more branch-name title please)
4 | - [ ] Make sure you are requesting the right branch: `dev`.
5 | - [ ] Make sure this is ready to be merged into the relevant branch. Please don't create a PR and let it hang for a few days.
6 | - [ ] Ensure all tests are passing.
7 | - [ ] Ensure linting is passing.
8 |
9 | # PR type
10 |
11 | - Bug fix / new feature / chore
12 |
13 | # Description
14 |
15 | - Describe what this pull request is for.
16 | - What will it affect.
17 |
18 | # Screenshot
19 |
20 | - Please include a screenshot if applicable
21 |
--------------------------------------------------------------------------------
/.github/workflows/docker.yml:
--------------------------------------------------------------------------------
1 | name: Build and Push Docker Image
2 |
3 | on:
4 | workflow_dispatch:
5 | push:
6 | # Sequence of patterns matched against refs/tags
7 | tags:
8 | - 'v*' # Push events to matching v*, i.e. v1.0, v20.15.10
9 |
10 | jobs:
11 | build:
12 | runs-on: ubuntu-latest
13 | permissions:
14 | packages: write
15 | contents: read
16 | steps:
17 | - uses: actions/checkout@v3
18 | - name: Set time zone
19 | uses: szenius/set-timezone@v1.0
20 | with:
21 | timezoneLinux: "Asia/Shanghai"
22 | timezoneMacos: "Asia/Shanghai"
23 | timezoneWindows: "China Standard Time"
24 |
25 | # # 如果有 dockerhub 账户，可以在github的secrets中配置下面两个，然后取消下面注释的这几行，并在meta步骤的images增加一行 ${{ github.repository }}
26 | # - name: Login to DockerHub
27 | # uses: docker/login-action@v1
28 | # with:
29 | # username: ${{ secrets.DOCKERHUB_USERNAME }}
30 | # password: ${{ secrets.DOCKERHUB_TOKEN }}
31 |
32 | - name: Login to GHCR
33 | uses: docker/login-action@v2
34 | with:
35 | registry: ghcr.io
36 | username: ${{ github.repository_owner }}
37 | password: ${{ secrets.GITHUB_TOKEN }}
38 |
39 | - name: Extract metadata (tags, labels) for Docker
40 | id: meta
41 | uses: docker/metadata-action@v4
42 | with:
43 | images: |
44 | ghcr.io/${{ github.repository }}
45 | # generate Docker tags based on the following events/attributes
46 | # nightly, master, pr-2, 1.2.3, 1.2, 1
47 | tags: |
48 | type=schedule,pattern=nightly
49 | type=edge
50 | type=ref,event=branch
51 | type=ref,event=pr
52 | type=semver,pattern={{version}}
53 | type=semver,pattern={{major}}.{{minor}}
54 | type=semver,pattern={{major}}
55 |
56 | - name: Set up QEMU
57 | uses: docker/setup-qemu-action@v2
58 |
59 | - name: Set up Docker Buildx
60 | uses: docker/setup-buildx-action@v2
61 |
62 | - name: Build and push
63 | id: docker_build
64 | uses: docker/build-push-action@v4
65 | with:
66 | context: .
67 | platforms: linux/amd64,linux/arm64
68 | push: true
69 | tags: ${{ steps.meta.outputs.tags }}
70 | labels: ${{ steps.meta.outputs.labels }}
71 |
--------------------------------------------------------------------------------
/.github/workflows/genlocale.yml:
--------------------------------------------------------------------------------
1 | name: Generate and Sync Locale
2 | on:
3 | push:
4 | branches:
5 | - main
6 | - dev
7 | jobs:
8 | genlocale:
9 | runs-on: ubuntu-latest
10 | steps:
11 | - uses: actions/checkout@master
12 |
13 | - name: Run locale generation
14 | run: |
15 | python3 i18n/scan_i18n.py
16 | cd i18n
17 | python3 locale_diff.py
18 |
19 | - name: Commit back
20 | if: ${{ !github.head_ref }}
21 | id: commitback
22 | continue-on-error: true
23 | run: |
24 | git config --local user.name 'github-actions[bot]'
25 | git config --local user.email 'github-actions[bot]@users.noreply.github.com'
26 | git add --all
27 | git commit -m "chore(i18n): sync locale on ${{github.ref_name}}"
28 |
29 | - name: Create Pull Request
30 | if: steps.commitback.outcome == 'success'
31 | continue-on-error: true
32 | uses: peter-evans/create-pull-request@v5
33 | with:
34 | delete-branch: true
35 | body: "Automatically sync i18n translation jsons"
36 | title: "chore(i18n): sync locale on ${{github.ref_name}}"
37 | commit-message: "chore(i18n): sync locale on ${{github.ref_name}}"
38 | branch: genlocale-${{github.ref_name}}
39 |
--------------------------------------------------------------------------------
/.github/workflows/pull_format.yml:
--------------------------------------------------------------------------------
1 | name: Check Pull Format
2 |
3 | on:
4 | pull_request_target:
5 | types: [opened, reopened]
6 |
7 | jobs:
8 | # This workflow closes invalid PR
9 | close_pr:
10 | # The type of runner that the job will run on
11 | runs-on: ubuntu-latest
12 | permissions: write-all
13 |
14 | # Steps represent a sequence of tasks that will be executed as part of the job
15 | steps:
16 | - name: Close PR if it is not pointed to dev branch
17 | if: github.event.pull_request.base.ref != 'dev'
18 | uses: superbrothers/close-pull-request@v3
19 | with:
20 | # Optional. Post a issue comment just before closing a pull request.
21 | comment: "Invalid PR to `non-dev` branch `${{ github.event.pull_request.base.ref }}`."
22 |
23 | pull_format:
24 | runs-on: ubuntu-latest
25 | permissions:
26 | contents: write
27 |
28 | continue-on-error: true
29 |
30 | steps:
31 | - name: Checkout
32 | continue-on-error: true
33 | uses: actions/checkout@v3
34 | with:
35 | ref: ${{ github.head_ref }}
36 | fetch-depth: 0
37 |
38 | - name: Set up Python ${{ matrix.python-version }}
39 | uses: actions/setup-python@v4
40 | with:
41 | python-version: ${{ matrix.python-version }}
42 |
43 | - name: Install Black
44 | run: pip install "black[jupyter]"
45 |
46 | - name: Run Black
47 | # run: black $(git ls-files '*.py')
48 | run: black .
49 |
--------------------------------------------------------------------------------
/.github/workflows/push_format.yml:
--------------------------------------------------------------------------------
1 | name: Standardize Code Format
2 |
3 | on:
4 | push:
5 | branches:
6 | - main
7 | - dev
8 |
9 | jobs:
10 | push_format:
11 | runs-on: ubuntu-latest
12 |
13 | permissions:
14 | contents: write
15 | pull-requests: write
16 |
17 | steps:
18 | - uses: actions/checkout@v3
19 | with:
20 | ref: ${{github.ref_name}}
21 |
22 | - name: Set up Python ${{ matrix.python-version }}
23 | uses: actions/setup-python@v4
24 | with:
25 | python-version: ${{ matrix.python-version }}
26 |
27 | - name: Install Black
28 | run: pip install "black[jupyter]"
29 |
30 | - name: Run Black
31 | # run: black $(git ls-files '*.py')
32 | run: black .
33 |
34 | - name: Commit Back
35 | continue-on-error: true
36 | id: commitback
37 | run: |
38 | git config --local user.email "github-actions[bot]@users.noreply.github.com"
39 | git config --local user.name "github-actions[bot]"
40 | git add --all
41 | git commit -m "chore(format): run black on ${{github.ref_name}}"
42 |
43 | - name: Create Pull Request
44 | if: steps.commitback.outcome == 'success'
45 | continue-on-error: true
46 | uses: peter-evans/create-pull-request@v5
47 | with:
48 | delete-branch: true
49 | body: "Automatically apply code formatter change"
50 | title: "chore(format): run black on ${{github.ref_name}}"
51 | commit-message: "chore(format): run black on ${{github.ref_name}}"
52 | branch: formatter-${{github.ref_name}}
53 |
--------------------------------------------------------------------------------
/.github/workflows/sync_dev.yml:
--------------------------------------------------------------------------------
1 | name: Merge dev into main
2 |
3 | on:
4 | workflow_dispatch:
5 |
6 | jobs:
7 | sync_dev:
8 | runs-on: ubuntu-latest
9 |
10 | permissions:
11 | contents: write
12 | pull-requests: write
13 |
14 | steps:
15 | - uses: actions/checkout@v3
16 | with:
17 | ref: main
18 |
19 | - name: Create Pull Request
20 | run: |
21 | gh pr create --title "chore(sync): merge dev into main" --body "Merge dev to main" --base main --head dev
22 | env:
23 | GH_TOKEN: ${{ github.token }}
24 |
--------------------------------------------------------------------------------
/.github/workflows/unitest.yml:
--------------------------------------------------------------------------------
1 | name: Unit Test
2 | on: [ push, pull_request ]
3 | jobs:
4 | build:
5 | runs-on: ${{ matrix.os }}
6 | strategy:
7 | matrix:
8 | python-version: ["3.8", "3.9", "3.10"]
9 | os: [ubuntu-latest]
10 | fail-fast: true
11 |
12 | steps:
13 | - uses: actions/checkout@master
14 | - name: Set up Python ${{ matrix.python-version }}
15 | uses: actions/setup-python@v4
16 | with:
17 | python-version: ${{ matrix.python-version }}
18 | - name: Install dependencies
19 | run: |
20 | sudo apt update
21 | sudo apt -y install ffmpeg
22 | sudo apt -y install -qq aria2
23 | aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/hubert_base.pt -d ./ -o hubert_base.pt
24 | python -m pip install --upgrade pip
25 | python -m pip install --upgrade setuptools
26 | python -m pip install --upgrade wheel
27 | pip install torch torchvision torchaudio
28 | pip install -r requirements.txt
29 | - name: Test step 1 & 2
30 | run: |
31 | mkdir -p logs/mi-test
32 | touch logs/mi-test/preprocess.log
33 | python infer/modules/train/preprocess.py logs/mute/0_gt_wavs 48000 8 logs/mi-test True 3.7
34 | touch logs/mi-test/extract_f0_feature.log
35 | python infer/modules/train/extract/extract_f0_print.py logs/mi-test $(nproc) pm
36 | python infer/modules/train/extract_feature_print.py cpu 1 0 0 logs/mi-test v1
37 |
--------------------------------------------------------------------------------
/.gitignore:
--------------------------------------------------------------------------------
1 | .DS_Store
2 | __pycache__
3 | /TEMP
4 | *.pyd
5 | .venv
6 | /opt
7 | tools/aria2c/
8 | tools/flag.txt
9 |
10 |
11 | # Imported from huggingface.co/lj1995/VoiceConversionWebUI
12 | /pretrained
13 | /pretrained_v2
14 | /uvr5_weights
15 | hubert_base.pt
16 | rmvpe.onnx
17 | rmvpe.pt
18 |
19 | # Generated by RVC
20 | /logs
21 | /weights
22 |
23 | # To set a Python version for the project
24 | .tool-versions
25 |
26 |
27 | ### IDE FILES
28 |
29 | # Ignore PyCharm files
30 | .idea/
31 |
32 | # Ignore Visual Studio Code files
33 | .vscode/
34 |
35 | # Ignore Python cache files
36 | __pycache__/
37 | *.pyc
38 | *.pyo
39 | *.pyd
40 |
41 | # Ignore output folder
42 | output/
43 |
44 | # Ignore virtual environment folder
45 | venv/
46 |
47 | # Ignore distribution folders
48 | dist/
49 | build/
50 | *.egg-info/
51 |
--------------------------------------------------------------------------------
/Dockerfile:
--------------------------------------------------------------------------------
1 | # syntax=docker/dockerfile:1
2 |
3 | FROM nvidia/cuda:11.6.2-cudnn8-runtime-ubuntu20.04
4 |
5 | EXPOSE 7865
6 |
7 | WORKDIR /app
8 |
9 | COPY . .
10 |
11 | # Install dependenceis to add PPAs
12 | RUN apt-get update && \
13 | apt-get install -y -qq ffmpeg aria2 && apt clean && \
14 | apt-get install -y software-properties-common && \
15 | apt-get clean && \
16 | rm -rf /var/lib/apt/lists/*
17 |
18 | # Add the deadsnakes PPA to get Python 3.9
19 | RUN add-apt-repository ppa:deadsnakes/ppa
20 |
21 | # Install Python 3.9 and pip
22 | RUN apt-get update && \
23 | apt-get install -y build-essential python-dev python3-dev python3.9-distutils python3.9-dev python3.9 curl && \
24 | apt-get clean && \
25 | update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.9 1 && \
26 | curl https://bootstrap.pypa.io/get-pip.py | python3.9
27 |
28 | # Set Python 3.9 as the default
29 | RUN update-alternatives --install /usr/bin/python python /usr/bin/python3.9 1
30 |
31 | RUN python3 -m pip install --no-cache-dir -r requirements.txt
32 |
33 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/pretrained_v2/D40k.pth -d assets/pretrained_v2/ -o D40k.pth
34 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/pretrained_v2/G40k.pth -d assets/pretrained_v2/ -o G40k.pth
35 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/pretrained_v2/f0D40k.pth -d assets/pretrained_v2/ -o f0D40k.pth
36 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/pretrained_v2/f0G40k.pth -d assets/pretrained_v2/ -o f0G40k.pth
37 |
38 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/uvr5_weights/HP2-人声vocals+非人声instrumentals.pth -d assets/uvr5_weights/ -o HP2-人声vocals+非人声instrumentals.pth
39 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/uvr5_weights/HP5-主旋律人声vocals+其他instrumentals.pth -d assets/uvr5_weights/ -o HP5-主旋律人声vocals+其他instrumentals.pth
40 |
41 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/hubert_base.pt -d assets/hubert -o hubert_base.pt
42 |
43 | RUN aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/rmvpe.pt -d assets/rmvpe -o rmvpe.pt
44 |
45 | VOLUME [ "/app/weights", "/app/opt" ]
46 |
47 | CMD ["python3", "infer-web.py"]
48 |
--------------------------------------------------------------------------------
/LICENSE:
--------------------------------------------------------------------------------
1 | MIT License
2 |
3 | Copyright (c) 2023 liujing04
4 | Copyright (c) 2023 源文雨
5 | Copyright (c) 2023 Ftps
6 |
7 | Permission is hereby granted, free of charge, to any person obtaining a copy
8 | of this software and associated documentation files (the "Software"), to deal
9 | in the Software without restriction, including without limitation the rights
10 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
11 | copies of the Software, and to permit persons to whom the Software is
12 | furnished to do so, subject to the following conditions:
13 |
14 | The above copyright notice and this permission notice shall be included in all
15 | copies or substantial portions of the Software.
16 |
17 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
18 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
19 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
20 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
21 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
22 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
23 | SOFTWARE.
24 |
--------------------------------------------------------------------------------
/MIT协议暨相关引用库协议:
--------------------------------------------------------------------------------
1 | 本软件及其相关代码以MIT协议开源，作者不对软件具备任何控制力，使用软件者、传播软件导出的声音者自负全责。
2 | 如不认可该条款，则不能使用或引用软件包内任何代码和文件。
3 |
4 | 特此授予任何获得本软件和相关文档文件（以下简称“软件”）副本的人免费使用、复制、修改、合并、出版、分发、再授权和/或销售本软件的权利，以及授予本软件所提供的人使用本软件的权利，但须符合以下条件：
5 | 上述版权声明和本许可声明应包含在软件的所有副本或实质部分中。
6 | 软件是“按原样”提供的，没有任何明示或暗示的保证，包括但不限于适销性、适用于特定目的和不侵权的保证。在任何情况下，作者或版权持有人均不承担因软件或软件的使用或其他交易而产生、产生或与之相关的任何索赔、损害赔偿或其他责任，无论是在合同诉讼、侵权诉讼还是其他诉讼中。
7 |
8 |
9 | The LICENCEs for related libraries are as follows.
10 | 相关引用库协议如下：
11 |
12 | ContentVec
13 | https://github.com/auspicious3000/contentvec/blob/main/LICENSE
14 | MIT License
15 |
16 | VITS
17 | https://github.com/jaywalnut310/vits/blob/main/LICENSE
18 | MIT License
19 |
20 | HIFIGAN
21 | https://github.com/jik876/hifi-gan/blob/master/LICENSE
22 | MIT License
23 |
24 | gradio
25 | https://github.com/gradio-app/gradio/blob/main/LICENSE
26 | Apache License 2.0
27 |
28 | ffmpeg
29 | https://github.com/FFmpeg/FFmpeg/blob/master/COPYING.LGPLv3
30 | https://github.com/BtbN/FFmpeg-Builds/releases/download/autobuild-2021-02-28-12-32/ffmpeg-n4.3.2-160-gfbb9368226-win64-lgpl-4.3.zip
31 | LPGLv3 License
32 | MIT License
33 |
34 | ultimatevocalremovergui
35 | https://github.com/Anjok07/ultimatevocalremovergui/blob/master/LICENSE
36 | https://github.com/yang123qwe/vocal_separation_by_uvr5
37 | MIT License
38 |
39 | audio-slicer
40 | https://github.com/openvpi/audio-slicer/blob/main/LICENSE
41 | MIT License
42 |
43 | PySimpleGUI
44 | https://github.com/PySimpleGUI/PySimpleGUI/blob/master/license.txt
45 | LPGLv3 License
46 |
--------------------------------------------------------------------------------
/assets/Synthesizer_inputs.pth:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/SocAIty/Retrieval-based-Voice-Conversion-FastAPI/3299168b1e154f3cd62f3e4946efe17ed45d80b8/assets/Synthesizer_inputs.pth
--------------------------------------------------------------------------------
/assets/hubert/.gitignore:
--------------------------------------------------------------------------------
1 | *
2 | !.gitignore
3 | !hubert_inputs.pth
--------------------------------------------------------------------------------
/assets/hubert/hubert_inputs.pth:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/SocAIty/Retrieval-based-Voice-Conversion-FastAPI/3299168b1e154f3cd62f3e4946efe17ed45d80b8/assets/hubert/hubert_inputs.pth
--------------------------------------------------------------------------------
/assets/pretrained/.gitignore:
--------------------------------------------------------------------------------
1 | *
2 | !.gitignore
3 |
--------------------------------------------------------------------------------
/assets/pretrained_v2/.gitignore:
--------------------------------------------------------------------------------
1 | *
2 | !.gitignore
3 |
--------------------------------------------------------------------------------
/assets/rmvpe/.gitignore:
--------------------------------------------------------------------------------
1 | *
2 | !.gitignore
3 | !rmvpe_inputs.pth
--------------------------------------------------------------------------------
/assets/rmvpe/rmvpe_inputs.pth:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/SocAIty/Retrieval-based-Voice-Conversion-FastAPI/3299168b1e154f3cd62f3e4946efe17ed45d80b8/assets/rmvpe/rmvpe_inputs.pth
--------------------------------------------------------------------------------
/assets/uvr5_weights/.gitignore:
--------------------------------------------------------------------------------
1 | *
2 | !.gitignore
3 |
--------------------------------------------------------------------------------
/assets/weights/.gitignore:
--------------------------------------------------------------------------------
1 | *
2 | !.gitignore
3 |
--------------------------------------------------------------------------------
/configs/config.json:
--------------------------------------------------------------------------------
1 | {"pth_path": "assets/weights/kikiV1.pth", "index_path": "logs/kikiV1.index", "sg_input_device": "VoiceMeeter Output (VB-Audio Vo (MME)", "sg_output_device": "VoiceMeeter Input (VB-Audio Voi (MME)", "threhold": -45.0, "pitch": 2.0, "rms_mix_rate": 0.0, "index_rate": 0.0, "block_time": 0.52, "crossfade_length": 0.15, "extra_time": 2.46, "n_cpu": 6.0, "use_jit": false, "f0method": "rmvpe"}
--------------------------------------------------------------------------------
/configs/v1/32k.json:
--------------------------------------------------------------------------------
1 | {
2 | "train": {
3 | "log_interval": 200,
4 | "seed": 1234,
5 | "epochs": 20000,
6 | "learning_rate": 1e-4,
7 | "betas": [0.8, 0.99],
8 | "eps": 1e-9,
9 | "batch_size": 4,
10 | "fp16_run": true,
11 | "lr_decay": 0.999875,
12 | "segment_size": 12800,
13 | "init_lr_ratio": 1,
14 | "warmup_epochs": 0,
15 | "c_mel": 45,
16 | "c_kl": 1.0
17 | },
18 | "data": {
19 | "max_wav_value": 32768.0,
20 | "sampling_rate": 32000,
21 | "filter_length": 1024,
22 | "hop_length": 320,
23 | "win_length": 1024,
24 | "n_mel_channels": 80,
25 | "mel_fmin": 0.0,
26 | "mel_fmax": null
27 | },
28 | "model": {
29 | "inter_channels": 192,
30 | "hidden_channels": 192,
31 | "filter_channels": 768,
32 | "n_heads": 2,
33 | "n_layers": 6,
34 | "kernel_size": 3,
35 | "p_dropout": 0,
36 | "resblock": "1",
37 | "resblock_kernel_sizes": [3,7,11],
38 | "resblock_dilation_sizes": [[1,3,5], [1,3,5], [1,3,5]],
39 | "upsample_rates": [10,4,2,2,2],
40 | "upsample_initial_channel": 512,
41 | "upsample_kernel_sizes": [16,16,4,4,4],
42 | "use_spectral_norm": false,
43 | "gin_channels": 256,
44 | "spk_embed_dim": 109
45 | }
46 | }
47 |
--------------------------------------------------------------------------------
/configs/v1/40k.json:
--------------------------------------------------------------------------------
1 | {
2 | "train": {
3 | "log_interval": 200,
4 | "seed": 1234,
5 | "epochs": 20000,
6 | "learning_rate": 1e-4,
7 | "betas": [0.8, 0.99],
8 | "eps": 1e-9,
9 | "batch_size": 4,
10 | "fp16_run": true,
11 | "lr_decay": 0.999875,
12 | "segment_size": 12800,
13 | "init_lr_ratio": 1,
14 | "warmup_epochs": 0,
15 | "c_mel": 45,
16 | "c_kl": 1.0
17 | },
18 | "data": {
19 | "max_wav_value": 32768.0,
20 | "sampling_rate": 40000,
21 | "filter_length": 2048,
22 | "hop_length": 400,
23 | "win_length": 2048,
24 | "n_mel_channels": 125,
25 | "mel_fmin": 0.0,
26 | "mel_fmax": null
27 | },
28 | "model": {
29 | "inter_channels": 192,
30 | "hidden_channels": 192,
31 | "filter_channels": 768,
32 | "n_heads": 2,
33 | "n_layers": 6,
34 | "kernel_size": 3,
35 | "p_dropout": 0,
36 | "resblock": "1",
37 | "resblock_kernel_sizes": [3,7,11],
38 | "resblock_dilation_sizes": [[1,3,5], [1,3,5], [1,3,5]],
39 | "upsample_rates": [10,10,2,2],
40 | "upsample_initial_channel": 512,
41 | "upsample_kernel_sizes": [16,16,4,4],
42 | "use_spectral_norm": false,
43 | "gin_channels": 256,
44 | "spk_embed_dim": 109
45 | }
46 | }
47 |
--------------------------------------------------------------------------------
/configs/v1/48k.json:
--------------------------------------------------------------------------------
1 | {
2 | "train": {
3 | "log_interval": 200,
4 | "seed": 1234,
5 | "epochs": 20000,
6 | "learning_rate": 1e-4,
7 | "betas": [0.8, 0.99],
8 | "eps": 1e-9,
9 | "batch_size": 4,
10 | "fp16_run": true,
11 | "lr_decay": 0.999875,
12 | "segment_size": 11520,
13 | "init_lr_ratio": 1,
14 | "warmup_epochs": 0,
15 | "c_mel": 45,
16 | "c_kl": 1.0
17 | },
18 | "data": {
19 | "max_wav_value": 32768.0,
20 | "sampling_rate": 48000,
21 | "filter_length": 2048,
22 | "hop_length": 480,
23 | "win_length": 2048,
24 | "n_mel_channels": 128,
25 | "mel_fmin": 0.0,
26 | "mel_fmax": null
27 | },
28 | "model": {
29 | "inter_channels": 192,
30 | "hidden_channels": 192,
31 | "filter_channels": 768,
32 | "n_heads": 2,
33 | "n_layers": 6,
34 | "kernel_size": 3,
35 | "p_dropout": 0,
36 | "resblock": "1",
37 | "resblock_kernel_sizes": [3,7,11],
38 | "resblock_dilation_sizes": [[1,3,5], [1,3,5], [1,3,5]],
39 | "upsample_rates": [10,6,2,2,2],
40 | "upsample_initial_channel": 512,
41 | "upsample_kernel_sizes": [16,16,4,4,4],
42 | "use_spectral_norm": false,
43 | "gin_channels": 256,
44 | "spk_embed_dim": 109
45 | }
46 | }
47 |
--------------------------------------------------------------------------------
/configs/v2/32k.json:
--------------------------------------------------------------------------------
1 | {
2 | "train": {
3 | "log_interval": 200,
4 | "seed": 1234,
5 | "epochs": 20000,
6 | "learning_rate": 1e-4,
7 | "betas": [0.8, 0.99],
8 | "eps": 1e-9,
9 | "batch_size": 4,
10 | "fp16_run": true,
11 | "lr_decay": 0.999875,
12 | "segment_size": 12800,
13 | "init_lr_ratio": 1,
14 | "warmup_epochs": 0,
15 | "c_mel": 45,
16 | "c_kl": 1.0
17 | },
18 | "data": {
19 | "max_wav_value": 32768.0,
20 | "sampling_rate": 32000,
21 | "filter_length": 1024,
22 | "hop_length": 320,
23 | "win_length": 1024,
24 | "n_mel_channels": 80,
25 | "mel_fmin": 0.0,
26 | "mel_fmax": null
27 | },
28 | "model": {
29 | "inter_channels": 192,
30 | "hidden_channels": 192,
31 | "filter_channels": 768,
32 | "n_heads": 2,
33 | "n_layers": 6,
34 | "kernel_size": 3,
35 | "p_dropout": 0,
36 | "resblock": "1",
37 | "resblock_kernel_sizes": [3,7,11],
38 | "resblock_dilation_sizes": [[1,3,5], [1,3,5], [1,3,5]],
39 | "upsample_rates": [10,8,2,2],
40 | "upsample_initial_channel": 512,
41 | "upsample_kernel_sizes": [20,16,4,4],
42 | "use_spectral_norm": false,
43 | "gin_channels": 256,
44 | "spk_embed_dim": 109
45 | }
46 | }
47 |
--------------------------------------------------------------------------------
/configs/v2/48k.json:
--------------------------------------------------------------------------------
1 | {
2 | "train": {
3 | "log_interval": 200,
4 | "seed": 1234,
5 | "epochs": 20000,
6 | "learning_rate": 1e-4,
7 | "betas": [0.8, 0.99],
8 | "eps": 1e-9,
9 | "batch_size": 4,
10 | "fp16_run": true,
11 | "lr_decay": 0.999875,
12 | "segment_size": 17280,
13 | "init_lr_ratio": 1,
14 | "warmup_epochs": 0,
15 | "c_mel": 45,
16 | "c_kl": 1.0
17 | },
18 | "data": {
19 | "max_wav_value": 32768.0,
20 | "sampling_rate": 48000,
21 | "filter_length": 2048,
22 | "hop_length": 480,
23 | "win_length": 2048,
24 | "n_mel_channels": 128,
25 | "mel_fmin": 0.0,
26 | "mel_fmax": null
27 | },
28 | "model": {
29 | "inter_channels": 192,
30 | "hidden_channels": 192,
31 | "filter_channels": 768,
32 | "n_heads": 2,
33 | "n_layers": 6,
34 | "kernel_size": 3,
35 | "p_dropout": 0,
36 | "resblock": "1",
37 | "resblock_kernel_sizes": [3,7,11],
38 | "resblock_dilation_sizes": [[1,3,5], [1,3,5], [1,3,5]],
39 | "upsample_rates": [12,10,2,2],
40 | "upsample_initial_channel": 512,
41 | "upsample_kernel_sizes": [24,20,4,4],
42 | "use_spectral_norm": false,
43 | "gin_channels": 256,
44 | "spk_embed_dim": 109
45 | }
46 | }
47 |
--------------------------------------------------------------------------------
/docker-compose.yml:
--------------------------------------------------------------------------------
1 | version: "3.8"
2 | services:
3 | rvc:
4 | build:
5 | context: .
6 | dockerfile: Dockerfile
7 | container_name: rvc
8 | volumes:
9 | - ./weights:/app/assets/weights
10 | - ./opt:/app/opt
11 | # - ./dataset:/app/dataset # you can use this folder in order to provide your dataset for model training
12 | ports:
13 | - 7865:7865
14 | deploy:
15 | resources:
16 | reservations:
17 | devices:
18 | - driver: nvidia
19 | count: 1
20 | capabilities: [gpu]
--------------------------------------------------------------------------------
/docs/cn/Changelog_CN.md:
--------------------------------------------------------------------------------
1 | ### 20231006更新
2 |
3 | 我们制作了一个用于实时变声的界面go-realtime-gui.bat/gui_v1.py（事实上早就存在了），本次更新重点也优化了实时变声的性能。对比0813版：
4 | - 1、优优化界面操作：参数热更新（调整参数不需要中止再启动），懒加载模型（已加载过的模型不需要重新加载），增加响度因子参数（响度向输入音频靠近）
5 | - 2、优化自带降噪效果与速度
6 | - 3、大幅优化推理速度
7 |
8 | 注意输入输出设备应该选择同种类型，例如都选MME类型。
9 |
10 | 1006版本整体的更新为：
11 | - 1、继续提升rmvpe音高提取算法效果，对于男低音有更大的提升
12 | - 2、优化推理界面布局
13 |
14 | ### 20230813更新
15 | 1-常规bug修复
16 | - 保存频率总轮数最低改为1 总轮数最低改为2
17 | - 修复无pretrain模型训练报错
18 | - 增加伴奏人声分离完毕清理显存
19 | - faiss保存路径绝对路径改为相对路径
20 | - 支持路径包含空格（训练集路径+实验名称均支持，不再会报错）
21 | - filelist取消强制utf8编码
22 | - 解决实时变声中开启索引导致的CPU极大占用问题
23 |
24 | 2-重点更新
25 | - 训练出当前最强开源人声音高提取模型RMVPE，并用于RVC的训练、离线/实时推理，支持pytorch/onnx/DirectML
26 | - 通过pytorch-dml支持A卡和I卡的
27 | （1）实时变声（2）推理（3）人声伴奏分离（4）训练暂未支持，会切换至CPU训练；通过onnx_dml支持rmvpe_gpu的推理
28 |
29 | ### 20230618更新
30 | - v2增加32k和48k两个新预训练模型
31 | - 修复非f0模型推理报错
32 | - 对于超过一小时的训练集的索引建立环节，自动kmeans缩小特征处理以加速索引训练、加入和查询
33 | - 附送一个人声转吉他玩具仓库
34 | - 数据处理剔除异常值切片
35 | - onnx导出选项卡
36 |
37 | 失败的实验：
38 | - ~~特征检索增加时序维度：寄，没啥效果~~
39 | - ~~特征检索增加PCAR降维可选项：寄，数据大用kmeans缩小数据量，数据小降维操作耗时比省下的匹配耗时还多~~
40 | - ~~支持onnx推理（附带仅推理的小压缩包）：寄，生成nsf还是需要pytorch~~
41 | - ~~训练时在音高、gender、eq、噪声等方面对输入进行随机增强：寄，没啥效果~~
42 | - ~~接入小型声码器调研:寄，效果变差~~
43 |
44 | todolist：
45 | - ~~训练集音高识别支持crepe：已经被RMVPE取代，不需要~~
46 | - ~~多进程harvest推理：已经被RMVPE取代，不需要~~
47 | - ~~crepe的精度支持和RVC-config同步：已经被RMVPE取代，不需要。支持这个还要同步torchcrepe的库，麻烦~~
48 | - 对接F0编辑器
49 |
50 |
51 | ### 20230528更新
52 | - 增加v2的jupyter notebook，韩文changelog，增加一些环境依赖
53 | - 增加呼吸、清辅音、齿音保护模式
54 | - 支持crepe-full推理
55 | - UVR5人声伴奏分离加上3个去延迟模型和MDX-Net去混响模型，增加HP3人声提取模型
56 | - 索引名称增加版本和实验名称
57 | - 人声伴奏分离、推理批量导出增加音频导出格式选项
58 | - 废弃32k模型的训练
59 |
60 | ### 20230513更新
61 | - 清除一键包内部老版本runtime内残留的lib.infer_pack和uvr5_pack
62 | - 修复训练集预处理伪多进程的bug
63 | - 增加harvest识别音高可选通过中值滤波削弱哑音现象，可调整中值滤波半径
64 | - 导出音频增加后处理重采样
65 | - 训练n_cpu进程数从"仅调整f0提取"改为"调整数据预处理和f0提取"
66 | - 自动检测logs文件夹下的index路径，提供下拉列表功能
67 | - tab页增加"常见问题解答"（也可参考github-rvc-wiki）
68 | - 相同路径的输入音频推理增加了音高缓存（用途：使用harvest音高提取，整个pipeline会经历漫长且重复的音高提取过程，如果不使用缓存，实验不同音色、索引、音高中值滤波半径参数的用户在第一次测试后的等待结果会非常痛苦）
69 |
70 | ### 20230514更新
71 | - 音量包络对齐输入混合（可以缓解“输入静音输出小幅度噪声”的问题。如果输入音频背景底噪大则不建议开启，默认不开启（值为1可视为不开启））
72 | - 支持按照指定频率保存提取的小模型（假如你想尝试不同epoch下的推理效果，但是不想保存所有大checkpoint并且每次都要ckpt手工处理提取小模型，这项功能会非常实用）
73 | - 通过设置环境变量解决服务端开了系统全局代理导致浏览器连接错误的问题
74 | - 支持v2预训练模型（目前只公开了40k版本进行测试，另外2个采样率还没有训练完全）
75 | - 推理前限制超过1的过大音量
76 | - 微调数据预处理参数
77 |
78 |
79 | ### 20230409更新
80 | - 修正训练参数，提升显卡平均利用率，A100最高从25%提升至90%左右，V100:50%->90%左右，2060S:60%->85%左右，P40:25%->95%左右，训练速度显著提升
81 | - 修正参数：总batch_size改为每张卡的batch_size
82 | - 修正total_epoch：最大限制100解锁至1000；默认10提升至默认20
83 | - 修复ckpt提取识别是否带音高错误导致推理异常的问题
84 | - 修复分布式训练每个rank都保存一次ckpt的问题
85 | - 特征提取进行nan特征过滤
86 | - 修复静音输入输出随机辅音or噪声的问题（老版模型需要重做训练集重训）
87 |
88 | ### 20230416更新
89 | - 新增本地实时变声迷你GUI，双击go-realtime-gui.bat启动
90 | - 训练推理均对<50Hz的频段进行滤波过滤
91 | - 训练推理音高提取pyworld最低音高从默认80下降至50,50-80hz间的男声低音不会哑
92 | - WebUI支持根据系统区域变更语言（现支持en_US，ja_JP，zh_CN，zh_HK，zh_SG，zh_TW，不支持的默认en_US）
93 | - 修正部分显卡识别（例如V100-16G识别失败，P4识别失败）
94 |
95 | ### 20230428更新
96 | - 升级faiss索引设置，速度更快，质量更高
97 | - 取消total_npy依赖，后续分享模型不再需要填写total_npy
98 | - 解锁16系限制。4G显存GPU给到4G的推理设置。
99 | - 修复部分音频格式下UVR5人声伴奏分离的bug
100 | - 实时变声迷你gui增加对非40k与不懈怠音高模型的支持
101 |
102 | ### 后续计划：
103 | 功能：
104 | - 支持多人训练选项卡（至多4人）
105 |
106 | 底模：
107 | - 收集呼吸wav加入训练集修正呼吸变声电音的问题
108 | - 我们正在训练增加了歌声训练集的底模，未来会公开
109 |
110 |
--------------------------------------------------------------------------------
/docs/cn/faq.md:
--------------------------------------------------------------------------------
1 | ## Q1:ffmpeg error/utf8 error.
2 |
3 | 大概率不是ffmpeg问题，而是音频路径问题；
4 | ffmpeg读取路径带空格、()等特殊符号，可能出现ffmpeg error；训练集音频带中文路径，在写入filelist.txt的时候可能出现utf8 error；
5 |
6 | ## Q2:一键训练结束没有索引
7 |
8 | 显示"Training is done. The program is closed."则模型训练成功，后续紧邻的报错是假的；
9 |
10 | 一键训练结束完成没有added开头的索引文件，可能是因为训练集太大卡住了添加索引的步骤；已通过批处理add索引解决内存add索引对内存需求过大的问题。临时可尝试再次点击"训练索引"按钮。
11 |
12 | ## Q3:训练结束推理没看到训练集的音色
13 | 点刷新音色再看看，如果还没有看看训练有没有报错，控制台和webui的截图，logs/实验名下的log，都可以发给开发者看看。
14 |
15 | ## Q4:如何分享模型
16 | rvc_root/logs/实验名 下面存储的pth不是用来分享模型用来推理的，而是为了存储实验状态供复现，以及继续训练用的。用来分享的模型应该是weights文件夹下大小为60+MB的pth文件；
17 | 后续将把weights/exp_name.pth和logs/exp_name/added_xxx.index合并打包成weights/exp_name.zip省去填写index的步骤，那么zip文件用来分享，不要分享pth文件，除非是想换机器继续训练；
18 | 如果你把logs文件夹下的几百MB的pth文件复制/分享到weights文件夹下强行用于推理，可能会出现f0，tgt_sr等各种key不存在的报错。你需要用ckpt选项卡最下面，手工或自动（本地logs下如果能找到相关信息则会自动）选择是否携带音高、目标音频采样率的选项后进行ckpt小模型提取（输入路径填G开头的那个），提取完在weights文件夹下会出现60+MB的pth文件，刷新音色后可以选择使用。
19 |
20 | ## Q5:Connection Error.
21 | 也许你关闭了控制台（黑色窗口）。
22 |
23 | ## Q6:WebUI弹出Expecting value: line 1 column 1 (char 0).
24 | 请关闭系统局域网代理/全局代理。
25 |
26 | 这个不仅是客户端的代理，也包括服务端的代理（例如你使用autodl设置了http_proxy和https_proxy学术加速，使用时也需要unset关掉）
27 |
28 | ## Q7:不用WebUI如何通过命令训练推理
29 | 训练脚本：
30 | 可先跑通WebUI，消息窗内会显示数据集处理和训练用命令行；
31 |
32 | 推理脚本：
33 | https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/myinfer.py
34 |
35 | 例子：
36 |
37 | runtime\python.exe myinfer.py 0 "E:\codes\py39\RVC-beta\todo-songs\1111.wav" "E:\codes\py39\logs\mi-test\added_IVF677_Flat_nprobe_7.index" harvest "test.wav" "weights/mi-test.pth" 0.6 cuda:0 True
38 |
39 | f0up_key=sys.argv[1]
40 | input_path=sys.argv[2]
41 | index_path=sys.argv[3]
42 | f0method=sys.argv[4]#harvest or pm
43 | opt_path=sys.argv[5]
44 | model_path=sys.argv[6]
45 | index_rate=float(sys.argv[7])
46 | device=sys.argv[8]
47 | is_half=bool(sys.argv[9])
48 |
49 | ## Q8:Cuda error/Cuda out of memory.
50 | 小概率是cuda配置问题、设备不支持；大概率是显存不够（out of memory）；
51 |
52 | 训练的话缩小batch size（如果缩小到1还不够只能更换显卡训练），推理的话酌情缩小config.py结尾的x_pad，x_query，x_center，x_max。4G以下显存（例如1060（3G）和各种2G显卡）可以直接放弃，4G显存显卡还有救。
53 |
54 | ## Q9:total_epoch调多少比较好
55 |
56 | 如果训练集音质差底噪大，20~30足够了，调太高，底模音质无法带高你的低音质训练集
57 | 如果训练集音质高底噪低时长多，可以调高，200是ok的（训练速度很快，既然你有条件准备高音质训练集，显卡想必条件也不错，肯定不在乎多一些训练时间）
58 |
59 | ## Q10:需要多少训练集时长
60 | 推荐10min至50min
61 | 保证音质高底噪低的情况下，如果有个人特色的音色统一，则多多益善
62 | 高水平的训练集（精简+音色有特色），5min至10min也是ok的，仓库作者本人就经常这么玩
63 | 也有人拿1min至2min的数据来训练并且训练成功的，但是成功经验是其他人不可复现的，不太具备参考价值。这要求训练集音色特色非常明显（比如说高频气声较明显的萝莉少女音），且音质高；
64 | 1min以下时长数据目前没见有人尝试（成功）过。不建议进行这种鬼畜行为。
65 |
66 | ## Q11:index rate干嘛用的，怎么调（科普）
67 | 如果底模和推理源的音质高于训练集的音质，他们可以带高推理结果的音质，但代价可能是音色往底模/推理源的音色靠，这种现象叫做"音色泄露"；
68 | index rate用来削减/解决音色泄露问题。调到1，则理论上不存在推理源的音色泄露问题，但音质更倾向于训练集。如果训练集音质比推理源低，则index rate调高可能降低音质。调到0，则不具备利用检索混合来保护训练集音色的效果；
69 | 如果训练集优质时长多，可调高total_epoch，此时模型本身不太会引用推理源和底模的音色，很少存在"音色泄露"问题，此时index_rate不重要，你甚至可以不建立/分享index索引文件。
70 |
71 | ## Q11:推理怎么选gpu
72 | config.py文件里device cuda:后面选择卡号；
73 | 卡号和显卡的映射关系，在训练选项卡的显卡信息栏里能看到。
74 |
75 | ## Q12:如何推理训练中间保存的pth
76 | 通过ckpt选项卡最下面提取小模型。
77 |
78 |
79 | ## Q13:如何中断和继续训练
80 | 现阶段只能关闭WebUI控制台双击go-web.bat重启程序。网页参数也要刷新重新填写；
81 | 继续训练：相同网页参数点训练模型，就会接着上次的checkpoint继续训练。
82 |
83 | ## Q14:训练时出现文件页面/内存error
84 | 进程开太多了，内存炸了。你可能可以通过如下方式解决
85 | 1、"提取音高和处理数据使用的CPU进程数" 酌情拉低；
86 | 2、训练集音频手工切一下，不要太长。
87 |
88 |
89 | ## Q15:如何中途加数据训练
90 | 1、所有数据新建一个实验名；
91 | 2、拷贝上一次的最新的那个G和D文件（或者你想基于哪个中间ckpt训练，也可以拷贝中间的）到新实验名；下
92 | 3、一键训练新实验名，他会继续上一次的最新进度训练。
93 |
94 | ## Q16: error about llvmlite.dll
95 |
96 | OSError: Could not load shared object file: llvmlite.dll
97 |
98 | FileNotFoundError: Could not find module lib\site-packages\llvmlite\binding\llvmlite.dll (or one of its dependencies). Try using the full path with constructor syntax.
99 |
100 | win平台会报这个错，装上https://aka.ms/vs/17/release/vc_redist.x64.exe这个再重启WebUI就好了。
101 |
102 | ## Q17: RuntimeError: The expanded size of the tensor (17280) must match the existing size (0) at non-singleton dimension 1. Target sizes: [1, 17280]. Tensor sizes: [0]
103 |
104 | wavs16k文件夹下，找到文件大小显著比其他都小的一些音频文件，删掉，点击训练模型，就不会报错了，不过由于一键流程中断了你训练完模型还要点训练索引。
105 |
106 | ## Q18: RuntimeError: The size of tensor a (24) must match the size of tensor b (16) at non-singleton dimension 2
107 |
108 | 不要中途变更采样率继续训练。如果一定要变更，应更换实验名从头训练。当然你也可以把上次提取的音高和特征（0/1/2/2b folders）拷贝过去加速训练流程。
109 |
--------------------------------------------------------------------------------
/docs/jp/README.ja.md:
--------------------------------------------------------------------------------
1 |
2 |
3 |
Retrieval-based-Voice-Conversion-WebUI
4 | VITSに基づく使いやすい音声変換（voice changer）framework
5 |
6 | [](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI)
8 |
9 |
10 |
11 | [](https://colab.research.google.com/github/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/Retrieval_based_Voice_Conversion_WebUI.ipynb)
12 | [](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/LICENSE)
13 | [](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/)
14 |
15 | [](https://discord.gg/HcsmBBGyVk)
16 |
17 |
109 |
110 |
--------------------------------------------------------------------------------
/docs/jp/faiss_tips_ja.md:
--------------------------------------------------------------------------------
1 | faiss tuning TIPS
2 | ==================
3 | # about faiss
4 | faissはfacebook researchの開発する、密なベクトルに対する近傍探索をまとめたライブラリで、多くの近似近傍探索の手法を効率的に実装しています。
5 | 近似近傍探索はある程度精度を犠牲にしながら高速に類似するベクトルを探します。
6 |
7 | ## faiss in RVC
8 | RVCではHuBERTで変換した特徴量のEmbeddingに対し、学習データから生成されたEmbeddingと類似するものを検索し、混ぜることでより元の音声に近い変換を実現しています。ただ、この検索は愚直に行うと時間がかかるため、近似近傍探索を用いることで高速な変換を実現しています。
9 |
10 | # 実装のoverview
11 | モデルが配置されている '/logs/your-experiment/3_feature256'には各音声データからHuBERTで抽出された特徴量が配置されています。
12 | ここからnpyファイルをファイル名でソートした順番で読み込み、ベクトルを連結してbig_npyを作成しfaissを学習させます。(このベクトルのshapeは[N, 256]です。)
13 |
14 | 本Tipsではまずこれらのパラメータの意味を解説します。
15 |
16 | # 手法の解説
17 | ## index factory
18 | index factoryは複数の近似近傍探索の手法を繋げるパイプラインをstringで表記するfaiss独自の記法です。
19 | これにより、index factoryの文字列を変更するだけで様々な近似近傍探索の手法を試せます。
20 | RVCでは以下のように使われています。
21 |
22 | ```python
23 | index = faiss.index_factory(256, "IVF%s,Flat" % n_ivf)
24 | ```
25 | index_factoryの引数のうち、1つ目はベクトルの次元数、2つ目はindex factoryの文字列で、3つ目には用いる距離を指定することができます。
26 |
27 | より詳細な記法については
28 | https://github.com/facebookresearch/faiss/wiki/The-index-factory
29 |
30 | ## 距離指標
31 | embeddingの類似度として用いられる代表的な指標として以下の二つがあります。
32 |
33 | - ユークリッド距離(METRIC_L2)
34 | - 内積(METRIC_INNER_PRODUCT)
35 |
36 | ユークリッド距離では各次元において二乗の差をとり、全次元の差を足してから平方根をとります。これは日常的に用いる2次元、3次元での距離と同じです。
37 | 内積はこのままでは類似度の指標として用いず、一般的にはL2ノルムで正規化してから内積をとるコサイン類似度を用います。
38 |
39 | どちらがよいかは場合によりますが、word2vec等で得られるembeddingやArcFace等で学習した類似画像検索のモデルではコサイン類似度が用いられることが多いです。ベクトルXに対してl2正規化をnumpyで行う場合は、0 divisionを避けるために十分に小さな値をepsとして以下のコードで可能です。
40 |
41 | ```python
42 | X_normed = X / np.maximum(eps, np.linalg.norm(X, ord=2, axis=-1, keepdims=True))
43 | ```
44 |
45 | また、index factoryには第3引数に渡す値を選ぶことで計算に用いる距離指標を変更できます。
46 |
47 | ```python
48 | index = faiss.index_factory(dimention, text, faiss.METRIC_INNER_PRODUCT)
49 | ```
50 |
51 | ## IVF
52 | IVF(Inverted file indexes)は全文検索における転置インデックスと似たようなアルゴリズムです。
53 | 学習時には検索対象に対してkmeansでクラスタリングを行い、クラスタ中心を用いてボロノイ分割を行います。各データ点には一つずつクラスタが割り当てられるので、クラスタからデータ点を逆引きする辞書を作成します。
54 |
55 | 例えば以下のようにクラスタが割り当てられた場合
56 | |index|クラスタ|
57 | |-----|-------|
58 | |1|A|
59 | |2|B|
60 | |3|A|
61 | |4|C|
62 | |5|B|
63 |
64 | 作成される転置インデックスは以下のようになります。
65 |
66 | |クラスタ|index|
67 | |-------|-----|
68 | |A|1, 3|
69 | |B|2, 5|
70 | |C|4|
71 |
72 | 検索時にはまずクラスタからn_probe個のクラスタを検索し、次にそれぞれのクラスタに属するデータ点について距離を計算します。
73 |
74 | # 推奨されるパラメータ
75 | indexの選び方については公式にガイドラインがあるので、それに準じて説明します。
76 | https://github.com/facebookresearch/faiss/wiki/Guidelines-to-choose-an-index
77 |
78 | 1M以下のデータセットにおいては4bit-PQが2023年4月時点ではfaissで利用できる最も効率的な手法です。
79 | これをIVFと組み合わせ、4bit-PQで候補を絞り、最後に正確な指標で距離を再計算するには以下のindex factoryを用いることで記載できます。
80 |
81 | ```python
82 | index = faiss.index_factory(256, "IVF1024,PQ128x4fs,RFlat")
83 | ```
84 |
85 | ## IVFの推奨パラメータ
86 | IVFの数が多すぎる場合、たとえばデータ数の数だけIVFによる粗量子化を行うと、これは愚直な全探索と同じになり効率が悪いです。
87 | 1M以下の場合ではIVFの値はデータ点の数Nに対して4*sqrt(N) ~ 16*sqrt(N)に推奨しています。
88 |
89 | n_probeはn_probeの数に比例して計算時間が増えるので、精度と相談して適切に選んでください。個人的にはRVCにおいてそこまで精度は必要ないと思うのでn_probe = 1で良いと思います。
90 |
91 | ## FastScan
92 | FastScanは直積量子化で大まかに距離を近似するのを、レジスタ内で行うことにより高速に行うようにした手法です。
93 | 直積量子化は学習時にd次元ごと(通常はd=2)に独立してクラスタリングを行い、クラスタ同士の距離を事前計算してlookup tableを作成します。予測時はlookup tableを見ることで各次元の距離をO(1)で計算できます。
94 | そのため、PQの次に指定する数字は通常ベクトルの半分の次元を指定します。
95 |
96 | FastScanに関するより詳細な説明は公式のドキュメントを参照してください。
97 | https://github.com/facebookresearch/faiss/wiki/Fast-accumulation-of-PQ-and-AQ-codes-(FastScan)
98 |
99 | ## RFlat
100 | RFlatはFastScanで計算した大まかな距離を、index factoryの第三引数で指定した正確な距離で再計算する指示です。
101 | k個の近傍を取得する際は、k*k_factor個の点について再計算が行われます。
102 |
--------------------------------------------------------------------------------
/docs/jp/training_tips_ja.md:
--------------------------------------------------------------------------------
1 | RVCの訓練における説明、およびTIPS
2 | ===============================
3 | 本TIPSではどのようにデータの訓練が行われているかを説明します。
4 |
5 | # 訓練の流れ
6 | GUIの訓練タブのstepに沿って説明します。
7 |
8 | ## step1
9 | 実験名の設定を行います。
10 |
11 | また、モデルに音高ガイド(ピッチ)を考慮させるかもここで設定できます。考慮させない場合はモデルは軽量になりますが、歌唱には向かなくなります。
12 |
13 | 各実験のデータは`/logs/実験名/`に配置されます。
14 |
15 | ## step2a
16 | 音声の読み込みと前処理を行います。
17 |
18 | ### load audio
19 | 音声のあるフォルダを指定すると、そのフォルダ内にある音声ファイルを自動で読み込みます。
20 | 例えば`C:Users\hoge\voices`を指定した場合、`C:Users\hoge\voices\voice.mp3`は読み込まれますが、`C:Users\hoge\voices\dir\voice.mp3`は読み込まれません。
21 |
22 | 音声の読み込みには内部でffmpegを利用しているので、ffmpegで対応している拡張子であれば自動的に読み込まれます。
23 | ffmpegでint16に変換した後、float32に変換し、-1 ~ 1の間に正規化されます。
24 |
25 | ### denoising
26 | 音声についてscipyのfiltfiltによる平滑化を行います。
27 |
28 | ### 音声の分割
29 | 入力した音声はまず、一定期間(max_sil_kept=5秒?)より長く無音が続く部分を検知して音声を分割します。無音で音声を分割した後は、0.3秒のoverlapを含む4秒ごとに音声を分割します。4秒以内に区切られた音声は、音量の正規化を行った後wavファイルを`/logs/実験名/0_gt_wavs`に、そこから16kのサンプリングレートに変換して`/logs/実験名/1_16k_wavs`にwavファイルで保存します。
30 |
31 | ## step2b
32 | ### ピッチの抽出
33 | wavファイルからピッチ(音の高低)の情報を抽出します。parselmouthやpyworldに内蔵されている手法でピッチ情報(=f0)を抽出し、`/logs/実験名/2a_f0`に保存します。その後、ピッチ情報を対数で変換して1~255の整数に変換し、`/logs/実験名/2b-f0nsf`に保存します。
34 |
35 | ### feature_printの抽出
36 | HuBERTを用いてwavファイルを事前にembeddingに変換します。`/logs/実験名/1_16k_wavs`に保存したwavファイルを読み込み、HuBERTでwavファイルを256次元の特徴量に変換し、npy形式で`/logs/実験名/3_feature256`に保存します。
37 |
38 | ## step3
39 | モデルのトレーニングを行います。
40 | ### 初心者向け用語解説
41 | 深層学習ではデータセットを分割し、少しずつ学習を進めていきます。一回のモデルの更新(step)では、batch_size個のデータを取り出し予測と誤差の修正を行います。これをデータセットに対して一通り行うと一epochと数えます。
42 |
43 | そのため、学習時間は 1step当たりの学習時間 x (データセット内のデータ数 ÷ バッチサイズ) x epoch数 かかります。一般にバッチサイズを大きくするほど学習は安定し、(1step当たりの学習時間÷バッチサイズ)は小さくなりますが、その分GPUのメモリを多く使用します。GPUのRAMはnvidia-smiコマンド等で確認できます。実行環境のマシンに合わせてバッチサイズをできるだけ大きくするとより短時間で学習が可能です。
44 |
45 | ### pretrained modelの指定
46 | RVCではモデルの訓練を0からではなく、事前学習済みの重みから開始するため、少ないデータセットで学習を行えます。
47 |
48 | デフォルトでは
49 |
50 | - 音高ガイドを考慮する場合、`RVCのある場所/pretrained/f0G40k.pth`と`RVCのある場所/pretrained/f0D40k.pth`を読み込みます。
51 | - 音高ガイドを考慮しない場合、`RVCのある場所/pretrained/G40k.pth`と`RVCのある場所/pretrained/D40k.pth`を読み込みます。
52 |
53 | 学習時はsave_every_epochごとにモデルのパラメータが`logs/実験名/G_{}.pth`と`logs/実験名/D_{}.pth`に保存されますが、このパスを指定することで学習を再開したり、もしくは違う実験で学習したモデルの重みから学習を開始できます。
54 |
55 | ### indexの学習
56 | RVCでは学習時に使われたHuBERTの特徴量を保存し、推論時は学習時の特徴量から近い特徴量を探してきて推論を行います。この検索を高速に行うために事前にindexの学習を行います。
57 | indexの学習には近似近傍探索ライブラリのfaissを用います。`/logs/実験名/3_feature256`の特徴量を読み込み、それを用いて学習したindexを`/logs/実験名/add_XXX.index`として保存します。
58 | (20230428updateよりtotal_fea.npyはindexから読み込むので不要になりました。)
59 |
60 | ### ボタンの説明
61 | - モデルのトレーニング: step2bまでを実行した後、このボタンを押すとモデルの学習を行います。
62 | - 特徴インデックスのトレーニング: モデルのトレーニング後、indexの学習を行います。
63 | - ワンクリックトレーニング: step2bまでとモデルのトレーニング、特徴インデックスのトレーニングを一括で行います。
64 |
65 |
--------------------------------------------------------------------------------
/docs/kr/Changelog_KO.md:
--------------------------------------------------------------------------------
1 | ### 2023-08-13
2 | 1-정기적인 버그 수정
3 | - 최소 총 에포크 수를 1로 변경하고, 최소 총 에포크 수를 2로 변경합니다.
4 | - 사전 훈련(pre-train) 모델을 사용하지 않는 훈련 오류 수정
5 | - 반주 보컬 분리 후 그래픽 메모리 지우기
6 | - 페이즈 저장 경로 절대 경로를 상대 경로로 변경
7 | - 공백이 포함된 경로 지원(훈련 세트 경로와 실험 이름 모두 지원되며 더 이상 오류가 보고되지 않음)
8 | - 파일 목록에서 필수 utf8 인코딩 취소
9 | - 실시간 음성 변경 중 faiss 검색으로 인한 CPU 소모 문제 해결
10 |
11 | 2-키 업데이트
12 | - 현재 가장 강력한 오픈 소스 보컬 피치 추출 모델 RMVPE를 훈련하고, 이를 RVC 훈련, 오프라인/실시간 추론에 사용하며, PyTorch/Onx/DirectML을 지원합니다.
13 | - 파이토치_DML을 통한 AMD 및 인텔 그래픽 카드 지원
14 | (1) 실시간 음성 변화 (2) 추론 (3) 보컬 반주 분리 (4) 현재 지원되지 않는 훈련은 CPU 훈련으로 전환, Onnx_Dml을 통한 gpu의 RMVPE 추론 지원
15 |
16 | ### 2023년 6월 18일 업데이트
17 |
18 | - v2 버전에서 새로운 32k와 48k 사전 학습 모델을 추가.
19 | - non-f0 모델들의 추론 오류 수정.
20 | - 학습 세트가 1시간을 넘어가는 경우, 인덱스 생성 단계에서 minibatch-kmeans을 사용해, 학습속도 가속화.
21 | - [huggingface](https://huggingface.co/spaces/lj1995/vocal2guitar)에서 vocal2guitar 제공.
22 | - 데이터 처리 단계에서 이상 값 자동으로 제거.
23 | - ONNX로 내보내는(export) 옵션 탭 추가.
24 |
25 | 업데이트에 적용되지 않았지만 시도한 것들 :
26 |
27 | - ~~시계열 차원을 추가하여 특징 검색을 진행했지만, 유의미한 효과는 없었습니다.~~
28 | - ~~PCA 차원 축소를 추가하여 특징 검색을 진행했지만, 유의미한 효과는 없었습니다.~~
29 | - ~~ONNX 추론을 지원하는 것에 실패했습니다. nsf 생성시, Pytorch가 필요하기 때문입니다.~~
30 | - ~~훈련 중에 입력에 대한 음고, 성별, 이퀄라이저, 노이즈 등 무작위로 강화하는 것에, 유의미한 효과는 없었습니다.~~
31 |
32 | 추후 업데이트 목록:
33 |
34 | - ~~Vocos-RVC (소형 보코더) 통합 예정.~~
35 | - ~~학습 단계에 음고 인식을 위한 Crepe 지원 예정.~~
36 | - ~~Crepe의 정밀도를 REC-config와 동기화하여 지원 예정.~~
37 | - FO 에디터 지원 예정.
38 |
39 | ### 2023년 5월 28일 업데이트
40 |
41 | - v2 jupyter notebook 추가, 한국어 업데이트 로그 추가, 의존성 모듈 일부 수정.
42 | - 무성음 및 숨소리 보호 모드 추가.
43 | - crepe-full pitch 감지 지원.
44 | - UVR5 보컬 분리: 디버브 및 디-에코 모델 지원.
45 | - index 이름에 experiment 이름과 버전 추가.
46 | - 배치 음성 변환 처리 및 UVR5 보컬 분리 시, 사용자가 수동으로 출력 오디오의 내보내기(export) 형식을 선택할 수 있도록 지원.
47 | - 32k 훈련 모델 지원 종료.
48 |
49 | ### 2023년 5월 13일 업데이트
50 |
51 | - 원클릭 패키지의 이전 버전 런타임 내, 불필요한 코드(lib.infer_pack 및 uvr5_pack) 제거.
52 | - 훈련 세트 전처리의 유사 다중 처리 버그 수정.
53 | - Harvest 피치 인식 알고리즘에 대한 중위수 필터링 반경 조정 추가.
54 | - 오디오 내보낼 때, 후처리 리샘플링 지원.
55 | - 훈련에 대한 다중 처리 "n_cpu" 설정이 "f0 추출"에서 "데이터 전처리 및 f0 추출"로 변경.
56 | - logs 폴더 하의 인덱스 경로를 자동으로 감지 및 드롭다운 목록 기능 제공.
57 | - 탭 페이지에 "자주 묻는 질문과 답변" 추가. (github RVC wiki 참조 가능)
58 | - 동일한 입력 오디오 경로를 사용할 때 추론, Harvest 피치를 캐시.
59 | (주의: Harvest 피치 추출을 사용하면 전체 파이프라인은 길고 반복적인 피치 추출 과정을 거치게됩니다. 캐싱을 하지 않는다면, 첫 inference 이후의 단계에서 timbre, 인덱스, 피치 중위수 필터링 반경 설정 등 대기시간이 엄청나게 길어집니다!)
60 |
61 | ### 2023년 5월 14일 업데이트
62 |
63 | - 입력의 볼륨 캡슐을 사용하여 출력의 볼륨 캡슐을 혼합하거나 대체. (입력이 무음이거나 출력의 노이즈 문제를 최소화 할 수 있습니다. 입력 오디오의 배경 노이즈(소음)가 큰 경우 해당 기능을 사용하지 않는 것이 좋습니다. 기본적으로 비활성화 되어있는 옵션입니다. (1: 비활성화 상태))
64 | - 추출된 소형 모델을 지정된 빈도로 저장하는 기능을 지원. (다양한 에폭 하에서의 성능을 보려고 하지만 모든 대형 체크포인트를 저장하고 매번 ckpt 처리를 통해 소형 모델을 수동으로 추출하고 싶지 않은 경우 이 기능은 매우 유용합니다)
65 | - 환경 변수를 설정하여 서버의 전역 프록시로 인한 "연결 오류" 문제 해결.
66 | - 사전 훈련된 v2 모델 지원. (현재 40k 버전만 테스트를 위해 공개적으로 사용 가능하며, 다른 두 개의 샘플링 비율은 아직 완전히 훈련되지 않아 보류되었습니다.)
67 | - 추론 전, 1을 초과하는 과도한 볼륨 제한.
68 | - 데이터 전처리 매개변수 미세 조정.
69 |
70 | ### 2023년 4월 9일 업데이트
71 |
72 | - GPU 이용률 향상을 위해 훈련 파라미터 수정: A100은 25%에서 약 90%로 증가, V100: 50%에서 약 90%로 증가, 2060S: 60%에서 약 85%로 증가, P40: 25%에서 약 95%로 증가.
73 | 훈련 속도가 크게 향상.
74 | - 매개변수 기준 변경: total batch_size는 GPU당 batch_size를 의미.
75 | - total_epoch 변경: 최대 한도가 100에서 1000으로 증가. 기본값이 10에서 20으로 증가.
76 | - ckpt 추출이 피치를 잘못 인식하여 비정상적인 추론을 유발하는 문제 수정.
77 | - 분산 훈련 과정에서 각 랭크마다 ckpt를 저장하는 문제 수정.
78 | - 특성 추출 과정에 나노 특성 필터링 적용.
79 | - 무음 입력/출력이 랜덤하게 소음을 생성하는 문제 수정. (이전 모델은 새 데이터셋으로 다시 훈련해야 합니다)
80 |
81 | ### 2023년 4월 16일 업데이트
82 |
83 | - 로컬 실시간 음성 변경 미니-GUI 추가, go-realtime-gui.bat를 더블 클릭하여 시작.
84 | - 훈련 및 추론 중 50Hz 이하의 주파수 대역에 대해 필터링 적용.
85 | - 훈련 및 추론의 pyworld 최소 피치 추출을 기본 80에서 50으로 낮춤. 이로 인해, 50-80Hz 사이의 남성 저음이 무음화되지 않습니다.
86 | - 시스템 지역에 따른 WebUI 언어 변경 지원. (현재 en_US, ja_JP, zh_CN, zh_HK, zh_SG, zh_TW를 지원하며, 지원되지 않는 경우 기본값은 en_US)
87 | - 일부 GPU의 인식 수정. (예: V100-16G 인식 실패, P4 인식 실패)
88 |
89 | ### 2023년 4월 28일 업데이트
90 |
91 | - Faiss 인덱스 설정 업그레이드로 속도가 더 빨라지고 품질이 향상.
92 | - total_npy에 대한 의존성 제거. 추후의 모델 공유는 total_npy 입력을 필요로 하지 않습니다.
93 | - 16 시리즈 GPU에 대한 제한 해제, 4GB VRAM GPU에 대한 4GB 추론 설정 제공.
94 | - 일부 오디오 형식에 대한 UVR5 보컬 동반 분리에서의 버그 수정.
95 | - 실시간 음성 변경 미니-GUI는 이제 non-40k 및 non-lazy 피치 모델을 지원합니다.
96 |
97 | ### 추후 계획
98 |
99 | Features:
100 |
101 | - 다중 사용자 훈련 탭 지원.(최대 4명)
102 |
103 | Base model:
104 |
105 | - 훈련 데이터셋에 숨소리 wav 파일을 추가하여, 보컬의 호흡이 노이즈로 변환되는 문제 수정.
106 | - 보컬 훈련 세트의 기본 모델을 추가하기 위한 작업을 진행중이며, 이는 향후에 발표될 예정.
107 |
--------------------------------------------------------------------------------
/docs/kr/README.ko.han.md:
--------------------------------------------------------------------------------
1 |
2 |
3 |
Retrieval-based-Voice-Conversion-WebUI
4 | VITS基盤의 簡單하고使用하기 쉬운音聲變換틀
5 |
6 | [](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI)
8 |
9 |
10 |
11 | [](https://colab.research.google.com/github/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/Retrieval_based_Voice_Conversion_WebUI.ipynb)
12 | [](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/LICENSE)
13 | [](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/)
14 |
15 | [](https://discord.gg/HcsmBBGyVk)
16 |
17 |
2 |
3 |
Retrieval-based-Voice-Conversion-WebUI
4 | VITS 기반의 간단하고 사용하기 쉬운 음성 변환 프레임워크.
5 |
6 | [](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI)
8 |
9 |
10 |
11 | [](https://colab.research.google.com/github/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/Retrieval_based_Voice_Conversion_WebUI.ipynb)
12 | [](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/LICENSE)
13 | [](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/)
14 |
15 | [](https://discord.gg/HcsmBBGyVk)
16 |
17 |