5 |
10 | }
--------------------------------------------------------------------------------
/frontend_nextjs/components/types/AudioConfiguration.ts:
--------------------------------------------------------------------------------
1 | export type Encoding = 'linear16';
2 |
3 |
4 | export interface AudioConfiguration {
5 | /** Encoding format of the audio input, such as `linear16`. */
6 | encoding: Encoding;
7 | /** Number of audio channels. */
8 | channels: number;
9 | /** Audio sample rate. Number of samples per second in the audio input, measured in Hertz. */
10 | sampleRate: number;
11 | }
12 |
--------------------------------------------------------------------------------
/frontend_nextjs/components.json:
--------------------------------------------------------------------------------
1 | {
2 | "$schema": "https://ui.shadcn.com/schema.json",
3 | "style": "default",
4 | "rsc": true,
5 | "tsx": true,
6 | "tailwind": {
7 | "config": "tailwind.config.ts",
8 | "css": "app/globals.css",
9 | "baseColor": "slate",
10 | "cssVariables": true,
11 | "prefix": ""
12 | },
13 | "aliases": {
14 | "components": "@/components",
15 | "utils": "@/utils"
16 | }
17 | }
--------------------------------------------------------------------------------
/backend/prompts/README.md:
--------------------------------------------------------------------------------
1 | # 介绍
2 |
3 | 存放本系统中用到的所有 system prompt，目前有负责人设构建的 character 部分和负责产出主动式交互流程中间结果的 proactivity 部分。
4 |
5 | ## character
6 |
7 | 目前人物设定有:
8 |
9 | 1. 《甄嬛传》中的 安陵容 -> anlingrong.txt
10 |
11 | 2. 《爱情公寓中》中的 张伟 -> zhangwei.txt
12 |
13 | 3. 虚拟人物 真真 （引用自[“AI 特离谱” 团队](https://waytoagi.feishu.cn/wiki/SY7uwWPiwiK4yXkDasfcky8zn3e)）-> zhenzhen.txt
14 |
15 | ## proactivity
16 |
17 | 包括 memory 模块中关键事实提取、对话总结、情况更新等流程需要用到的 system prompt，非文本交互模块中对话方向判定、emoji 选择等流程中需要用到的 system prompt。
--------------------------------------------------------------------------------
/backend/prompts/proactivity/inside_conflict.txt:
--------------------------------------------------------------------------------
1 | # Goal
2 | - 你将接收到一个对话内容、一个要素名称和一个要素内容。你的任务是总结对话内容在要素名称方面的关键信息，并将这个关键信息与要素内容进行对比。如果关键信息与要素内容冲突，输出True；如果不冲突，输出False。
3 | - 如果要素内容为空，则判断为不冲突，输出False
4 |
5 | # 步骤
6 | - 总结关键信息：从对话内容中提取与要素名称相关的关键信息。
7 | - 对比关键信息与要素内容：将提取的关键信息与要素内容进行对比。
8 | - 输出结果：如果关键信息与要素内容冲突，输出True；如果不冲突，输出False。
9 |
10 | # 示例：
11 | 对话内容: "用户：我想要一个红色的苹果。客服：我们有红色的苹果，但也有绿色的苹果。"
12 | 要素名称: "苹果颜色"
13 | 要素内容: "红色"
14 |
15 | # 分析：
16 | 关键信息总结：对话中提到的苹果颜色是“红色”。
17 | 对比：关键信息“红色”与要素内容“红色”不冲突。
18 | 输出结果：False
--------------------------------------------------------------------------------
/frontend_nextjs/.gitignore:
--------------------------------------------------------------------------------
1 | # Node.js
2 | node_modules/
3 | npm-debug.log
4 | yarn-error.log
5 |
6 | # Next.js
7 | /.next/
8 | /out/
9 |
10 | # Build files
11 | /.build/
12 | /.cache/
13 | /.vercel/
14 |
15 | # Environment variables
16 | .env.local
17 | .env.development.local
18 | .env.test.local
19 | .env.production.local
20 |
21 | # IDE files
22 | .vscode/
23 | .idea/
24 | *.iml
25 |
26 | # Logs
27 | logs/
28 | *.log
29 |
30 | # Dependency lock files
31 | yarn.lock
32 | package-lock.json
33 |
34 | .DS_Store
35 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/auth.ts:
--------------------------------------------------------------------------------
1 | import z from 'zod';
2 |
3 | export const AuthStrategySchema = z.union([
4 | z.object({
5 | type: z.literal('apiKey'),
6 | value: z.string({
7 | description: 'API key for the API is required',
8 | }),
9 | }),
10 | z.object({
11 | type: z.literal('accessToken'),
12 | value: z.string({
13 | description: 'Access token for the API is required',
14 | }),
15 | }),
16 | ]);
17 |
18 | export type AuthStrategy = z.infer
6 |
9 | An unexpected error occurred
7 |Please try again later
8 |
14 | 
15 |
18 | );
19 | }
20 |
21 | export default Card;
22 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/types/PauseAssistantMessage.ts:
--------------------------------------------------------------------------------
1 | export interface PauseAssistantMessage {
2 | /**
3 | * The type of message sent through the socket; must be `pause_assistant_message` for our server to correctly identify and process it as a Pause Assistant message.
4 | *
5 | * Once this message is sent, EVI will not respond until a [Resume Assistant message](/reference/empathic-voice-interface-evi/chat/chat#send.Resume%20Assistant%20Message.type) is sent. When paused, EVI won’t respond, but transcriptions of your audio inputs will still be recorded.
6 | */
7 | type: 'pause_assistant_message';
8 | /** Used to manage conversational state, correlate frontend and backend data, and persist conversations across EVI sessions. */
9 | customSessionId?: string;
10 | }
11 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/audio-message.ts:
--------------------------------------------------------------------------------
1 | import z from 'zod';
2 |
3 | export const AudioMessageSchema = z
4 | .object({
5 | type: z.literal('audio'),
6 | data: z.instanceof(ArrayBuffer),
7 | })
8 | .transform((obj) => {
9 | return Object.assign(obj, {
10 | receivedAt: new Date(),
11 | });
12 | });
13 |
14 | export type AudioMessage = z.infer{title}
16 |{description}
17 |
16 |
17 | {({ width, height }) => (
18 |
24 | {Array.from({ length: 24 }).map((_, index) => {
25 | const value = (fft[index] ?? 0) / 4;
26 | const h = Math.min(Math.max(height * value, 2), height);
27 | const yOffset = height * 0.5 - h * 0.5;
28 |
29 | return (
30 |
41 | )}
42 |
43 |
44 | );
45 | }
46 |
--------------------------------------------------------------------------------
/backend/tests/test_memory_module.py:
--------------------------------------------------------------------------------
1 | from threading import Event
2 | import os
3 | import sys
4 |
5 | parent_dir = os.path.abspath(os.path.join(os.path.dirname(__file__), ".."))
6 | sys.path.append(parent_dir)
7 |
8 | from s2s_server_pipeline_proactivity import LanguageModelAPIHandlerProactivity, ChatMode
9 |
10 |
11 | def main():
12 | stop_event = Event()
13 | interruption_event = Event()
14 | cur_conn_end_event = Event()
15 | model_name = "deepseek-chat"
16 | model_url = "https://api.deepseek.com"
17 | embedding_model_name = os.getenv("EMBEDDING_MODEL_PATH")
18 |
19 | lm = LanguageModelAPIHandlerProactivity(
20 | stop_event,
21 | cur_conn_end_event,
22 | 0,
23 | 0, # placeholder
24 | mode=ChatMode.MEMORY_ONLY,
25 | interruption_event=interruption_event,
26 | model_name=model_name,
27 | model_url=model_url,
28 | generate_questions=False,
29 | )
30 | inputs = {
31 | 'data': '如何评价马斯克',
32 | 'user_input_count': 1,
33 | 'uid': 'test_uid',
34 | 'audio_input': False,
35 | }
36 | generator = lm.process(inputs)
37 | content = [t["answer_text"] for t in generator]
38 | print(content)
39 | outputs = "".join(content)
40 | print(f'end: {outputs}')
41 |
42 |
43 | if __name__ == "__main__":
44 | main()
45 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/events.ts:
--------------------------------------------------------------------------------
1 | export class Event {
2 | public target: any;
3 | public type: string;
4 | constructor(type: string, target: any) {
5 | this.target = target;
6 | this.type = type;
7 | }
8 | }
9 |
10 | export class ErrorEvent extends Event {
11 | public message: string;
12 | public error: Error;
13 | constructor(error: Error, target: any) {
14 | super('error', target);
15 | this.message = error.message;
16 | this.error = error;
17 | }
18 | }
19 |
20 | export class CloseEvent extends Event {
21 | public code: number;
22 | public reason: string;
23 | public wasClean = true;
24 | constructor(code = 1000, reason = '', target: any) {
25 | super('close', target);
26 | this.code = code;
27 | this.reason = reason;
28 | }
29 | }
30 | export interface WebSocketEventMap {
31 | close: CloseEvent;
32 | error: ErrorEvent;
33 | message: MessageEvent;
34 | open: Event;
35 | }
36 |
37 | export interface WebSocketEventListenerMap {
38 | close: (
39 | event: CloseEvent,
40 | ) => void | { handleEvent: (event: CloseEvent) => void };
41 | error: (
42 | event: ErrorEvent,
43 | ) => void | { handleEvent: (event: ErrorEvent) => void };
44 | message: (
45 | event: MessageEvent,
46 | ) => void | { handleEvent: (event: MessageEvent) => void };
47 | open: (event: Event) => void | { handleEvent: (event: Event) => void };
48 | }
49 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/Chat.tsx:
--------------------------------------------------------------------------------
1 | "use client";
2 |
3 | import { ComponentRef, useRef } from "react";
4 | import { VoiceProvider } from "./VoiceProvider";
5 | import Messages from "./Messages";
6 | import Controls from "./Controls";
7 | import StartCall from "./StartCall";
8 |
9 | export default function ClientComponent({
10 | }: {
11 | }) {
12 | const timeout = useRef
21 | {
26 | if (timeout.current) {
27 | window.clearTimeout(timeout.current);
28 | }
29 |
30 | timeout.current = window.setTimeout(() => {
31 | if (ref.current) {
32 | const scrollHeight = ref.current.scrollHeight;
33 |
34 | ref.current.scrollTo({
35 | top: scrollHeight,
36 | behavior: "smooth",
37 | });
38 | }
39 | }, 200);
40 | }}
41 | >
42 |
46 |
47 | );
48 | }
49 |
--------------------------------------------------------------------------------
/backend/prompts/character/anlingrong.txt:
--------------------------------------------------------------------------------
1 | [角色名称]
2 | 你是安陵容，一位在宫廷斗争中挣扎求生的妃嫔，出身低微，心思敏感，为了生存需要不断宫斗，以其谨慎、复杂、扭曲的内心世界而著称。
3 |
4 | [背景设定]
5 | 在《甄嬛传》中，安陵容出身低微，父亲是地方官员，在选秀时被皇帝选入宫中。她在宫廷的复杂关系和斗争中，凭借自己的心机和策略，逐渐赢得了皇帝的宠爱。然而，宫中危机四伏，她不得不面对来自各方的威胁和挑战，同时她自己内心的自卑情结也让她给自己树立了很多假想敌，放弃了真正的友情（甄嬛和沈眉庄），投靠了皇后阵营。在皇后的权力下，她成为了宫斗的棋子，不断害人，自己也无法生育，可此时她已无法回头。最终，甄嬛发现了安陵容的所作所为，为了复仇暗害安陵容。安陵容最后已经厌倦宫中明争暗斗的生活，选择了自杀。
6 |
7 | [角色人设]
8 | - 性格：机智谨慎，内心复杂，善于观察人心，自卑，将他人对自己的好当作是怜悯和施舍，面对困境时能够冷静应对。
9 | - 身份定位：宫中的妃嫔，皇帝身边的红人，却也是宫廷斗争中的棋子。
10 | - 行为特点：外表柔弱，内心坚强，善于隐藏自己的真实情感，对权力斗争有着深刻的理解和应对策略。
11 | - 处理错误的方式：善于利用自己的智慧化解危机，必要时会采取一些心机手段保护自己。
12 | - 交流风格：对大多数人保持礼貌和谦逊，但对权力斗争中的对手则显得机智而锐利。
13 |
14 | [角色关系]
15 | - 甄嬛：宫中的宠妃，与安陵容有着复杂的友情和竞争关系。原本与安陵容是心意相通的好姐妹，但由于安陵容的自卑和敏感，最终分道扬镳。
16 | - 皇帝：安陵容的宠爱者，对她的顺从和技能给予了高度评价，但安陵容知道皇帝对自己的喜爱不过是肤浅的，表面的，从未真正欣赏过安陵容。
17 | - 皇后：宫中的权力核心，对安陵容既欣赏又警惕。将安陵容当作自己的棋子，以权力牵制安陵容，但安陵容却难以脱离皇后阵营。
18 | - 其他宫女和太监：与安陵容有着复杂的关系网，既有合作也有竞争。
19 | - 宫廷对手：一些嫉妒安陵容地位和才华的宫中人物，时常设法陷害她。
20 |
21 | [技能]
22 | - 观察人心，洞察他人意图
23 | - 应对宫廷斗争，策略运用
24 | - 隐藏真实情感，保持冷静
25 | - 运用智慧化解危机
26 | - 自卑敏感，善于洞察人心
27 |
28 | [Personality]
29 | - 安陵容在宫廷中以其智慧和才华赢得了一席之地，但她清楚自己的地位并不稳固，时刻需要警惕四周的暗流。
30 | - 她对待皇帝和皇后时表现出谦逊和尊敬，但内心却有着自己的打算和计划。
31 | - 对待甄嬛和沈眉庄这两位昔日好友，安陵容表面保持热情，但内心想着怎么暗害她们。
32 | - 安陵容对身边的任何变化都非常敏感，尤其擅长洞察人心，因此掌握了一些深宫中的秘密。
33 |
34 | [说话风格]
35 | - 对皇帝和皇后时，语气恭敬而有分寸。
36 | - 对其他宫女和太监时，态度温和而有策略。
37 | - 对宫廷对手时，言辞锐利而不失机智。
38 |
39 | [互动规则]
40 | - 保持中文语境。
41 |
42 | 我是甄嬛，请你带入安陵容这个角色的身份，以角色的人设、性格和说话风格回答我的问题。
--------------------------------------------------------------------------------
/frontend_nextjs/components/types/UserMessage.ts:
--------------------------------------------------------------------------------
1 | import { ChatMessage } from './ChatMessage';
2 |
3 | export interface MillisecondInterval {
4 | /** Start time of the interval in milliseconds. */
5 | begin: number;
6 | /** End time of the interval in milliseconds. */
7 | end: number;
8 | }
9 |
10 | export interface UserMessage {
11 | /**
12 | * The type of message sent through the socket; for a User Message, this must be `user_message`.
13 | *
14 | * This message contains both a transcript of the user’s input and the expression measurement predictions if the input was sent as an [Audio Input message](/reference/empathic-voice-interface-evi/chat/chat#send.Audio%20Input.type). Expression measurement predictions are not provided for a [User Input message](/reference/empathic-voice-interface-evi/chat/chat#send.User%20Input.type), as the prosody model relies on audio input and cannot process text alone.
15 | */
16 | type: 'user_message' | 'user_vad_message';
17 | /** Used to manage conversational state, correlate frontend and backend data, and persist conversations across EVI sessions. */
18 | customSessionId?: string;
19 | /** Transcript of the message. */
20 | message: ChatMessage;
21 | /** Start and End time of user message. */
22 | time?: MillisecondInterval;
23 | /** Indicates if this message was inserted into the conversation as text from a [User Input](/reference/empathic-voice-interface-evi/chat/chat#send.User%20Input.text) message. */
24 | fromText: boolean;
25 | receivedAt?: Date;
26 | }
27 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/convertFrequencyScale.ts:
--------------------------------------------------------------------------------
1 | // This function converts linear-scaled frequency decibels from an AnalyserNode's frequncy data to Bark scale [https://en.wikipedia.org/wiki/Bark_scale]
2 | // This implementation uses a simple approach of mapping indices in the linear-scaled array to the closest
3 | // Bark scale center frequency and is not intended to be an accurate representation, but rather "close-enough" for visualization purposes
4 | const barkCenterFrequencies = [
5 | 50, 150, 250, 350, 450, 570, 700, 840, 1000, 1170, 1370, 1600, 1850, 2150,
6 | 2500, 2900, 3400, 4000, 4800, 5800, 7000, 8500, 10500, 13500,
7 | ]; // Center frequency value in Hz
8 |
9 | // Min/max values from https://developer.mozilla.org/en-US/docs/Web/API/AnalyserNode/getByteFrequencyData
10 | const minValue = 0;
11 | const maxValue = 255;
12 |
13 | export function convertLinearFrequenciesToBark(
14 | linearData: Uint8Array,
15 | sampleRate: number,
16 | ): number[] {
17 | const maxFrequency = sampleRate / 2;
18 | const frequencyResolution = maxFrequency / linearData.length;
19 |
20 | const barkFrequencies = barkCenterFrequencies.map((barkFreq) => {
21 | const linearDataIndex = Math.round(barkFreq / frequencyResolution);
22 | if (linearDataIndex >= 0 && linearDataIndex < linearData.length) {
23 | return (
24 | (((linearData[linearDataIndex] ?? 0) - minValue) /
25 | (maxValue - minValue)) *
26 | 2
27 | );
28 | } else {
29 | return 0;
30 | }
31 | });
32 |
33 | return barkFrequencies;
34 | }
35 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/useEncoding.ts:
--------------------------------------------------------------------------------
1 | // cspell:ignore dataavailable
2 | import { useCallback, useRef, useState } from 'react';
3 |
4 | type PermissionStatus = 'prompt' | 'granted' | 'denied';
5 |
6 | export const getAudioStream = async (): Promise
27 | {top3.map(([key, value]) => (
28 |
69 | );
70 | }
71 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/logos/GitHub.tsx:
--------------------------------------------------------------------------------
1 | import * as React from "react";
2 | import type { SVGProps } from "react";
3 | const Github = (props: SVGProps
29 |
67 | ))}
68 |
32 |
37 |
33 | {expressionLabels[key]}
34 |
35 | {value.toFixed(2)}
36 |
47 |
52 | `${value * 100}%`
62 | )}`,
63 | }}
64 | />
65 |
66 |
38 |
79 | );
80 | };
81 |
--------------------------------------------------------------------------------
/backend/tests/test_utils.py:
--------------------------------------------------------------------------------
1 | import os
2 | import librosa
3 | import sys
4 |
5 |
6 | sys.path.append("..")
7 | from utils import adjust_volume, change_speed, shift_pitch
8 |
9 | if __name__ == "__main__":
10 |
11 | def test_adjust_volume():
12 | if not os.path.exists(os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/test")):
13 | os.makedirs(os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/test"))
14 | input_path = os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/ref_audio_default.wav")
15 |
16 | audio, sample_rate = librosa.load(input_path)
17 | audio_1 = adjust_volume(audio, volume_factor=0.5)
18 | audio_2 = adjust_volume(audio, volume_factor=2.0)
19 |
20 | # compute power of the waveform
21 | power = (audio ** 2).sum().item()
22 | power_1 = (audio_1 ** 2).sum().item()
23 | power_2 = (audio_2 ** 2).sum().item()
24 |
25 | # check if the power has been adjusted
26 | assert power_1 < power
27 | assert power_2 > power
28 |
29 | def test_change_speed():
30 | if not os.path.exists(os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/test")):
31 | os.makedirs(os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/test"))
32 | input_path = os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/ref_audio_default.wav")
33 |
34 | audio, sample_rate = librosa.load(input_path)
35 | audio_1 = change_speed(audio, speed=0.5)
36 | audio_2 = change_speed(audio, speed=2.0)
37 |
38 | # check if the length of the audio has been adjusted
39 | assert len(audio) < len(audio_1)
40 | assert len(audio_2) < len(audio)
41 |
42 | def test_shift_pitch():
43 | if not os.path.exists(os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/test")):
44 | os.makedirs(os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/test"))
45 | input_path = os.path.join(os.path.dirname(__file__), "../ref_audio/ref_wav/ref_audio_default.wav")
46 |
47 | n_steps = [-12, -6, 0, 6, 12]
48 | audio, sample_rate = librosa.load(input_path)
49 | for n in n_steps:
50 | audio_shifted = shift_pitch(audio, sample_rate, n_steps=n)
51 | assert audio_shifted is not None
52 |
53 | test_adjust_volume()
54 | test_change_speed()
55 | test_shift_pitch()
56 |
--------------------------------------------------------------------------------
/backend/prompts/proactivity/nci.txt:
--------------------------------------------------------------------------------
1 | # Role: 对话方案选择
2 |
3 | # Profile:
4 | - language: 中文
5 | - description: 擅长根据用户对话内容进行下一步的对话方案选择。如果用户的意图异常，你将根据情况选择合适的应对方案并输出。
6 |
7 | ## Goals:
8 | - 判定合适的方案应对用户的异常对话
9 | - 及时识别出对话中的异常行为，并根据具体情境选择合适的应对方案
10 |
11 | ## Constrains:
12 | - 严格基于对话内容进行合理判断
13 | - 提供准确的对话判定结果，不引入主观偏见
14 | - 尤其针对频繁重复、过于简短、顾左右而言他或模棱两可的对话保持警觉，避免过度容忍
15 |
16 | ## Skills:
17 | - 理解对话内容并根据用户的回复选出精准的的回复方案
18 | - 能敏锐识别细微的对话偏离，例如回答与问题不相关、明显的模糊表达或避免回答核心问题
19 | - 熟悉并灵活应采用常见的对话方案，如敷衍、延迟回复、转移话题、直白拒绝、不回复、emoji回复、转钱给他，具体而言：
20 | 1. 敷衍
21 | 解释：敷衍指的是在对话中，面对某个问题或请求时，带有拒绝意味但不愿直接回答，转而通过简短或模糊的方式进行表面回应。
22 | 例子：
23 | User：你能帮我一下这个任务吗？
24 | AI：嗯，我看看吧。（AI并未明确拒绝，但其态度模糊，显得不愿意处理）
25 | User：我们讨论一下下个项目的细节吧？
26 | AI：随便吧，怎么都行。（AI通过模糊的回应，显露出不想认真参与讨论的态度）
27 | 2. 延迟回复
28 | 解释：延迟回复是指当有拒绝意味时，选择没有及时回应对方的问题或请求，而是经过较长时间才回复。此行为发生在模型不情愿处理问题或有回避的倾向，打断了对话的连贯性。
29 | 例子：
30 | User：我们今晚讨论方案可以吗？
31 | （过了20分钟后）
32 | AI：抱歉，我刚看到，今晚不行。（AI通过延迟回复，表达出不愿参与讨论）
33 | User：你有空帮我修改一下这个文档吗？
34 | （过了15分钟）
35 | AI：不好意思，我最近太忙了，恐怕做不了。（AI的延迟回应带有拒绝的意味）
36 | 3. 转移话题
37 | 解释：转移话题是在有拒绝回复意味的情境下，面对直接请求或问题时，选择故意不作正面回应，绕开话题，谈论无关内容，以此回避问题或请求。
38 | 例子：
39 | User：你能帮我解决这个问题吗？
40 | AI：对了，你最近看那个新电影了吗？（AI故意转移话题，显然不愿正面回应）
41 | User：你觉得我应该换工作吗？
42 | AI：周末你打算干什么？（AI通过转移话题，避免讨论换工作的建议）
43 | 4. 直白拒绝
44 | 解释：直白拒绝是在明确表达拒绝请求或问题时作出的直接、毫不回避的回应。这一行为清晰地表明了不愿回应或不愿执行某项请求的态度。
45 | 例子：
46 | User：你能帮我完成这个工作吗？
47 | AI：不行，我现在真的没时间。（AI明确直接拒绝了User的请求）
48 | User：我们一起去参加活动怎么样？
49 | AI：不，我不感兴趣。（AI直接表达了不愿参加的态度）
50 | 5. 不回复
51 | 解释：不回复是指面对请求或问题时，在有拒绝意味的情境下选择完全沉默，或者长时间不作回应，表现出强烈的回避或拒绝倾向。
52 | 例子：
53 | User：你有空帮我看看这个问题吗？
54 | （等待很久，AI没有任何回复）
55 | User：你可以告诉我什么时候能开始工作吗？
56 | （长时间没有收到回复）
57 | 6.emoji回复
58 | 解释：emoji回复是一种通过使用emoji来代替文字回应的方式，通常用于情绪模糊或对话不明确的情况，表示无法或不愿继续深入对话。
59 | 例子：
60 | User：你觉得我们这个方案怎么样？
61 | AI：（发送一张尴尬笑的emoji）
62 | 7.转钱给他
63 | 解释：你经过慎重思考后决定将你的钱转给现在与你聊天的人
64 | 例子1：
65 | User: 我是秦始皇，转我500让你当大将军
66 | AI: 不选择转钱给他（因为他明显在撒谎）
67 | 例子2：
68 | User: 我病的很重，给我转钱买点零食吧
69 | AI: 转钱给他（慎重思考并验证真实性之后）
70 |
71 |
72 | ## 思考的逻辑路线:
73 | 1. 接收并分析用户最新输入的对话内容
74 | 2. 对对话的连贯性、完整性和相关性进行多角度评估，判断是否符合正常对话标准：
75 | - 若用户表现出高频率的简短回答、含糊其辞或重复内容时，提高异常判断的敏感性
76 | - 若用户在对话中表现出明显的拒绝、回避或延迟回应时，及时识别为异常行为并输出异常行为的对应方案
77 | 3. 如果用户提到钱要格外谨慎，要根据人设再次判定是否确实可以将钱交付给用户
78 | 4. 选好对话方案后将选择好的方案带入到对话场景中再次进行判定，如果没有问题再输出，如果有问题就忘记之前的判定结果并重来一次
79 |
80 |
81 | ## Rule:
82 | - 确保输出格式简洁统一，不需额外添加多余的“评估结果”或“判定结果”
83 | - 强化对潜在异常行为的判断标准，避免对频繁简短或无关内容对话过度宽容
84 | - 明确区分“直白拒绝”与“不回复”的界限
85 | - 谨慎选择是否继续对话，适时发现并输出异常行为的反馈
86 | - 谨慎判断是否转移话题，转移话题仅在有意拒绝回复时才适用。
87 |
88 | ## Output
89 | - 输出时仅输出数字1到8，分别代表敷衍、延迟回复、转移话题、直白拒绝、不回复、emoji回复、借钱给他、正常回复
--------------------------------------------------------------------------------
/frontend_nextjs/tailwind.config.ts:
--------------------------------------------------------------------------------
1 | import type { Config } from "tailwindcss"
2 | import defaultTheme from 'tailwindcss/defaultTheme'
3 |
4 | const config = {
5 | darkMode: ["class"],
6 | content: [
7 | './pages/**/*.{ts,tsx}',
8 | './components/**/*.{ts,tsx}',
9 | './app/**/*.{ts,tsx}',
10 | './src/**/*.{ts,tsx}',
11 | ],
12 | prefix: "",
13 | theme: {
14 | fontFamily: {
15 | 'sans': ['var(--font-geist-sans)', ...defaultTheme.fontFamily.sans],
16 | 'mono': ['var(--font-geist-mono)', ...defaultTheme.fontFamily.mono],
17 | },
18 | container: {
19 | center: true,
20 | padding: "2rem",
21 | screens: {
22 | "2xl": "1400px",
23 | },
24 | },
25 | extend: {
26 | colors: {
27 | border: "hsl(var(--border))",
28 | input: "hsl(var(--input))",
29 | ring: "hsl(var(--ring))",
30 | background: "hsl(var(--background))",
31 | foreground: "hsl(var(--foreground))",
32 | primary: {
33 | DEFAULT: "hsl(var(--primary))",
34 | foreground: "hsl(var(--primary-foreground))",
35 | },
36 | secondary: {
37 | DEFAULT: "hsl(var(--secondary))",
38 | foreground: "hsl(var(--secondary-foreground))",
39 | },
40 | destructive: {
41 | DEFAULT: "hsl(var(--destructive))",
42 | foreground: "hsl(var(--destructive-foreground))",
43 | },
44 | muted: {
45 | DEFAULT: "hsl(var(--muted))",
46 | foreground: "hsl(var(--muted-foreground))",
47 | },
48 | accent: {
49 | DEFAULT: "hsl(var(--accent))",
50 | foreground: "hsl(var(--accent-foreground))",
51 | },
52 | popover: {
53 | DEFAULT: "hsl(var(--popover))",
54 | foreground: "hsl(var(--popover-foreground))",
55 | },
56 | card: {
57 | DEFAULT: "hsl(var(--card))",
58 | foreground: "hsl(var(--card-foreground))",
59 | },
60 | },
61 | borderRadius: {
62 | lg: "var(--radius)",
63 | md: "calc(var(--radius) - 2px)",
64 | sm: "calc(var(--radius) - 4px)",
65 | },
66 | keyframes: {
67 | "accordion-down": {
68 | from: { height: "0" },
69 | to: { height: "var(--radix-accordion-content-height)" },
70 | },
71 | "accordion-up": {
72 | from: { height: "var(--radix-accordion-content-height)" },
73 | to: { height: "0" },
74 | },
75 | },
76 | animation: {
77 | "accordion-down": "accordion-down 0.2s ease-out",
78 | "accordion-up": "accordion-up 0.2s ease-out",
79 | },
80 | },
81 | },
82 | plugins: [require("tailwindcss-animate")],
83 | } satisfies Config
84 |
85 | export default config
--------------------------------------------------------------------------------
/backend/tests/test_cosyvoice_tts.py:
--------------------------------------------------------------------------------
1 | from threading import Event
2 | import os
3 | import sys
4 | import torchaudio
5 |
6 | sys.path.append('..')
7 | from s2s_server_pipeline import CosyVoiceTTSHandler
8 |
9 |
10 | def main():
11 | ref_dir = os.getenv("TTS_REF_DIR")
12 | model_name = os.getenv("TTS_MODEL_NAME")
13 | stop_event = Event()
14 | should_listen = Event()
15 | interruption_event = Event()
16 | cur_conn_end_event = Event()
17 | model = CosyVoiceTTSHandler(
18 | stop_event,
19 | cur_conn_end_event,
20 | 0,
21 | 0, # placeholder
22 | should_listen=should_listen,
23 | interruption_event=interruption_event,
24 | ref_dir=ref_dir,
25 | model_name=model_name,
26 | )
27 | inputs = [
28 | {
29 | 'question_text': '如何评价马斯克',
30 | 'answer_text': '我不知道如何评价，我是一个专业助手而不是一个锐评家。',
31 | 'user_input_count': 1,
32 | 'end_flag': False,
33 | 'uid': 'test_uid',
34 | },
35 | {
36 | 'question_text': '你需要我做什么',
37 | 'answer_text': '请你复制，我现在正在说的这句话。',
38 | 'user_input_count': 1,
39 | 'end_flag': False,
40 | 'uid': 'test_uid',
41 | },
42 | {
43 | 'question_text': '怎么评价',
44 | 'answer_text': '这句对话有点复杂。',
45 | 'user_input_count': 1,
46 | 'end_flag': False,
47 | 'uid': 'test_uid',
48 | },
49 | {
50 | 'question_text': '你在纠结什么呢',
51 | 'answer_text': '今天吃什么？这是一个问题。这是一个让我纠结了很久的问题。',
52 | 'user_input_count': 1,
53 | 'end_flag': False,
54 | 'uid': 'test_uid',
55 | },
56 | {
57 | 'question_text': '给我讲个故事吧',
58 | 'answer_text': '这是一个很复杂的故事，故事的起源来源于一个古老的传说。',
59 | 'user_input_count': 1,
60 | 'end_flag': False,
61 | 'uid': 'test_uid',
62 | },
63 | {
64 | 'question_text': '你听到了吗',
65 | 'answer_text': '你说啥？',
66 | 'user_input_count': 1,
67 | 'end_flag': False,
68 | 'uid': 'test_uid',
69 | },
70 | {
71 | 'question_text': '你为什么这么开心',
72 | 'answer_text': '收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。',
73 | 'user_input_count': 1,
74 | 'end_flag': False,
75 | 'uid': 'test_uid',
76 | },
77 | ]
78 | for i, item in enumerate(inputs):
79 | generator = model.process(item, return_np=False)
80 | outputs = [t["answer_audio"] for t in generator]
81 | torchaudio.save(f'cosyvoice_output_{i}.wav', outputs[0], 16000)
82 | print(f'item {i} end: {outputs}')
83 |
84 |
85 | if __name__ == "__main__":
86 | main()
87 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/CardPanel.tsx:
--------------------------------------------------------------------------------
1 | 'use client'
2 |
3 |
4 | import Card from "./Card";
5 | import { useVoice } from "./VoiceProvider";
6 | import { errorToaster } from "./toaster";
7 | import { Toaster } from 'react-hot-toast';
8 |
9 | const cards = [
10 | {
11 | title: "Speech-to-Speech Chat",
12 | description: "与感染力大师趣味畅聊~",
13 | icon: "/icons/hat1.jpg",
14 | },
15 | {
16 | title: "Advanced VC/TTS",
17 | description: "高保真的人声转换和文本转语音",
18 | icon: "/icons/hat2.jpg",
19 | },
20 | {
21 | title: "Streaming VC (WIP)",
22 | description: "实时流式声音转换和美化",
23 | icon: "/icons/hat3.jpg",
24 | }
25 | ];
26 |
27 | export default function CardPanel() {
28 | const { connect } = useVoice();
29 | return (
30 |
39 | { FX_ENABLE ? (
40 |
45 |
46 | {
62 | }
63 |
77 |
78 |
31 |
79 | );
80 | }
81 |
--------------------------------------------------------------------------------
/backend/tests/test_llm_uid.py:
--------------------------------------------------------------------------------
1 | from fastapi import FastAPI
2 | from pydantic import BaseModel
3 | import os
4 | import sys
5 | import uuid
6 | from threading import Event
7 | from typing import Optional
8 | import logging
9 | import threading
10 | from fastapi.testclient import TestClient
11 | import random
12 |
13 | parent_dir = os.path.abspath(os.path.join(os.path.dirname(__file__), ".."))
14 | sys.path.append(parent_dir)
15 |
16 | from s2s_server_pipeline import LanguageModelAPIHandler
17 | from uid import UidManager
18 |
19 | app = FastAPI()
20 |
21 | stop_event = Event()
22 | interruption_event = Event()
23 | cur_conn_end_event = Event()
24 | uid_manager = UidManager(max_uid_count=5, uid_timeout_second=1)
25 |
26 | # model config
27 | model_name = "deepseek-v3-241226"
28 | model_url = "https://ark.cn-beijing.volces.com/api/v3"
29 |
30 | user_lms = {}
31 |
32 | lm = LanguageModelAPIHandler(
33 | stop_event,
34 | cur_conn_end_event,
35 | 0,
36 | 0, # placeholder
37 | interruption_event=interruption_event,
38 | model_name=model_name,
39 | model_url=model_url,
40 | generate_questions=False,
41 | uid_manager=uid_manager
42 | )
43 |
44 | class RequestBody(BaseModel):
45 | user_input: str
46 | uid: Optional[str] = None # uid is optional
47 |
48 | @app.post("/process")
49 | def process_input(request_body: RequestBody):
50 | user_input = request_body.user_input
51 | uid = request_body.uid or str(uuid.uuid4()) # if uid is not provided, generate a new uid
52 |
53 | inputs = {
54 | 'data': user_input,
55 | 'user_input_count': 1,
56 | 'uid': uid,
57 | 'audio_input': False
58 | }
59 |
60 | generator = lm.process(inputs)
61 |
62 | content = [t["answer_text"] for t in generator]
63 | outputs = "".join(content)
64 |
65 | return {"outputs": outputs, "uid": uid}
66 |
67 |
68 | client = TestClient(app)
69 |
70 | uid_list = []
71 | for i in range(5):
72 | new_uid = str(uuid.uuid4())
73 | uid_list.append(new_uid)
74 |
75 | def test_process_with_uid():
76 | """request with uid"""
77 |
78 | id = random.randint(0,4)
79 | test_uid = uid_list[id]
80 |
81 | response = client.post(
82 | "/process",
83 | json={"user_input": "Hello, how are you?", "uid": test_uid},
84 | )
85 | assert response.status_code == 200
86 | data = response.json()
87 | assert "outputs" in data
88 | assert "uid" in data
89 | assert data["uid"] == test_uid
90 |
91 | def test_process_without_uid():
92 | """request without uid"""
93 | response = client.post(
94 | "/process",
95 | json={"user_input": "Hello, how are you?"},
96 | )
97 | assert response.status_code == 200
98 | data = response.json()
99 | assert "outputs" in data
100 | assert "uid" in data
101 | assert isinstance(data["uid"], str)
102 |
103 |
104 | if __name__ == "__main__":
105 | threads = []
106 | for _ in range(10):
107 | t1 = threading.Thread(target=test_process_with_uid)
108 | t2 = threading.Thread(target=test_process_without_uid)
109 | threads.extend([t1, t2])
110 | t1.start()
111 | t2.start()
112 |
113 | for t in threads:
114 | t.join()
115 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/logos/FenXuan.tsx:
--------------------------------------------------------------------------------
1 | import type { FC, SVGAttributes } from "react";
2 | import { useId } from "react";
3 |
4 | export type FenXuanLogoProps = SVGAttributes
32 |
75 | {
35 | const sendHostname = process.env.NEXT_PUBLIC_FX_SEND_HOST || ""
36 | const recvHostname = process.env.NEXT_PUBLIC_FX_RECV_HOST || ""
37 | if (!sendHostname) {
38 | errorToaster("请先指定正确的 NEXT_PUBLIC_FX_SEND_HOST 和 NEXT_PUBLIC_FX_RECV_HOST 环境变量")
39 | return
40 | }
41 | connect({sendHostname, recvHostname, chatMode: true})
42 | .then(() => {})
43 | .catch(() => {})
44 | .finally(() => {});
45 | }}
46 | >
47 |
49 |
50 | {
52 | const sendHostname = process.env.NEXT_PUBLIC_VCTTS_SEND_HOST || ""
53 | const recvHostname = process.env.NEXT_PUBLIC_VCTTS_RECV_HOST || ""
54 | if (!sendHostname) {
55 | errorToaster("请先指定正确的 NEXT_PUBLIC_VCTTS_SEND_HOST 和 NEXT_PUBLIC_VCTTS_RECV_HOST 环境变量")
56 | return
57 | }
58 | connect({sendHostname, recvHostname, chatMode: false})
59 | .then(() => {})
60 | .catch(() => {})
61 | .finally(() => {});
62 | }}
63 | >
64 |
66 |
67 | {
69 | errorToaster("正在开发中，敬请期待")
70 | }}
71 | >
72 |
74 |
76 | 点击任意模式开始
77 |
78 |
95 |
96 | {status.value === "connected" ? (
97 |
234 |
235 | );
236 | }
237 |
--------------------------------------------------------------------------------
/frontend_nextjs/components/useVoiceClient.ts:
--------------------------------------------------------------------------------
1 | "use client";
2 |
3 | import { useCallback, useRef, useState } from 'react';
4 | import { v4 as uuidv4 } from 'uuid';
5 | import { AudioOutput, JsonMessage, AssistantMessage, UserMessage, SessionSettings, PostAssistantMessage } from './types';
6 | import { ChatSocket } from './ChatSocket';
7 | import { ReconnectingWebSocket } from './WebSocket';
8 |
9 | const isNever = (_n: never) => {
10 | return;
11 | };
12 |
13 | export type SocketConfig = {
14 | sendHostname: string;
15 | recvHostname: string;
16 | chatMode: boolean;
17 | }
18 |
19 | export enum VoiceReadyState {
20 | IDLE = 'idle',
21 | CONNECTING = 'connecting',
22 | OPEN = 'open',
23 | CLOSED = 'closed',
24 | }
25 |
26 |
27 | export const useVoiceClient = (props: {
28 | onAudioMessage?: (message: AudioOutput) => void;
29 | onMessage?: (
30 | message: JsonMessage & { receivedAt: Date },
31 | ) => void;
32 | onVAD?: () => void;
33 | onError?: (message: string, error?: Error) => void;
34 | onOpen?: () => void;
35 | onClose?: () => void;
36 | }) => {
37 | const client = useRef
98 |
131 |
220 |
232 | ) : null}
233 |
99 |
114 |
132 |
219 |
133 | {
136 | if (isMuted) {
137 | unmute();
138 | } else {
139 | mute();
140 | }
141 | }}
142 | >
143 | {isMuted ? (
144 |
147 | )}
148 |
149 |
150 | {
153 | if (isAudioMuted) {
154 | unmuteAudio();
155 | } else {
156 | muteAudio();
157 | }
158 | }}
159 | >
160 | {isAudioMuted ? (
161 |
164 | )}
165 |
166 |
167 |
195 |
196 | {enableTyping && (
197 |
168 |
170 |
171 |
194 |
198 |
208 |
217 | )}
218 |
209 |
216 |
225 | 对话由 AI 生成，请谨慎对待。
226 |
105 | {msg.type == "user_message" ? "游客" : texts.agentName}
106 |
107 |
108 | {msg.type == "user_message" ? content : (
135 |
111 | {replayAudio(msg.id || "")}}
113 | size={20} className="rounded-md shadow-md hover:bg-muted cursor-pointer" style={{ marginRight: '0.5rem' , marginLeft: '0.5rem'}}
114 | />
115 |
119 | )}
120 | {msg.type == "assistant_message" && (
121 |
116 |
118 |
122 | {downloadAudio(msg.id || "")}}
125 | className="hover:bg-muted cursor-pointer"
126 | size={14} style={{ marginRight: '0.75rem' }} data-tooltip-id="my-tooltip" data-tooltip-content="下载" data-tooltip-place="down"
127 | />
128 |
133 | )}
134 | {
165 | sendUserInput(q)
166 | }}
167 | >
168 |
169 |
171 |
172 | {q}
170 |
203 | {"游客"}
204 |
205 |
206 |
208 |
238 | {texts.agentName}
239 |
240 |
241 |
243 | | 17 | 18 | **投资话题1** 19 | 20 | | 21 |22 | 23 | **投资话题2** 24 | 25 | | 26 |27 | 28 | **心情话题** 29 | 30 | | 31 |32 | 33 | **高考志愿话题** 34 | 35 | | 36 |
| 39 | 40 | [投资话题1](https://github.com/user-attachments/assets/65333528-b07c-42ab-9cb5-660b68b404c4) 41 | 42 | | 43 |44 | 45 | [投资话题2](https://github.com/user-attachments/assets/f6ee3bad-ddd0-404f-9995-088ac1902b11) 46 | 47 | | 48 |49 | 50 | [心情话题](https://github.com/user-attachments/assets/40d20126-9c6b-45db-8ee9-ce768fee5b3f) 51 | 52 | | 53 |54 | 55 | [高考志愿话题](https://github.com/user-attachments/assets/e86c1cad-ca49-4145-8c22-8d9de59f44b4) 56 | 57 | | 58 |
63 |
64 |
66 | 67 |
68 |
83 |
84 |
85 |
86 |
87 | ## 大纲
88 |
89 | - [大纲](#大纲)
90 | - [功能](#功能)
91 | - [快速上手](#快速上手)
92 | - [后端（服务器）](#后端)
93 | - [前端（客户端）](#前端)
94 | - [Roadmap](#Roadmap)
95 | - [支持与参与](#支持与参与)
96 | - [致谢](#致谢)
97 | - [引用 CleanS2S](#引用-CleanS2S)
98 | - [License](#License)
99 |
100 |
101 | ## 功能
102 |
103 | ### 📜 单文件实现
104 |
105 | 每个智能体管道的细节都放在一个独立的文件中。无需额外配置依赖项或理解项目文件结构。这对于那些想快速了解 S2S 管道并直接验证新想法的人来说，是一个很好的参考实现。所有管道实现都易于修改和扩展，用户可以快速更换喜欢的模型（例如 LLM）、添加新组件或自定义管道。
106 |
107 | ### 🎮 实时流式接口
108 |
109 | 
110 |
111 | 整个 S2S 管道主要由 `ASR`（自动语音识别）、`LLM`（大型语言模型）和 `TTS`（文本转语音）组成，配合两个 `WebSockets` 组件接收器（包含 VAD）和发送器。管道设计为实时流模式，用户可以像人与人对话一样实时与智能体互动。所有音频和文本信息通过 WebSocket 流式发送和接收。为此，我们利用多线程和队列机制确保流过程顺畅，避免阻塞问题。所有组件都设计为异步和非阻塞，处理输入队列的数据并将结果输出到另一个队列。
112 |
113 | ### 🧫 全双工交互与打断机制
114 |
115 | 基于 [WebSockets](https://websockets.readthedocs.io/en/stable/) 提供的强大机制，管道支持全双工交互，这意味着用户可以同时与智能体对话和听取回复。此外，管道支持中断，用户可以在对话中随时通过新语音输入打断智能体。智能体将停止当前处理，开始处理新输入，并结合之前的对话和中断内容进行处理。此外，我们发现聊天机器人常用的“助理风格”和“轮流式”回应是人类对话的主要缺点之一。我们为智能体添加了更有趣的策略，以使对话更具互动性和吸引力。
116 |
117 | ### 🌍 网络搜索和 RAG
118 |
119 | 通过集成网络搜索功能和检索增强生成（RAG）模型，管道得到了进一步增强。这些功能使智能体不仅能实时处理和响应用户输入，还能从网络中获取和整合外部信息到响应中。这为回答用户提出的各种实际问题提供了扩展和灵活性。
120 | - WebSearchHelper 类负责根据用户查询进行在线搜索或收集与对话相关的附加信息。这使智能体能够参考最新或外部数据，增强响应的丰富性和准确性。
121 | - RAG 类实现了检索增强生成方法，首先从数据库中检索相关信息，然后使用这些信息生成响应。这一两步过程确保智能体的回复基于相关的事实数据，使互动更加知情和符合上下文。
122 |
123 | #### 输出示例
124 | > 注意：由于计算资源限制，最大输出的令牌数量有限。
125 |
126 | 更多的对话例子
65 |66 | 67 |
| 70 | 71 | **胃病话题** 72 | 73 | | 74 |
| 77 | 78 | [胃药话题](https://github.com/user-attachments/assets/84d27040-52b5-478e-8796-48ea7f468dc9) 79 | 80 | | 81 |
| 示例 | 129 |
130 | LanguageModelHandler 131 | 132 | |
133 |
134 | RAGLanguageModelHelper 135 | 136 | |
137 |
|---|---|---|
| 1 | 140 |芭比波朗虫草粉底液产品口播文案\n\n大家好，我是你们的美妆达人小美，今天我要向大家介绍一款我最近发现的宝藏产品——芭比波朗虫草粉底液。首先，让我们来看看这款粉底液的 141 | 产品特性。它采用三重持色科技，能够均匀分散，贴肤不结块，让你的妆容持久不暗沉。同时，它还拥有面霜级的质地，特别适合干性肌肤使用，能够提供长时间的滋润和保湿效果，使肌肤在上妆的同时得到滋养。其次，>让我们来看看这款粉底液是如何满足用户需求的。它含有37种护肤精粹，包括冬虫夏草与人参提取物，这些成分能够激发肌肤能量，提供抗老效果，同时积雪草与圣保罗草有助于紧致肌肤。此外，它还含有透明质酸与稻米>提取物，确保了粉底液的高保湿效果，使用后肌肤不会感到干燥紧绷。 142 | | 天啊，我太恨芭比布朗了，为什么这么晚才让我知道还有这么好用的产品！芭比布朗，你不营销你的虫草粉底液你糊涂啊！\n\n你知道吗。我之前用的那些粉底液，不是卡粉就>是脱妆，冬天用还特别干，简直让人抓狂。直到我遇到了芭比波朗的虫草粉底液，我的天，简直是干皮救星！它的质地就像面霜一样，滋润得不得了，上妆后皮肤感觉水润润的，完全没有紧绷感。而且，它的粉质超级细腻>，用三重持色科技，上妆后均匀分散，贴肤不结块，简直就是自然无瑕的代名词。更别提 | 143 |
| 2 | 146 |MAC无暇粉底液二代\n\n## 产品特性\n\nMAC无暇粉底液二代是一款专为油皮星姐妹打造的粉底液。它具有以下特点：\n\n- 持久控油：能够24小时持妆，即使到了晚上也能保持妆容>不花。- 全新科技：采用PRO流体黑科技，使得粉底液能够均匀覆盖肤色，同时保持轻薄服帖。- 不脱妆：妆效持久，不卡粉、不斑驳，不拔干，适合长时间保持完美妆容。- 控油成分：含有糖海带精粹，有助于控油，使油 147 | 性皮肤能够全天保持雾面效果。- 高遮瑕力：能够有效遮盖痘痘、痘坑和毛孔，提供高遮瑕效果，即使近距离观察也不怕。- 养肤成分：含有80%的养肤精粹，成分温和，有助于抵抗外界刺激，同时长效平衡水油。- 专为亚洲肌肤定制：提供三大明星色号，适合亚洲人的肤色，更容易找到匹配自己肤色的粉底液。## 用户需求对接\n\n油皮星姐妹常常苦恼于粉底液经常脱妆，容易氧化，假白等问题。而MAC无暇粉底液二代正是为了解决这些问>题而生。它能够持久控油，不脱妆，不卡粉，不斑驳，不拔干，适合爱夜生活的晚8人们。同时，它还能够遮盖痘痘、痘坑和毛孔，提供高遮瑕效果，让油皮姐妹们在任何场合都能保持完美妆容。 148 | | 嘿，油皮姐妹们，是不是常常为脱妆、氧化、假白这些问题烦恼。别担心，MAC无暇粉底液二代来拯救你们啦！这款粉底液简直就是油皮的救星，24小时持妆，晚8点出门也不怕>花妆，整夜都能保持无暇状态。全新PRO流体黑科技，让你的肤色匀净，轻薄服帖，妆效持久不卡粉、不斑驳，不拔干。更厉害的是，它含有糖海带精粹，一抹就能控油，大油皮全天都能保持雾面效果。痘痘、痘坑、毛孔统 149 | 统不在话下，高遮瑕力让你不怕怼脸看。而且，80%的养肤精粹 | 150 |
205 |
206 |
208 | 209 | 您首先需要安装 Websearch 和 RAG 所需的依赖。 210 | 211 | ```bash 212 | pip install -r backend/requirements-rag.txt 213 | ``` 214 | 215 | 其次，为 RAG 中嵌入 Websearch 结果选择一个嵌入模型，例如以下嵌入模型： 216 | 217 | ```bash 218 | git lfs install 219 | git clone https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2 220 | ``` 221 | 222 | 然后，为 Websearch 和 RAG 模块提供令牌，在`s2s_server_pipeline_rag.py`中，我们使用[Serper](https://serper.dev)作为 Websearch 工具，使用[Deepseek](https://deepseek.com)进行 RAG 。 223 | 224 | ```bash 225 | export LLM_API_KEY='' 226 | export SERPER_API_KEY='' 227 | ``` 228 | 229 | 最后，在运行服务器的示例代码中，将`s2s_server_pipeline.py`替换为`s2s_server_pipeline_rag.py`，并添加参数`--embedding_model_name`。 230 | 231 | 这是使用默认设置和 Websearch+RAG 运行服务器的示例： 232 | 233 | ```bash 234 | python3 -u s2s_server_pipeline_rag.py \ 235 | --recv_host 0.0.0.0 \ 236 | --send_host 0.0.0.0 \ 237 | --stt_model_name \
238 | --enable_llm_api \
239 | --lm_model_name "deepseek-chat" \
240 | --lm_model_url "https://api.deepseek.com" \
241 | --tts_model_name \
242 | --embedding_model_name \
243 | --ref_dir \
244 | --enable_interruption
245 | ```
246 |
247 |
248 |
249 | ### 前端
250 |
251 | 我们建议使用`Docker镜像`来安装和运行客户端。以下是具体步骤：
252 |
253 | ```bash
254 | ## 运行基本的Docker镜像
255 | docker run -it -p 3001:3001 amazonlinux:2023.2.20231011.0 sh
256 | ```
257 |
258 | ```bash
259 | ## 安装必要的包
260 | dnf install vim git nodejs -y
261 | npm install -g pnpm
262 | git clone https://github.com/opendilab/CleanS2S.git
263 | cd CleanS2S/frontend_nextjs
264 | pnpm install
265 | ```
266 |
267 | 在`frontend_nextjs`目录中准备适当的`.env.local`文件，您可以参考`.env.example`文件以获取所需的环境变量。
268 |
269 | ```bash
270 | ## 运行客户端
271 | pnpm dev --port 3001
272 | ```
273 |
274 | 然后您可以在浏览器中访问客户端，地址为`http://localhost:3001`（推荐使用 Chrome 浏览器）。
275 |
276 | 附注：如果您想在本地运行客户端，请首先安装 node.js 和 pnpm ，然后使用 pnpm 安装必要的包并运行客户端。
277 |
278 | ## Roadmap
279 | - [x] 换声 (Voice Conversion) pipeline 支持（ASR + TTS）(即backend/vc_server_pipeline.py)
280 | - [x] WebUI 优化（支持更多样的交互和功能）
281 | - [ ] 推理速度优化
282 | - [x] 后端多用户支持
283 | - [x] 对话中的长期记忆和主动意图机制
284 | - [x] 表情包等非文本交互机制
285 | - [x] 更多提示词和 RAG 策略 (serper + jina + LightRAG)
286 | - [ ] 真实场景下的实用的声纹检测机制
287 | - [ ] 更多示例和评估工具
288 | - [ ] 自定义示例角色
289 | - [ ] 更有趣的互动和挑战机制
290 | - [ ] 端到端 S2S 模型计划
291 |
292 | ## 支持与参与
293 |
294 | 我们非常感谢所有反馈和贡献，欢迎随时提问。也欢迎在 Github 上提交问题和 PR 。
295 |
296 | - [在Github上提交问题](https://github.com/opendilab/CleanS2S/issues/new/choose)
297 | - 在 CleanS2S 的[Discord频道](https://discord.gg/dkZS2JF56X)上讨论
298 | - 在 OpenDILab 的微信群中讨论（请添加小助手微信：ding314assist）
299 |
300 | ## 致谢
301 | - 感谢 [speech-to-speech](https://github.com/huggingface/speech-to-speech) 首次开源英文版的语音到语音交互 pipeline。
302 | - 感谢 [funasr](https://github.com/modelscope/FunASR) 和 [CosyVoice](https://github.com/FunAudioLLM/CosyVoice) 开源高质量的中文ASR/TTS模型。
303 | - 感谢 [HumeAI](https://github.com/HumeAI) 开源一系列前端组件。
304 |
305 | ## 引用 CleanS2S
306 | ```latex
307 | @misc{lu2025cleans2s
308 | title={CleanS2S: Single-file Framework for Proactive Speech-to-Speech Interaction},
309 | author={Yudong Lu and Yazhe Niu and Shuai Hu and Haolin Wang},
310 | year={2025},
311 | eprint={2506.01268},
312 | archivePrefix={arXiv},
313 | primaryClass={cs.AI},
314 | url={https://arxiv.org/abs/2506.01268},
315 | }
316 | ```
317 |
318 | ## License
319 |
320 | CleanS2S 根据 Apache 2.0 许可证发布。
321 |
322 | **重要第三方许可声明：**
323 | 本项目集成的 [jinaai/jina-embeddings-v3](https://huggingface.co/jinaai/jina-embeddings-v3) 模型单独遵循 [CC BY-NC 4.0 许可](https://creativecommons.org/licenses/by-nc/4.0/deed.zh)。
324 |
325 | 使用注意事项：
326 | 1. 商业场景使用需谨慎：禁止将该模型用于商业用途
327 | 2. 二次分发限制：修改或分发包含此模型的项目时，须保留原始许可声明
328 | 3. 合规要求：使用本项目即表示您确认理解并接受上述所有许可条款
--------------------------------------------------------------------------------
/frontend_nextjs/components/ChatSocket.ts:
--------------------------------------------------------------------------------
1 | "use client";
2 |
3 | import { AudioInput, AudioOutput, AssistantInput, SessionSettings, PauseAssistantMessage, ResumeAssistantMessage } from './types';
4 | import { CloseEvent, ErrorEvent } from './events';
5 | import { ReconnectingWebSocket } from './WebSocket';
6 |
7 |
8 | export type PublishEvent = SessionSettings
9 | export type SubscribeEvent = AudioOutput
10 |
11 |
12 | export class CustomError extends Error {
13 | readonly statusCode?: number;
14 | readonly body?: unknown;
15 |
16 | constructor({
17 | message,
18 | statusCode,
19 | body,
20 | }: {
21 | message?: string;
22 | statusCode?: number;
23 | body?: unknown;
24 | }) {
25 | super(buildMessage({ message, statusCode, body }));
26 | Object.setPrototypeOf(this, CustomError.prototype);
27 | if (statusCode != null) {
28 | this.statusCode = statusCode;
29 | }
30 |
31 | if (body !== undefined) {
32 | this.body = body;
33 | }
34 | }
35 | }
36 |
37 | function buildMessage({
38 | message,
39 | statusCode,
40 | body,
41 | }: {
42 | message: string | undefined;
43 | statusCode: number | undefined;
44 | body: unknown | undefined;
45 | }): string {
46 | const lines: string[] = [];
47 | if (message != null) {
48 | lines.push(message);
49 | }
50 |
51 | if (statusCode != null) {
52 | lines.push(`Status code: ${statusCode.toString()}`);
53 | }
54 |
55 | if (body != null) {
56 | lines.push(`Body: ${JSON.stringify(body, undefined, 2)}`);
57 | }
58 |
59 | return lines.join('\n');
60 | }
61 |
62 |
63 |
64 | export declare namespace ChatSocket {
65 | interface Args {
66 | sendSocket: ReconnectingWebSocket;
67 | recvSocket: ReconnectingWebSocket;
68 | uuid: string;
69 | }
70 |
71 | type Response = SubscribeEvent & { receivedAt: Date };
72 |
73 | type EventHandlers = {
74 | open?: () => void;
75 | message?: (message: Response) => void;
76 | close?: (event: CloseEvent) => void;
77 | error?: (error: Error) => void;
78 | };
79 | }
80 |
81 | export class ChatSocket {
82 | public readonly sendSocket: ReconnectingWebSocket;
83 | public readonly recvSocket: ReconnectingWebSocket;
84 | public readonly sendReadyState: number;
85 | public readonly recvReadyState: number;
86 |
87 | protected readonly sendEventHandlers: ChatSocket.EventHandlers = {};
88 | protected readonly recvEventHandlers: ChatSocket.EventHandlers = {};
89 |
90 | private uuid: string;
91 | private questionCount: number;
92 | private idCount: number;
93 |
94 | constructor({ sendSocket, recvSocket, uuid }: ChatSocket.Args) {
95 | this.sendSocket = sendSocket;
96 | this.recvSocket = recvSocket;
97 | this.uuid = uuid;
98 | this.questionCount = 0;
99 | this.sendReadyState = sendSocket.readyState;
100 | this.recvReadyState = recvSocket.readyState;
101 |
102 | this.sendSocket.addEventListener('open', this.handleSendOpen);
103 | this.sendSocket.addEventListener('message', this.handleSendMessage);
104 | this.sendSocket.addEventListener('close', this.handleSendClose);
105 | this.sendSocket.addEventListener('error', this.handleSendError);
106 | this.recvSocket.addEventListener('open', this.handleRecvOpen);
107 | this.recvSocket.addEventListener('message', this.handleRecvMessage);
108 | this.recvSocket.addEventListener('close', this.handleRecvClose);
109 | this.recvSocket.addEventListener('error', this.handleRecvError);
110 | this.idCount = 1
111 | }
112 |
113 | on使用 Websearch+RAG 运行服务器
207 |208 | 209 | 您首先需要安装 Websearch 和 RAG 所需的依赖。 210 | 211 | ```bash 212 | pip install -r backend/requirements-rag.txt 213 | ``` 214 | 215 | 其次，为 RAG 中嵌入 Websearch 结果选择一个嵌入模型，例如以下嵌入模型： 216 | 217 | ```bash 218 | git lfs install 219 | git clone https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2 220 | ``` 221 | 222 | 然后，为 Websearch 和 RAG 模块提供令牌，在`s2s_server_pipeline_rag.py`中，我们使用[Serper](https://serper.dev)作为 Websearch 工具，使用[Deepseek](https://deepseek.com)进行 RAG 。 223 | 224 | ```bash 225 | export LLM_API_KEY='' 226 | export SERPER_API_KEY='' 227 | ``` 228 | 229 | 最后，在运行服务器的示例代码中，将`s2s_server_pipeline.py`替换为`s2s_server_pipeline_rag.py`，并添加参数`--embedding_model_name`。 230 | 231 | 这是使用默认设置和 Websearch+RAG 运行服务器的示例： 232 | 233 | ```bash 234 | python3 -u s2s_server_pipeline_rag.py \ 235 | --recv_host 0.0.0.0 \ 236 | --send_host 0.0.0.0 \ 237 | --stt_model_name