![\"Open](\"https://colab.research.google.com/assets/colab-badge.svg\"){kind=icon}
"
27 | ]
28 | },
29 | {
30 | "cell_type": "code",
31 | "source": [
32 | "!pip install textblob"
33 | ],
34 | "metadata": {
35 | "colab": {
36 | "base_uri": "https://localhost:8080/"
37 | },
38 | "id": "EnWtxODyMQDh",
39 | "outputId": "3c9549b2-f497-40d9-bed3-304b8c8f4470"
40 | },
41 | "execution_count": null,
42 | "outputs": [
43 | {
44 | "output_type": "stream",
45 | "name": "stdout",
46 | "text": [
47 | "Requirement already satisfied: textblob in /usr/local/lib/python3.11/dist-packages (0.19.0)\n",
48 | "Requirement already satisfied: nltk>=3.9 in /usr/local/lib/python3.11/dist-packages (from textblob) (3.9.1)\n",
49 | "Requirement already satisfied: click in /usr/local/lib/python3.11/dist-packages (from nltk>=3.9->textblob) (8.1.8)\n",
50 | "Requirement already satisfied: joblib in /usr/local/lib/python3.11/dist-packages (from nltk>=3.9->textblob) (1.4.2)\n",
51 | "Requirement already satisfied: regex>=2021.8.3 in /usr/local/lib/python3.11/dist-packages (from nltk>=3.9->textblob) (2024.11.6)\n",
52 | "Requirement already satisfied: tqdm in /usr/local/lib/python3.11/dist-packages (from nltk>=3.9->textblob) (4.67.1)\n"
53 | ]
54 | }
55 | ]
56 | },
57 | {
58 | "cell_type": "code",
59 | "execution_count": null,
60 | "metadata": {
61 | "colab": {
62 | "base_uri": "https://localhost:8080/"
63 | },
64 | "id": "GMxOCKfDMLye",
65 | "outputId": "a9b6c41f-8a38-4106-a715-676833b381f7"
66 | },
67 | "outputs": [
68 | {
69 | "output_type": "stream",
70 | "name": "stdout",
71 | "text": [
72 | "Polarity: -0.4, Subjectivity: 0.9\n",
73 | "احساس منفی\n"
74 | ]
75 | }
76 | ],
77 | "source": [
78 | "\n",
79 | "# نصب کتابخانه\n",
80 | "# !pip install textblob\n",
81 | "\n",
82 | "from textblob import TextBlob\n",
83 | "\n",
84 | "# متن نمونه\n",
85 | "text = \"I hate this product! It's absolutely wonderful.I am frusrated\"\n",
86 | "\n",
87 | "# تحلیل احساسات\n",
88 | "blob = TextBlob(text)\n",
89 | "sentiment = blob.sentiment\n",
90 | "\n",
91 | "print(f\"Polarity: {sentiment.polarity}, Subjectivity: {sentiment.subjectivity}\")\n",
92 | "\n",
93 | "if sentiment.polarity > 0:\n",
94 | " print(\"احساس مثبت\")\n",
95 | "elif sentiment.polarity < 0:\n",
96 | " print(\"احساس منفی\")\n",
97 | "else:\n",
98 | " print(\"احساس خنثی\")"
99 | ]
100 | }
101 | ]
102 | }
--------------------------------------------------------------------------------
/agi/quality_sound.py:
--------------------------------------------------------------------------------
1 | # import os
2 | # import librosa
3 | # import numpy as np
4 | # import pandas as pd
5 |
6 | # audio_folder = './clips'
7 | # low_quality_files = []
8 |
9 | # def check_audio_quality(file_path):
10 | # try:
11 | # audio, sr = librosa.load(file_path, sr=None)
12 |
13 | # # محاسبه RMS
14 | # rms = np.sqrt(np.mean(audio**2))
15 |
16 | # # محاسبه سطح نویز (SNR)
17 | # noise_level = np.mean(np.abs(audio))
18 | # snr = 20 * np.log10(rms / noise_level) if noise_level > 0 else -np.inf
19 |
20 | # # معیارهای کیفیت
21 | # if rms < 0.01 or snr < 10: # این مقادیر میتوانند بر اساس نیاز شما تغییر کنند
22 | # return True # کیفیت پایین
23 | # else:
24 | # return False # کیفیت خوب
25 | # except Exception as e:
26 | # print(f"Error processing {file_path}: {e}")
27 | # return False
28 |
29 | # # بررسی همه فایلهای صوتی در پوشه
30 | # for audio_file in os.listdir(audio_folder):
31 | # if audio_file.endswith('.wav') or audio_file.endswith('.mp3'):
32 | # file_path = os.path.join(audio_folder, audio_file)
33 | # if check_audio_quality(file_path):
34 | # low_quality_files.append(audio_file)
35 |
36 | # # نمایش فایلهای با کیفیت پایین
37 | # print(f"Files with low quality:{len(low_quality_files)}")
38 | # # for file in low_quality_files:
39 | # # print(file)
40 |
41 |
42 | import os
43 | import librosa
44 | import numpy as np
45 | import pandas as pd
46 |
47 | audio_folder = './wav'
48 | low_quality_files = []
49 |
50 | def calculate_snr(audio):
51 | """محاسبه نسبت سیگنال به نویز (SNR)"""
52 | signal_power = np.mean(audio**2)
53 | noise_power = np.var(audio)
54 | if noise_power == 0:
55 | return np.inf # اگر نویز وجود نداشته باشد
56 | snr = 10 * np.log10(signal_power / noise_power)
57 | return snr
58 |
59 | def calculate_thd(audio, sr, n_harmonics=5):
60 | """محاسبه اعوجاج هارمونیک کل (THD)"""
61 | fft = np.fft.fft(audio)
62 | magnitude = np.abs(fft)
63 | fundamental = np.max(magnitude)
64 | harmonic_indices = np.arange(2, n_harmonics + 2)
65 | harmonic_magnitudes = magnitude[harmonic_indices]
66 | thd = np.sqrt(np.sum(harmonic_magnitudes**2)) / fundamental
67 | return thd
68 |
69 | def calculate_spectral_flatness(audio):
70 | """محاسبه Spectral Flatness"""
71 | spectrum = np.abs(np.fft.fft(audio))
72 | geometric_mean = np.exp(np.mean(np.log(spectrum + 1e-10)))
73 | arithmetic_mean = np.mean(spectrum)
74 | flatness = geometric_mean / arithmetic_mean
75 | return flatness
76 |
77 | def check_audio_quality(file_path):
78 | try:
79 | audio, sr = librosa.load(file_path, sr=None)
80 |
81 | # محاسبه SNR
82 | snr = calculate_snr(audio)
83 |
84 | # محاسبه THD
85 | thd = calculate_thd(audio, sr)
86 |
87 | # محاسبه Spectral Flatness
88 | flatness = calculate_spectral_flatness(audio)
89 |
90 | # معیارهای کیفیت
91 | if snr < 20 or thd > 0.1 or flatness < 0.1: # مقادیر قابل تنظیم
92 | return True # کیفیت پایین
93 | else:
94 | return False # کیفیت خوب
95 | except Exception as e:
96 | print(f"Error processing {file_path}: {e}")
97 | return False
98 |
99 | # بررسی همه فایلهای صوتی در پوشه
100 | for audio_file in os.listdir(audio_folder):
101 | if audio_file.endswith('.wav') or audio_file.endswith('.mp3'):
102 | file_path = os.path.join(audio_folder, audio_file)
103 | if check_audio_quality(file_path):
104 | low_quality_files.append(audio_file)
105 |
106 | # نمایش فایلهای با کیفیت پایین
107 | print(f"Files with low quality: {len(low_quality_files)}")
108 | # for file in low_quality_files:
109 | # print(file)
--------------------------------------------------------------------------------
/سرفصل_آموزش_پایتون_مقدماتی.md:
--------------------------------------------------------------------------------
1 |
2 |
3 | ## **سرفصل کامل پایتون – سطح مقدماتی (ترم اول)**
4 |
5 | **هدف کلی:** آشنایی کامل با ساختار زبان پایتون، درک مفاهیم پایه برنامهنویسی، تسلط بر انواع دادههای داخلی، ساختارهای شرطی و تکرار، و نوشتن برنامههای ساده.
6 |
7 | ---
8 |
9 | ### **۱. مقدمه و آمادهسازی محیط توسعه**
10 |
11 | * آشنایی با پایتون و کاربردهای آن
12 | * نصب پایتون و محیط توسعه (VS Code / PyCharm)
13 | * اجرای کدهای پایتون در فایل و در حالت تعاملی (REPL / Shell)
14 | * مفهوم برنامهنویسی و الگوریتم
15 |
16 | ---
17 |
18 | ### **۲. مفاهیم پایه و متغیرها**
19 |
20 | * تعریف متغیر و نامگذاری آنها
21 | * تفاوت بین مقداردهی و مقایسه
22 | * بررسی نوع داده با `type()`
23 | * تبدیل نوع داده (Type Casting)
24 |
25 | ---
26 |
27 | ### **۳. انواع دادههای عددی (Numeric Types)**
28 |
29 | * نوع `int` و `float`
30 | * عملیات ریاضی: جمع، تفریق، ضرب، تقسیم، توان، باقیمانده، تقسیم صحیح
31 | * اولویت عملگرها
32 | * استفاده از توابع `round()`, `abs()`, `pow()`, `divmod()`
33 |
34 | ---
35 |
36 | ### **۴. نوع دادهی رشتهای (String)**
37 |
38 | * تعریف رشته با کوتیشنها
39 | * اتصال رشتهها با `+`
40 | * ضرب رشته در عدد
41 | * ایندکسگذاری و برش (Slicing)
42 | * توابع و متدهای پرکاربرد: `len()`, `upper()`, `lower()`, `strip()`, `replace()`, `find()`
43 | * قالببندی رشتهها با f-string و `.format()`
44 |
45 | ---
46 |
47 | ### **۵. نوع دادهی بولی (Boolean) و عملگرهای منطقی**
48 |
49 | * معرفی `True` و `False`
50 | * عملگرهای مقایسهای: `==`, `!=`, `<`, `>`, `<=`, `>=`
51 | * عملگرهای منطقی: `and`, `or`, `not`
52 | * کاربرد در شرطها
53 |
54 | ---
55 |
56 | ### **۶. ساختارهای شرطی**
57 |
58 | * دستور `if`, `else`, `elif`
59 | * بلاکهای کد و تورفتگی (indentation)
60 | * شرطهای تودرتو (nested conditions)
61 | * اپراتور شرطی کوتاه (ternary expression)
62 |
63 | ---
64 |
65 | ### **۷. نوع دادهی لیست (List)**
66 |
67 | * تعریف لیست و دسترسی به عناصر
68 | * برش و ایندکس منفی
69 | * تغییر، افزودن و حذف عناصر
70 | * متدهای رایج: `append()`, `insert()`, `remove()`, `pop()`, `sort()`, `reverse()`
71 | * استفاده از `in` و `len()`
72 |
73 | ---
74 |
75 | ### **۸. حلقهها (Loops)**
76 |
77 | * استفاده از `for` در پیمایش لیست و رشته
78 | * استفاده از `range()` در تکرار عددی
79 | * استفاده از `while` برای تکرار شرطی
80 | * دستورات `break` و `continue`
81 |
82 | ---
83 |
84 | ### **۹. نوع دادهی تاپل (Tuple) و تفاوت آن با لیست**
85 |
86 | * تعریف و ویژگیهای Tuple (غیرقابل تغییر بودن)
87 | * تبدیل لیست به تاپل و بالعکس
88 | * استفاده از Tuple برای بازگرداندن چند مقدار از تابع
89 |
90 | ---
91 |
92 | ### **۱۰. نوع دادهی دیکشنری (Dictionary)**
93 |
94 | * تعریف دیکشنری با کلید و مقدار
95 | * افزودن، ویرایش، حذف آیتمها
96 | * پیمایش دیکشنری با `for`
97 | * متدهای رایج: `keys()`, `values()`, `items()`
98 |
99 | ---
100 |
101 | ### **۱۱. نوع مجموعه (Set)**
102 |
103 | * تعریف Set و ویژگیهای آن (عدم تکرار، بدون ترتیب)
104 | * عملیات ریاضی روی مجموعهها: اجتماع، اشتراک، تفاضل
105 | * متدهای `add()`, `update()`, `remove()`, `discard()`
106 |
107 | ---
108 |
109 | ### **۱۲. توابع (Functions)**
110 |
111 | * تعریف تابع با `def`
112 | * پارامتر و مقدار بازگشتی با `return`
113 | * تفاوت پارامتر و آرگومان
114 | * مفهوم Scope متغیرها (global و local)
115 | * توابع پیشفرض پایتون مثل `len()`, `sum()`, `max()`, `min()`
116 |
117 | ---
118 |
119 | ### **۱۳. دریافت ورودی از کاربر**
120 |
121 | * استفاده از `input()`
122 | * تبدیل رشته به عدد با `int()` یا `float()`
123 | * نوشتن برنامههای تعاملی ساده
124 |
125 | ---
126 |
127 | ### **۱۴. آشنایی اولیه با فایلها**
128 |
129 | * باز کردن فایل با `open()`
130 | * خواندن و نوشتن فایل متنی با `read()`, `write()`
131 | * بستن فایل با `close()` یا استفاده از `with`
132 |
133 | ---
134 |
135 | ### **۱۵. تمرین نهایی و پروژه**
136 |
137 | **پروژههای پیشنهادی:**
138 |
139 | * ماشینحساب ساده با ورودی از کاربر
140 | * دفترچه نمرات دانشآموزان با لیست و دیکشنری
141 | * برنامه تبدیل واحد (مثلاً تبدیل دما)
142 | * ساخت یک بازی ساده حدس عدد
143 |
144 | ---
145 |
146 |
--------------------------------------------------------------------------------
/ترم-دوم-سطح-متوسطه.md:
--------------------------------------------------------------------------------
1 |
2 |
3 | ## **سرفصل کامل پایتون – سطح متوسطه (ترم دوم)**
4 |
5 | **هدف کلی:** ارتقاء مهارتهای کدنویسی با پایتون از طریق یادگیری اصول طراحی برنامههای ساختیافته، شیگرا و توانایی استفاده از ابزارها و کتابخانههای استاندارد پایتون.
6 |
7 | ---
8 |
9 | ### **۱. مرور مفاهیم مقدماتی**
10 |
11 | * مروری بر انواع دادهها، شرطها، حلقهها، توابع
12 | * تمرین برای تسلط بر مفاهیم قبلی با برنامههای ترکیبی
13 |
14 | ---
15 |
16 | ### **۲. توابع پیشرفته**
17 |
18 | * پارامترهای پیشفرض، موقعیتی و کلیدواژهای
19 | * آرگومانهای `*args` و `**kwargs`
20 | * توابع بازگشتی (Recursive)
21 | * تعریف توابع در توابع دیگر (Nested functions)
22 |
23 | ---
24 |
25 | ### **۳. ماژولها و بستهها**
26 |
27 | * وارد کردن ماژولهای استاندارد (`math`, `random`, `datetime`, `os`)
28 | * ایجاد و استفاده از ماژول سفارشی
29 | * ساختار بسته (Package) و فایل `__init__.py`
30 | * نصب پکیج با `pip` و استفاده از پکیجهای خارجی
31 |
32 | ---
33 |
34 | ### **۴. مدیریت خطا و استثناها (Exception Handling)**
35 |
36 | * معرفی انواع خطاهای رایج
37 | * استفاده از `try`, `except`, `else`, `finally`
38 | * تعریف خطای سفارشی با کلاس
39 |
40 | ---
41 |
42 | ### **۵. برنامهنویسی شیگرا (OOP)**
43 |
44 | * تعریف کلاس و شی (Object)
45 | * سازنده (`__init__`)
46 | * متدها و ویژگیها
47 | * وراثت (Inheritance)
48 | * روشهای خاص مثل `__str__`, `__len__`
49 | * مفهوم Encapsulation و دسترسی به متغیرهای خصوصی
50 |
51 | ---
52 |
53 | ### **۶. کار با فایلها (File Handling)**
54 |
55 | * خواندن و نوشتن فایلهای متنی
56 | * خواندن و نوشتن فایلهای CSV
57 | * استفاده از ماژول `os` برای مدیریت فایلها و پوشهها
58 | * کار با فایلهای JSON با `json` module
59 |
60 | ---
61 |
62 |
63 | ### **۷. ساختارهای داده پیشرفته**
64 |
65 | * لیست تو در تو (Nested Lists) و نحوه پیمایش آنها
66 | * دیکشنری تو در تو و استفاده کاربردی از آن در برنامههای ساختاریافته
67 | * ترکیب ساختارها برای مدلسازی دادهها (لیست از دیکشنری، دیکشنری از لیست، و ترکیبات آنها)
68 | * آشنایی با `collections` و ساختارهای خاص مانند `defaultdict`، `Counter`
69 |
70 |
71 | ---
72 |
73 |
74 | ### **۸. برنامهنویسی تابعگرا مقدماتی**
75 |
76 | * توابع `lambda`, `map`, `filter`, `reduce`
77 | * استفاده از `enumerate`, `zip`
78 | * Comprehension در لیست و دیکشنری
79 |
80 | ---
81 |
82 | ### **۹. آشنایی اولیه با کتابخانههای کاربردی**
83 |
84 | * `datetime` برای مدیریت تاریخ و زمان
85 | * `random` برای تولید مقادیر تصادفی
86 | * `math` برای توابع ریاضی خاص
87 | * `statistics` برای محاسبات آماری ساده
88 |
89 | ---
90 |
91 | ### **۱۰. پروژه پایانی سطح متوسطه**
92 |
93 |
94 | ### **۱. سیستم مدیریت دانشآموزان (Student Management System)**
95 |
96 | * استفاده از کلاسها برای تعریف دانشآموز
97 | * ذخیره اطلاعات در فایل متنی یا CSV
98 | * امکان افزودن، ویرایش، جستجو و حذف دانشآموز
99 | * نمایش میانگین نمرات و گزارشگیری ساده
100 |
101 | ---
102 |
103 | ### **۲. دفترچه تلفن هوشمند (Smart Contact Book)**
104 |
105 | * کلاس برای مخاطبین با ویژگیهایی مثل نام، شماره، ایمیل
106 | * جستجوی سریع بر اساس نام یا شماره
107 | * ذخیرهسازی دادهها در فایل JSON
108 | * استفاده از منو برای رابط کاربری متنی
109 |
110 | ---
111 |
112 | ### **۳. بازی حدس کلمه (Word Guess Game)**
113 |
114 | * استفاده از لیست و توابع برای مدیریت کلمات
115 | * امکان انتخاب تصادفی کلمه از فایل
116 | * شمارش دفعات تلاش و نمایش نتایج
117 | * افزودن سطح سختی (مثلاً طول کلمه، تعداد فرصتها)
118 |
119 | ---
120 |
121 | ### **۴. برنامه مدیریت کارها (To-Do List App)**
122 |
123 | * استفاده از دیکشنری یا لیست برای ذخیره کارها
124 | * قابلیت تعیین وضعیت انجامشده و تاریخ انجام
125 | * ذخیره دادهها بین اجراها با فایل JSON یا CSV
126 | * اعمال فیلتر برای نمایش فقط کارهای انجامنشده
127 |
128 | ---
129 |
130 | ### **۵. ماشین حساب پیشرفته (Advanced Calculator)**
131 |
132 | * پیادهسازی با استفاده از کلاسها و توابع جداگانه برای عملیاتها
133 | * پشتیبانی از عملیاتهای ریاضی ترکیبی، توان، ریشه، درصد
134 | * ورودی از کاربر با بررسی خطاها
135 | * امکان نمایش تاریخچه عملیاتها
136 |
137 | ---
138 |
139 |
140 |
--------------------------------------------------------------------------------
/Course/QT/09_advanced_widgets.md:
--------------------------------------------------------------------------------
1 | ## صفحه ۹ – ویجتهای پیشرفته در PyQt6
2 |
3 | ### ۱. تقویم (QCalendarWidget) 📅
4 |
5 | این ویجت یک تقویم کامل نمایش میدهد و کاربر میتواند یک تاریخ انتخاب کند.
6 |
7 | ```python
8 | import sys
9 | from PyQt6.QtWidgets import QApplication, QWidget, QVBoxLayout, QCalendarWidget, QLabel
10 |
11 | app = QApplication(sys.argv)
12 |
13 | window = QWidget()
14 | window.setWindowTitle("Calendar Example")
15 | window.resize(400, 300)
16 |
17 | layout = QVBoxLayout()
18 |
19 | calendar = QCalendarWidget()
20 | label = QLabel("Select a date")
21 |
22 | # Update label when date is changed
23 | calendar.selectionChanged.connect(lambda: label.setText(calendar.selectedDate().toString()))
24 |
25 | layout.addWidget(calendar)
26 | layout.addWidget(label)
27 |
28 | window.setLayout(layout)
29 | window.show()
30 | sys.exit(app.exec())
31 | ```
32 |
33 | 📌 نتیجه: کاربر میتواند تاریخ را از تقویم انتخاب کند و همان تاریخ در برچسب نمایش داده میشود.
34 |
35 | ---
36 |
37 | ### ۲. اسلایدر (QSlider) 🎚️
38 |
39 | اسلایدر برای گرفتن عددی بین یک بازه استفاده میشود (مثلاً تنظیم صدا یا روشنایی).
40 |
41 | ```python
42 | import sys
43 | from PyQt6.QtWidgets import QApplication, QWidget, QVBoxLayout, QSlider, QLabel
44 | from PyQt6.QtCore import Qt
45 |
46 | app = QApplication(sys.argv)
47 |
48 | window = QWidget()
49 | window.setWindowTitle("Slider Example")
50 | window.resize(300, 200)
51 |
52 | layout = QVBoxLayout()
53 |
54 | slider = QSlider(Qt.Orientation.Horizontal)
55 | slider.setMinimum(0)
56 | slider.setMaximum(100)
57 | slider.setValue(50)
58 |
59 | label = QLabel("Value: 50")
60 |
61 | # Update label when slider moves
62 | slider.valueChanged.connect(lambda value: label.setText(f"Value: {value}"))
63 |
64 | layout.addWidget(slider)
65 | layout.addWidget(label)
66 |
67 | window.setLayout(layout)
68 | window.show()
69 | sys.exit(app.exec())
70 | ```
71 |
72 | 📌 نتیجه: یک اسلایدر افقی نمایش داده میشود که مقدارش بین ۰ تا ۱۰۰ تغییر میکند و مقدار فعلی در برچسب نشان داده میشود.
73 |
74 | ---
75 |
76 | ### ۳. Progress Bar 🔄
77 |
78 | این ویجت برای نمایش وضعیت پیشرفت یک عملیات (مثل دانلود یا نصب) استفاده میشود.
79 |
80 | ```python
81 | import sys
82 | from PyQt6.QtWidgets import QApplication, QWidget, QVBoxLayout, QProgressBar, QPushButton
83 | from PyQt6.QtCore import QTimer
84 |
85 | class ProgressExample(QWidget):
86 | def __init__(self):
87 | super().__init__()
88 |
89 | self.setWindowTitle("Progress Bar Example")
90 | self.resize(300, 150)
91 |
92 | self.layout = QVBoxLayout()
93 |
94 | self.progress = QProgressBar()
95 | self.progress.setValue(0)
96 |
97 | self.button = QPushButton("Start")
98 |
99 | self.layout.addWidget(self.progress)
100 | self.layout.addWidget(self.button)
101 | self.setLayout(self.layout)
102 |
103 | # Timer to update progress
104 | self.timer = QTimer()
105 | self.timer.timeout.connect(self.update_progress)
106 |
107 | self.button.clicked.connect(self.start_progress)
108 | self.value = 0
109 |
110 | def start_progress(self):
111 | self.value = 0
112 | self.progress.setValue(0)
113 | self.timer.start(100)
114 |
115 | def update_progress(self):
116 | self.value += 5
117 | self.progress.setValue(self.value)
118 | if self.value >= 100:
119 | self.timer.stop()
120 |
121 | app = QApplication(sys.argv)
122 | window = ProgressExample()
123 | window.show()
124 | sys.exit(app.exec())
125 | ```
126 |
127 | 📌 نتیجه: با کلیک روی دکمه، نوار پیشرفت شروع به پر شدن میکند تا به ۱۰۰ برسد.
128 |
129 | ---
130 |
131 | ✅ حالا شما با چند ویجت پیشرفتهی کاربردی آشنا شدید که تقریباً در همهی نرمافزارهای جدی استفاده میشوند.
132 |
133 | ---
134 |
135 | در **صفحه ۱۰** یاد میگیریم چطور با استفاده از **StyleSheet** ظاهر برنامههایمان را زیباتر کنیم؛ مثل تغییر رنگها، فونتها و طراحی ظاهری مدرن. 🎨✨
136 |
137 |
--------------------------------------------------------------------------------
/ChatBot/makemodel.py:
--------------------------------------------------------------------------------
1 | import random
2 | import json
3 | import pickle
4 |
5 | import nltk
6 | # Download all NLTK resources (this may take some time)
7 | # nltk.download('all')
8 | from nltk.stem import WordNetLemmatizer
9 | from tensorflow.keras.models import Sequential
10 | from tensorflow.keras.layers import Dense, Dropout
11 | from tensorflow.keras.optimizers import SGD
12 |
13 | import numpy as np
14 |
15 | import nltk
16 | nltk.download('punkt') # دانلود دادههای punkt برای توکنسازی
17 | nltk.download('punkt_tab') # دانلود دادههای punkt_tab برای توکنسازی جملات
18 | nltk.download('wordnet') # دانلود دادههای wordnet
19 |
20 | # Initialize the lemmatizer
21 | lemmatizer = WordNetLemmatizer()
22 |
23 | # Load intents from the intents.json file
24 | intents = json.loads(open("intents_fa.json").read())
25 |
26 | # Initialize lists to hold words, classes, and documents
27 | words = []
28 | classes = []
29 | documents = []
30 |
31 | # Define characters to ignore in the input
32 | ignore_letters = ["?", "!", ".", ","]
33 |
34 | # Process each intent in the intents file
35 | for intent in intents["intents"]:
36 | for pattern in intent["patterns"]:
37 | # Tokenize each pattern and add to the word list and documents
38 | word_list = nltk.word_tokenize(pattern) # تقسیم متن به کلمات
39 | words.extend(word_list)
40 | documents.append((word_list, intent["tag"]))
41 |
42 | # Add the intent tag to classes if it's not already present
43 | if intent["tag"] not in classes:
44 | classes.append(intent["tag"])
45 |
46 | # Lemmatize words and remove ignored characters
47 | words = [lemmatizer.lemmatize(word)
48 | for word in words if word not in ignore_letters]
49 |
50 | # Sort and remove duplicates from words and classes
51 | words = sorted(set(words))
52 | classes = sorted(set(classes))
53 |
54 | # Save the processed words and classes to files
55 | pickle.dump(words, open('words_fa.pkl', 'wb'))
56 | pickle.dump(classes, open('classes_fa.pkl', 'wb'))
57 |
58 | # Prepare the dataset for training
59 | dataset = []
60 | template = [0] * len(classes) # Initialize output template
61 |
62 | # Create the bag of words and output rows for each document
63 | for document in documents:
64 | bag = []
65 | word_patterns = document[0] #feature
66 | word_patterns = [lemmatizer.lemmatize(word.lower())
67 | for word in word_patterns]
68 |
69 | # Create a bag of words representation
70 | for word in words:
71 | bag.append(1) if word in word_patterns else bag.append(0)
72 |
73 | # Create the output row for the corresponding class
74 | output_row = list(template)
75 | output_row[classes.index(document[1])] = 1 #document[1] ==>label
76 | dataset.append([bag, output_row])
77 |
78 |
79 | # Shuffle the dataset to ensure randomness during training
80 | random.shuffle(dataset)
81 | dataset = np.array(dataset, dtype=object)
82 |
83 | # Split the dataset into training features and labels
84 | train_x = list(dataset[:, 0])
85 | train_y = list(dataset[:, 1])
86 |
87 | # Build the neural network model
88 | model = Sequential()
89 | model.add(Dense(256, input_shape=(len(train_x[0]),), activation='relu')) # First hidden layer
90 | model.add(Dropout(0.5)) # Dropout layer to prevent overfitting
91 | model.add(Dense(128, activation='relu')) # Second hidden layer
92 | model.add(Dropout(0.5)) # Dropout layer
93 | model.add(Dense(len(train_y[0]), activation='softmax')) # Output layer with softmax activation
94 |
95 | # Compile the model with SGD optimizer and categorical crossentropy loss
96 | sgd = SGD(learning_rate=0.01, momentum=0.9, nesterov=True)
97 | model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])
98 |
99 | # Train the model on the training data
100 | hist = model.fit(np.array(train_x), np.array(train_y), epochs=200, batch_size=5, verbose=1)
101 |
102 | # Save the trained model to a file
103 | model.save("chatbot_model_fa.h5", hist)
104 | print("Done!") # Indicate that training is complete
105 |
--------------------------------------------------------------------------------
/ChatBot/TalkAi.md:
--------------------------------------------------------------------------------
1 |
2 | ## مراحل توسعه سیستم هوش مصنوعی دستور اطاعت گفتاری
3 |
4 | ### 1. **تعریف دقیق اهداف**
5 | - **تعیین ویژگیها:** مشخص کنید که چه ویژگیهایی باید در سیستم وجود داشته باشد. به عنوان مثال:
6 | - پردازش دستورات صوتی
7 | - پاسخگویی سریع و کارآمد
8 | - قابلیت یادگیری از تعاملات کاربران
9 |
10 | ### 2. **جمعآوری و پردازش دادهها**
11 | - **دادههای صوتی:** جمعآوری دادههای صوتی شامل دستورات گفتاری و تعاملات کاربران.
12 | - **تنوع دادهها:** اطمینان حاصل کنید که دادهها شامل لهجهها و زبانهای مختلف باشند.
13 | - **پیشپردازش دادهها:** دادهها را برای آموزش مدل آماده کنید (پاکسازی، نرمالسازی، و غیره).
14 | - **آموزش مدل:** مدل را با استفاده از دادههای جمعآوری شده آموزش دهید و به آن اجازه دهید تا الگوهای گفتاری را یاد بگیرد.
15 |
16 |
17 | ### 3. **مدلسازی و یادگیری ماشین**
18 | - **انتخاب الگوریتم:** الگوریتمهای مناسب برای پردازش صوت و یادگیری عمیق را انتخاب کنید. به عنوان مثال:
19 | - شبکههای عصبی کانولوشن (CNN) برای پردازش صوت
20 | - شبکههای عصبی بازگشتی (RNN) یا LSTM برای پردازش توالیهای زمانی
21 | - مدلهای پردازش زبان طبیعی (NLP): برای تحلیل متن و تولید پاسخ، میتوانید از مدلهای NLP مانند BERT یا GPT استفاده کنید.
22 | از مدلهای یادگیری عمیق برای پردازش صوت و تحلیل زبان طبیعی استفاده کنید. به عنوان مثال:**Speech-to-Text:** برای تبدیل صوت
23 | به متن از مدلهای ASR (Automatic Speech Recognition) استفاده کنید
24 | - از الگوریتمهای یادگیری تقویتی مانند (DQN/PPO/A3C)استفاده کنید تا مدل بتواند از تعاملات خود با محیط یاد بگیرد.
25 |
26 |
27 |
28 | ## مراحل کلی برای پردازش دستورات صوتی عمومی
29 |
30 | ### 1. **تعریف دامنه و نوع دستورات**
31 | - **دستورات عمومی:** سیستم باید قادر باشد به دستورات عمومی مانند:
32 | - سوالات اطلاعاتی (مثلاً "آب و هوا امروز چطوره؟")
33 | - درخواستها (مثلاً "لطفاً موسیقی پخش کن.")
34 | - دستورات کنترلی (مثلاً "چراغها را خاموش کن.")
35 | - **تنوع فیلدها:** در نظر داشته باشید که سیستم باید به دستورات مرتبط با فیلدهای مختلف مانند:
36 | - پزشکی
37 | - مالی
38 | - آموزشی
39 | - سرگرمی
40 | - خدمات مشتری
41 | - و غیره پاسخ دهد.
42 |
43 | ### 2. **جمعآوری دادههای متنوع**
44 |
45 | - **دستورات صوتی:** ابتدا باید مجموعهای از دستورات صوتی که میخواهید سیستم به آنها پاسخ دهد، جمعآوری کنید. این دستورات میتوانند
46 | شامل سوالات، درخواستها و دستورات کنترلی باشند.
47 | - **تنوع:** اطمینان حاصل کنید که دادهها شامل تنوع لهجهها، سنین و جنسیتهای مختلف باشد.
48 |
49 | - **متن دستورات:** برای هر دستور صوتی، متن مربوط به آن را تهیه کنید. این کار به شما کمک میکند تا مدلهای تبدیل صوت به متن (ASR) را آموزش دهید.
50 | - **تنوع در متن:** متنها باید شامل فرمهای مختلف بیان دستورات باشند تا سیستم بتواند به خوبی یاد بگیرد.
51 |
52 | - **پاسخهای صوتی:** برای هر دستور، پاسخ صوتی مناسب را جمعآوری کنید. این پاسخها باید واضح و مرتبط با دستور باشند.
53 | - **تنوع در پاسخها:** سعی کنید از گویندگان مختلف برای ضبط پاسخها استفاده کنید تا تنوع بیشتری داشته باشید.
54 |
55 | - **متن پاسخها:** متنهای مربوط به پاسخهای صوتی را نیز جمعآوری کنید. این کار به شما کمک میکند تا مدلهای پردازش زبان طبیعی (NLP) را آموزش دهید.
56 |
57 | ### 3. **پیشپردازش دادهها**
58 | - **تنظیم دادهها:** دادهها را پاکسازی و نرمالسازی کنید. این شامل حذف نویز و تبدیل دادههای صوتی به فرمتهای مناسب است.
59 | - **تنوع لهجه و زبان:** اطمینان حاصل کنید که دادهها شامل لهجهها و زبانهای مختلف هستند.
60 |
61 | ### 5. **پیادهسازی سیستم**
62 | - **توسعه نرمافزار:** نرمافزاری بسازید که قابلیت دریافت دستورات صوتی را داشته باشد و به طور خودکار آنها را پردازش کند.
63 | - **تست و اعتبارسنجی:** سیستم را با کاربران واقعی تست کنید و عملکرد آن را ارزیابی کنید.
64 |
65 | ### 6. **یادگیری از تعاملات کاربران**
66 | - **جمعآوری بازخورد:** از کاربران بخواهید تا بازخورد دهند و دادههای جدیدی از تعاملات آنها جمعآوری کنید.
67 | - **مدلهای یادگیری:** از تکنیکهای یادگیری تقویتی و یادگیری آنلاین برای بهبود عملکرد سیستم استفاده کنید.
68 |
69 | ### 7. **گسترش و تخصصیسازی**
70 | - **توسعه قابلیتهای جدید:** بر اساس نیازهای جدید و بازخورد کاربران، قابلیتهای جدیدی به سیستم اضافه کنید.
71 | - **تخصصیسازی برای صنایع مختلف:** سیستم را برای کاربردهای خاص در صنایع مختلف تخصصی کنید.
72 |
73 |
74 |
--------------------------------------------------------------------------------
/Course/Bagging_Boosting.md:
--------------------------------------------------------------------------------
1 | ### **🌟 طبقهبندیکنندههای Ensemble (ترکیبی) 🌟**
2 |
3 | طبقهبندیکنندههای Ensemble روشهایی هستند که چندین مدل یادگیری ماشین را ترکیب میکنند تا پیشبینیهای بهتری ارائه دهند. دو روش اصلی این طبقهبندیکنندهها عبارتند از **Bagging** و **Boosting**.
4 |
5 | ---
6 |
7 | ### **1. Bagging (Bootstrap Aggregating) 🤝✨**
8 |
9 | **ایده**: ایجاد چندین زیرمجموعه از دادهها و آموزش مدلها بر روی این زیرمجموعهها. سپس ترکیب پیشبینیها برای کاهش واریانس. 🎯
10 |
11 | #### **مثال داوران 🏆🎉**:
12 |
13 | **هدف**: انتخاب بهترین بازیکن از ۴ بازیکن (A، B، C، D) توسط ۵ داور.
14 |
15 | 1. **گروهبندی داوران**:
16 |
17 | - گروه ۱: داور ۱، داور ۲، داور ۳
18 | - گروه ۲: داور ۳، داور ۴، داور ۵
19 |
20 | 2. **رایگیری در هر گروه**:
21 |
22 | | بازیکن | امتیاز گروه ۱ | امتیاز گروه ۲ |
23 | |--------|----------------|----------------|
24 | | A | 7 | 6 |
25 | | B | 8 | 7 |
26 | | C | 6 | 8 |
27 | | D | 5 | 5 |
28 |
29 | 3. **انتخاب بهترین بازیکن در هر گروه**:
30 |
31 | - گروه ۱: بازیکن B (با امتیاز ۸)
32 | - گروه ۲: بازیکن C (با امتیاز ۸)
33 |
34 | 4. **رایگیری نهایی**:
35 |
36 | | بازیکن | امتیاز گروه ۱ | امتیاز گروه ۲ | میانگین امتیاز |
37 | |--------|----------------|----------------|------------------|
38 | | A | 7 | 6 | 6.5 |
39 | | B | 8 | 7 | 7.5 |
40 | | C | 6 | 8 | 7 |
41 | | D | 5 | 5 | 5 |
42 |
43 | - **برنده نهایی**: بازیکن B (با میانگین امتیاز ۷.۵)
44 |
45 | ---
46 |
47 | ### **2. Boosting 🚀🌈**
48 |
49 | **ایده**: آموزش مدلها به صورت ترتیبی. هر مدل جدید سعی میکند اشتباهات مدل قبلی را اصلاح کند. 🔄
50 |
51 | #### **مثال داوران **:
52 |
53 | 1. **رایگیری اولیه**:
54 |
55 | | بازیکن | امتیاز داور ۱ | امتیاز داور ۲ | امتیاز داور ۳ | امتیاز داور ۴ | امتیاز داور ۵ | مجموع امتیاز |
56 | |--------|----------------|----------------|----------------|----------------|----------------|---------------|
57 | | A | 6 | 7 | 5 | 6 | 7 | 31 |
58 | | B | 7 | 6 | 6 | 7 | 6 | 32 |
59 | | C | 5 | 5 | 7 | 8 | 8 | 33 |
60 | | D | 4 | 4 | 4 | 5 | 4 | 21 |
61 |
62 | - **بهترین بازیکن (تا اینجا)**: بازیکن C (با امتیاز ۳۳) 🌟
63 |
64 | 2. **اصلاح نظر داوران**: فرض کنید داوران به بازیکن C بیش از حد امتیاز دادهاند. ❗
65 |
66 | 3. **رایگیری دوباره**:🌈✨
67 |
68 | | بازیکن | امتیاز داور ۱ (اصلاح شده) | امتیاز داور ۲ (اصلاح شده) | امتیاز داور ۳ (اصلاح شده) | امتیاز داور ۴ (اصلاح شده) | امتیاز داور ۵ (اصلاح شده) | مجموع امتیاز |
69 | |--------|----------------------------|----------------------------|----------------------------|----------------------------|----------------------------|---------------|
70 | | A | 7 | 8 | 6 | 7 | 8 | 36 |
71 | | B | 8 | 7 | 7 | 8 | 7 | 37 |
72 | | C | 4 | 4 | 6 | 7 | 7 | 28 |
73 | | D | 5 | 5 | 5 | 6 | 5 | 26 |
74 |
75 | - **بهترین بازیکن (بعد از اصلاح)**: بازیکن B (با امتیاز ۳۷) 🎉🥇
76 |
77 | ---
78 |
79 | ### **خلاصه 📚🌟**
80 |
81 | - **Bagging**: چندین زیرمجموعه از دادهها ایجاد و مدلها آموزش داده میشوند. پیشبینیها ترکیب میشوند.
82 | - **Boosting**: مدلها به صورت ترتیبی آموزش داده میشوند و هر مدل جدید سعی میکند اشتباهات مدل قبلی را اصلاح کند. 🚀
83 |
84 |
85 |
--------------------------------------------------------------------------------
/Alborz.md:
--------------------------------------------------------------------------------
1 |
2 |
3 |
4 | ## 📘 بخش اول: آموزش عمومی (پودمانهای رسمی مدرسه – همه دانشآموزان)
5 |
6 | این بخش مطابق کتاب درسی فناوری اطلاعات و ارتباطات است.
7 |
8 | ### 🔹 پودمان ۱: شهروند الکترونیکی
9 |
10 | * آشنایی با شبکه و اینترنت
11 | * کار با ایمیل (ارسال، دریافت، مدیریت)
12 | * امنیت و اخلاق در فضای مجازی
13 |
14 | ### 🔹 پودمان ۲: نوآوری و فناوری
15 |
16 | * تأثیر فناوری بر زندگی روزمره
17 | * خلاقیت و ایدهپردازی
18 |
19 | ### 🔹 پودمان ۳: کاربرد فناوری اطلاعات و ارتباطات
20 |
21 | * نرمافزارهای اداری (Word, PowerPoint, Excel مقدماتی)
22 | * مدیریت فایلها و پوشهها
23 | * کاربرد فناوری در مشاغل مختلف
24 |
25 | ### 🔹 پودمان ۴: جستجو و جمعآوری اطلاعات
26 |
27 | * موتورهای جستجو
28 | * شیوههای صحیح جستجو
29 | * ارزیابی و انتخاب منابع معتبر
30 |
31 | ### 🔹 پودمان ۵: مستندسازی
32 |
33 | * تایپ ۱۰ انگشتی مقدماتی
34 | * کار با Word و PowerPoint
35 | * تنظیم جدول، تصویر و نمودار
36 |
37 | ### 🔹 پودمان ۶: اشتراکگذاری اطلاعات
38 |
39 | * ایجاد و ویرایش ارائه (PowerPoint)
40 | * کار گروهی و اشتراکگذاری فایلها
41 |
42 | ### 🔹 پودمان ۷: برنامهنویسی (پایتون)
43 |
44 | * مفاهیم پایه الگوریتم
45 | * دستورات شرطی و حلقه
46 | * طراحی پروژههای ساده
47 |
48 | ---
49 |
50 | ## 🚀 بخش دوم: سرفصلهای تکمیلی (ویژهی کلاس خصوصی و مسابقه خوارزمی)
51 |
52 | این بخش مخصوص دانشآموزان مستعد است و خارج از ساعات رسمی مدرسه آموزش داده میشود:
53 |
54 | ### ۱. مهارتهای پیشرفته برنامهنویسی (پایتون)
55 |
56 | * الگوریتم و فلوچارت
57 | * لیستها، تاپلها و دیکشنریها
58 | * توابع و ماژولها
59 | * پروژههای کوچک: ماشین حساب، بازیهای ساده
60 |
61 | ### ۲. طراحی وب مقدماتی
62 | اینکه بچهها رو به دو گروه **Front-end** و **Back-end** تقسیم کنید هم باعث میشه مسئولیتپذیری و کار تیمی رو یاد بگیرن، هم پروژههاشون واقعیتر بشه (چون مسابقه خوارزمی روی *پروژه محور بودن* خیلی تأکید داره).
63 |
64 | ---
65 |
66 | ## 🔹 گروه اول: Front-end (طراحی ظاهر و تجربه کاربر)
67 |
68 | 🔸 **سرفصلها:**
69 |
70 | * آشنایی با ساختار HTML (تگها، لینک، تصویر، جدول، فرمها)
71 | * استایلدهی با CSS (رنگها، فونتها، Flexbox و Grid ساده)
72 | * آشنایی با JavaScript و فریمورک Vue.js
73 | * استفاده از فریمورک سبک مثل Bootstrap برای طراحی واکنشگرا
74 | * آشنایی با Git, Github
75 | * پروژه: طراحی یک صفحه شخصی یا وبلاگ ساده با امکان نمایش مقالات/عکسها
76 |
77 | ---
78 |
79 | ## 🔹 گروه دوم: Back-end (منطق و مدیریت دادهها)
80 |
81 | 🔸 **سرفصلها:**
82 |
83 | * مفاهیم پایهی سرور و پایگاه داده (توضیح ساده برای سطح راهنمایی)
84 | * آشنایی بافریمورک Python (Django خیلی سبک)
85 | * ایجاد یک API ساده برای دریافت و ذخیره دادهها
86 | * کار با فایل JSON یا دیتابیس ساده (SQLite)
87 | * آشنایی با Git, Github
88 | * پروژه: ذخیره و نمایش دادهها (مثلاً فرم ثبتنام دانشآموزان یا دفترچه یادداشت آنلاین)
89 |
90 | ---
91 |
92 | ## 🔹 پروژهی مشترک (ترکیب Front + Back)
93 |
94 | برای تمرین کار گروهی، میتونید بچهها رو در قالب یک پروژه مشترک قرار داد:
95 |
96 | **مثال پروژه:**
97 | 🌐 یک وبسایت ساده "کتابخانه آنلاین"
98 |
99 | * تیم فرانتاند → طراحی ظاهر سایت (صفحه اصلی، صفحه معرفی کتابها، فرم ثبتنام)
100 | * تیم بکاند → ساخت بخش ورود اطلاعات کتابها و ذخیره در دیتابیس + API برای نمایش کتابها در سایت
101 |
102 | ---
103 |
104 | 📌 **مزایا برای مسابقه خوارزمی:**
105 |
106 | * دانشآموزان یاد میگیرن کار تیمی کنن (که توی داوری امتیاز بالایی داره).
107 | * پروژه هم ظاهر جذاب داره هم منطق فنی (ترکیب Front و Back امتیاز ویژه داره).
108 | * میتونن در روز مسابقه پروژه رو به صورت عملی اجرا و دفاع کنن.
109 |
110 | ---
111 |
112 |
113 | ### ۳. هوش مصنوعی و داده
114 |
115 | * آشنایی مفهومی با هوش مصنوعی
116 | * کار با دادهها در پایتون (pandas, matplotlib)
117 | * کار با برخی از الگوریتمهای هوش مصنوعی
118 | * پروژه: تحلیل داده و پیش بینی مدل ساخته شده(مثل نمرات کلاسی یا جدول لیگ ورزشی و یاتشخیص بیماری ..)
119 |
120 | ### ۴. تفکر خلاق و ایدهپردازی
121 |
122 | * طراحی و ارائه ایدهها
123 | * کار تیمی برای حل یک مسئله واقعی
124 | * آمادهسازی پروژه برای ارائه در مسابقه
125 |
126 | ### ۵. تمرینهای مسابقهای
127 |
128 | * انجام نمونه پروژههای برگزیده سالهای قبل مسابقه خوارزمی
129 | * تمرین ارائه شفاهی پروژه در مقابل دیگران
130 | * مدیریت زمان و کار گروهی
131 |
132 | ---
133 |
134 |
135 | * در کلاس رسمی، **پودمانهای درسی کتاب** را پیش میبریم.
136 | * برای کلاسهای خصوصی، یک مسیر پروژهمحور طراحی میکنم (مثلاً ساخت یک وبسایت یا طراحی یک بازی در پایتون یا درسطح پیشرفته دستیار هوش مصنوعی) تا دانشآموزان آماده مسابقه شوند.
137 |
138 | ---
139 |
140 |
141 |
--------------------------------------------------------------------------------
/agi/finetun_wac.py:
--------------------------------------------------------------------------------
1 | import json
2 | import torch
3 | import torchaudio
4 | from datasets import Dataset
5 | from transformers import (
6 | Wav2Vec2Processor, Wav2Vec2ForCTC, Wav2Vec2Config,
7 | AutoFeatureExtractor, TrainingArguments, Trainer,
8 | get_scheduler
9 | )
10 |
11 | # Load the Wav2Vec2 model configuration and model weights
12 | config = Wav2Vec2Config.from_pretrained("facebook/wav2vec2-large-960h")
13 | model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-960h")
14 | processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-960h")
15 | feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-large-960h")
16 |
17 | # Enable gradient checkpointing to save memory during training
18 | model.gradient_checkpointing_enable()
19 |
20 | # Function to load data from a JSON file
21 | def load_data(json_path):
22 | with open(json_path, 'r', encoding='utf-8') as f:
23 | data = json.load(f)
24 | return Dataset.from_dict({
25 | "file_path": [item["file_path"] for item in data],
26 | "text": [item["text"] for item in data]
27 | })
28 |
29 | # Function to preprocess the audio data
30 | def preprocess_data(batch):
31 | speech_array, sampling_rate = torchaudio.load(batch["file_path"])
32 | resampler = torchaudio.transforms.Resample(orig_freq=sampling_rate, new_freq=16000)
33 | speech_array = resampler(speech_array).squeeze().numpy()
34 | audio = feature_extractor(speech_array, sampling_rate=16000, return_tensors="pt")
35 | batch["input_values"] = audio["input_values"][0]
36 | batch["labels"] = processor.tokenizer(batch["text"], return_tensors="pt").input_ids[0]
37 | return batch
38 |
39 | # Load and preprocess training data
40 | dataset = load_data("transcript_list.json")
41 | dataset = dataset.map(preprocess_data, remove_columns=["file_path", "text"])
42 |
43 | # Load and preprocess validation data
44 | val_dataset = load_data("validation_transcript_list.json")
45 | val_dataset = val_dataset.map(preprocess_data, remove_columns=["file_path", "text"])
46 |
47 | # Function for collating batches of data
48 | def collate_fn(batch):
49 | input_values = [torch.tensor(item["input_values"]) for item in batch]
50 | labels = [torch.tensor(item["labels"]) for item in batch]
51 | input_values = torch.nn.utils.rnn.pad_sequence(input_values, batch_first=True, padding_value=0.0)
52 | labels = torch.nn.utils.rnn.pad_sequence(labels, batch_first=True, padding_value=-100)
53 | return {"input_values": input_values, "labels": labels}
54 |
55 | # Training configuration settings
56 | training_args = TrainingArguments(
57 | output_dir="./wav2vec2_finetuned",
58 | per_device_train_batch_size=3, # Adjusted batch size
59 | gradient_accumulation_steps=2,
60 | save_steps=400,
61 | logging_steps=100,
62 | learning_rate=1e-4, # Updated learning rate
63 | weight_decay=0.005,
64 | save_total_limit=2,
65 | num_train_epochs=4,
66 | fp16=False,
67 | push_to_hub=False,
68 | eval_steps=500,
69 | report_to="none",
70 | )
71 |
72 | # Move the model to CPU or GPU based on availability
73 | device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
74 | model.to(device)
75 |
76 | # Define the optimizer
77 | optimizer = torch.optim.AdamW(model.parameters(), lr=training_args.learning_rate)
78 |
79 | # Define the learning rate scheduler
80 | num_training_steps = len(dataset) // training_args.per_device_train_batch_size * training_args.num_train_epochs
81 | scheduler = get_scheduler(
82 | "linear",
83 | optimizer=optimizer,
84 | num_warmup_steps=int(0.1 * num_training_steps), # 10% warmup
85 | num_training_steps=num_training_steps,
86 | )
87 |
88 | # Define the Trainer for model training
89 | trainer = Trainer(
90 | model=model,
91 | eval_dataset=val_dataset,
92 | args=training_args,
93 | train_dataset=dataset,
94 | tokenizer=processor,
95 | data_collator=collate_fn,
96 | optimizers=(optimizer, scheduler)
97 | )
98 |
99 | # Start the training process
100 | try:
101 | for epoch in range(training_args.num_train_epochs):
102 | trainer.train()
103 | torch.cuda.empty_cache()
104 | eval_results = trainer.evaluate()
105 | except RuntimeError as e:
106 | if 'out of memory' in str(e):
107 | print("Out of memory error. Consider alternatives like smaller models or CPU training.")
108 | torch.cuda.empty_cache()
109 |
110 | # Save the trained model and processor
111 | model.save_pretrained("./wav2vec2_finetuned")
112 | processor.save_pretrained("./wav2vec2_finetuned")
--------------------------------------------------------------------------------
/Dr_Akbari/Varianse_classes.md:
--------------------------------------------------------------------------------
1 |
2 |
3 | ---
4 |
5 | # 🎯 هدف:
6 |
7 | تحلیل ویژگیها با استفاده از **تحلیل واریانس بین کلاسها** و سپس بررسی فاصله داده تست از میانگین ویژگیها در هر کلاس.
8 |
9 | ---
10 |
11 | ## 🧾 دادهها
12 |
13 | ### ✅ دادههای آموزشی (ویژگیها + کلاس):
14 |
15 | | نمونه | F1 | F2 | F3 | F4 | کلاس |
16 | | ----- | -- | -- | -- | -- | ---- |
17 | | x1 | 1 | 2 | 8 | 9 | 1 |
18 | | x2 | 2 | 3 | 7 | 7 | 1 |
19 | | x3 | 3 | 4 | 6 | 5 | 1 |
20 | | x4 | 4 | 5 | 5 | 6 | 1 |
21 | | x5 | 5 | 6 | 4 | 8 | 2 |
22 | | x6 | 6 | 7 | 3 | 9 | 2 |
23 | | x7 | 7 | 8 | 2 | 7 | 2 |
24 | | x8 | 8 | 9 | 2 | 5 | 2 |
25 |
26 | ### ✅ داده تست:
27 |
28 | $$
29 | \text{test} = (1.5,\ 7,\ 2,\ 7)
30 | $$
31 |
32 | ---
33 |
34 | ## ✅ گام 1: نرمالسازی دادهها در بازه $[-1, 1]$
35 |
36 | فرمول نرمالسازی:
37 |
38 | $$
39 | x' = \left( \frac{x - x_{\min}}{x_{\max} - x_{\min}} \times 2 \right) - 1
40 | $$
41 |
42 | ### 🔍 حداقل و حداکثر برای هر ویژگی:
43 |
44 | | ویژگی | min | max |
45 | | ----- | --- | --- |
46 | | F1 | 1 | 8 |
47 | | F2 | 2 | 9 |
48 | | F3 | 2 | 8 |
49 | | F4 | 5 | 9 |
50 |
51 | ### 🔢 نرمالسازی داده تست:
52 |
53 | * F1:
54 |
55 | $$
56 | \left( \frac{1.5 - 1}{7} \times 2 \right) - 1 = \frac{1}{7} - 1 = -\frac{6}{7}
57 | $$
58 |
59 | * F2:
60 |
61 | $$
62 | \left( \frac{7 - 2}{7} \times 2 \right) - 1 = 2 - 1 = 1
63 | $$
64 |
65 | * F3:
66 |
67 | $$
68 | \left( \frac{2 - 2}{6} \times 2 \right) - 1 = 0 - 1 = -1
69 | $$
70 |
71 | * F4:
72 |
73 | $$
74 | \left( \frac{7 - 5}{4} \times 2 \right) - 1 = 1 - 1 = 0
75 | $$
76 |
77 | ✅ **داده تست نرمالشده**:
78 |
79 | $$
80 | \text{test}' = \left( -\frac{6}{7},\ 1,\ -1,\ 0 \right)
81 | $$
82 |
83 | ---
84 |
85 | ## ✅ گام 2: میانگین ویژگیها در هر کلاس
86 |
87 | ### کلاس 1 (x1 تا x4):
88 |
89 | | ویژگی | مقادیر | میانگین |
90 | | ----- | ------------- | ------- |
91 | | F1 | \[1, 2, 3, 4] | 2.5 |
92 | | F2 | \[2, 3, 4, 5] | 3.5 |
93 | | F3 | \[8, 7, 6, 5] | 6.5 |
94 | | F4 | \[9, 7, 5, 6] | 6.75 |
95 |
96 | ### کلاس 2 (x5 تا x8):
97 |
98 | | ویژگی | مقادیر | میانگین |
99 | | ----- | ------------- | ------- |
100 | | F1 | \[5, 6, 7, 8] | 6.5 |
101 | | F2 | \[6, 7, 8, 9] | 7.5 |
102 | | F3 | \[4, 3, 2, 2] | 2.75 |
103 | | F4 | \[8, 9, 7, 5] | 7.25 |
104 |
105 | ---
106 |
107 | ## ✅ گام 3: نرمالسازی میانگینهای هر کلاس
108 |
109 | ### نرمالسازی کلاس 1:
110 |
111 | * F1:
112 |
113 | $$
114 | \left( \frac{2.5 - 1}{7} \times 2 \right) - 1 = \frac{3}{7} - 1 = -\frac{4}{7}
115 | $$
116 |
117 | * F2:
118 |
119 | $$
120 | \left( \frac{3.5 - 2}{7} \times 2 \right) - 1 = \frac{3}{7} - 1 = -\frac{4}{7}
121 | $$
122 |
123 | * F3:
124 |
125 | $$
126 | \left( \frac{6.5 - 2}{6} \times 2 \right) - 1 = \frac{9}{6} - 1 = 0.5
127 | $$
128 |
129 | * F4:
130 |
131 | $$
132 | \left( \frac{6.75 - 5}{4} \times 2 \right) - 1 = \frac{3.5}{4} \times 2 - 1 = 1.75 - 1 = 0.75
133 | $$
134 |
135 | ### نرمالسازی کلاس 2:
136 |
137 | * F1:
138 |
139 | $$
140 | \left( \frac{6.5 - 1}{7} \times 2 \right) - 1 = \frac{11}{7} - 1 = \frac{4}{7}
141 | $$
142 |
143 | * F2:
144 |
145 | $$
146 | \left( \frac{7.5 - 2}{7} \times 2 \right) - 1 = \frac{11}{7} - 1 = \frac{4}{7}
147 | $$
148 |
149 | * F3:
150 |
151 | $$
152 | \left( \frac{2.75 - 2}{6} \times 2 \right) - 1 = \frac{1.5}{6} \times 2 - 1 = 0.5 - 1 = -0.75
153 | $$
154 |
155 | * F4:
156 |
157 | $$
158 | \left( \frac{7.25 - 5}{4} \times 2 \right) - 1 = 1.125 - 1 = 0.125
159 | $$
160 |
161 | ---
162 |
163 | ## ✅ گام 4: محاسبه فاصله بین داده تست و میانگینهای نرمالشده
164 |
165 | \| ویژگی | تست (نرمال) | \$\bar{f}\_j^+\$ (نرمال) | \$\bar{f}\_j^-\$ (نرمال) | \$| \text{test} - \bar{f}\_j^+ |\$ | \$| \text{test} - \bar{f}\_j^- |\$ |
166 | \|--------|----------------|--------------------------|--------------------------|------------------------------|------------------------------|
167 | \| F1 | \$-\frac{6}{7}\$ | \$-\frac{4}{7}\$ | \$\frac{4}{7}\$ | \$\frac{2}{7}\$ | \$\frac{10}{7}\$ |
168 | \| F2 | 1 | \$-\frac{4}{7}\$ | \$\frac{4}{7}\$ | \$\frac{11}{7}\$ | \$\frac{3}{7}\$ |
169 | \| F3 | -1 | 0.5 | -0.75 | \$1.5\$ | \$0.25\$ |
170 | \| F4 | 0 | 0.75 | 0.125 | \$0.75\$ | \$0.125\$ |
171 |
172 | ---
173 |
174 | ## ✅ نتیجهگیری:
175 |
176 | | ویژگی | فاصله از کلاس 1 | فاصله از کلاس 2 | نزدیکتر به |
177 | | ----- | --------------- | --------------- | ----------- |
178 | | F1 | 0.286 | 1.429 | کلاس 1 |
179 | | F2 | 1.571 | 0.429 | کلاس 2 |
180 | | F3 | 1.5 | 0.25 | کلاس 2 |
181 | | F4 | 0.75 | 0.125 | کلاس 2 |
182 |
183 | 🔍 نتیجه نهایی: داده تست به کلاس 2 نزدیکتر است، بهخصوص در ویژگیهای **F2، F3 و F4**.
184 |
185 | ---
186 |
--------------------------------------------------------------------------------
/more.html:
--------------------------------------------------------------------------------
1 |
2 |
3 |
4 |
5 |
6 |