├── bupt.jpg
├── sample1.png
├── sample2.png
├── sample3.png
├── py_excel.xlsx
├── faces
├── start.jpg
├── N101Monday_1_2.jpg
├── N101Monday_3_4.jpg
├── N103Monday_3_4.jpg
├── training.xml
├── testing.xml
├── image_metadata_stylesheet.xsl
├── training_with_face_landmarks.xml
└── testing_with_face_landmarks.xml
├── reference
└── 面向大学课堂的抬头率检测系统的研究与实现_张杰.caj
├── camera.py
├── camera.ipynb
├── README.md
├── code1_window_and_face_recognition.py
├── code2_final.py
├── code1_window_and_face_recognition.py.ipynb
├── code0_initial.ipynb
└── code2_password_final.ipynb
/bupt.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/bupt.jpg
--------------------------------------------------------------------------------
/sample1.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/sample1.png
--------------------------------------------------------------------------------
/sample2.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/sample2.png
--------------------------------------------------------------------------------
/sample3.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/sample3.png
--------------------------------------------------------------------------------
/py_excel.xlsx:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/py_excel.xlsx
--------------------------------------------------------------------------------
/faces/start.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/faces/start.jpg
--------------------------------------------------------------------------------
/faces/N101Monday_1_2.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/faces/N101Monday_1_2.jpg
--------------------------------------------------------------------------------
/faces/N101Monday_3_4.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/faces/N101Monday_3_4.jpg
--------------------------------------------------------------------------------
/faces/N103Monday_3_4.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/faces/N103Monday_3_4.jpg
--------------------------------------------------------------------------------
/reference/面向大学课堂的抬头率检测系统的研究与实现_张杰.caj:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/caidongqi/TaiTouLv_Jiance/HEAD/reference/面向大学课堂的抬头率检测系统的研究与实现_张杰.caj
--------------------------------------------------------------------------------
/camera.py:
--------------------------------------------------------------------------------
1 | #!/usr/bin/env python
2 | # coding: utf-8
3 |
4 | # In[2]:
5 |
6 |
7 | import numpy as np
8 | import cv2 #需要提前安装opencv
9 |
10 | cap = cv2.VideoCapture(0)
11 | print(cap.isOpened())
12 | ret, img = cap.read()
13 | print(ret, img)
14 | cv2.imshow("Image", img)
15 | cv2.imwrite(r"C:\Users\10485\Desktop\TaiTouLv_Jiance", img) #此处填写摄像头拍摄的照片的存储路径
16 | cv2.waitKey(0)
17 |
18 | # 释放摄像头资源
19 | cap.release()
20 |
21 |
22 | # In[ ]:
23 |
24 |
25 |
26 |
27 |
--------------------------------------------------------------------------------
/faces/training.xml:
--------------------------------------------------------------------------------
1 |
2 |
3 |
4 | Training faces
5 | These are images from the PASCAL VOC 2011 dataset.
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
22 |
23 |
24 |
25 |
26 |
27 |
28 |
29 |
30 |
31 |
32 |
33 |
34 |
--------------------------------------------------------------------------------
/faces/testing.xml:
--------------------------------------------------------------------------------
1 |
2 |
3 |
4 | Testing faces
5 | These are images from the PASCAL VOC 2011 dataset.
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
22 |
23 |
24 |
25 |
26 |
27 |
28 |
29 |
30 |
31 |
32 |
33 |
34 |
35 |
36 |
37 |
38 |
39 |
40 |
41 |
42 |
43 |
44 |
--------------------------------------------------------------------------------
/camera.ipynb:
--------------------------------------------------------------------------------
1 | {
2 | "cells": [
3 | {
4 | "cell_type": "code",
5 | "execution_count": 2,
6 | "metadata": {},
7 | "outputs": [
8 | {
9 | "name": "stdout",
10 | "output_type": "stream",
11 | "text": [
12 | "False\n",
13 | "False None\n"
14 | ]
15 | },
16 | {
17 | "ename": "error",
18 | "evalue": "OpenCV(4.4.0) D:\\Build\\OpenCV\\opencv-4.4.0\\modules\\highgui\\src\\window.cpp:384: error: (-215:Assertion failed) size.width>0 && size.height>0 in function 'cv::imshow'\n",
19 | "output_type": "error",
20 | "traceback": [
21 | "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
22 | "\u001b[1;31merror\u001b[0m Traceback (most recent call last)",
23 | "\u001b[1;32m\u001b[0m in \u001b[0;36m\u001b[1;34m\u001b[0m\n\u001b[0;32m 6\u001b[0m \u001b[0mret\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mimg\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mcap\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mread\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 7\u001b[0m \u001b[0mprint\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mret\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mimg\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 8\u001b[1;33m \u001b[0mcv2\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mimshow\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m\"Image\"\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mimg\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m 9\u001b[0m \u001b[0mcv2\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mimwrite\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34mr\"C:\\Users\\10485\\Desktop\\TaiTouLv_Jiance\"\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mimg\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m 10\u001b[0m \u001b[0mcv2\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mwaitKey\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m0\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
24 | "\u001b[1;31merror\u001b[0m: OpenCV(4.4.0) D:\\Build\\OpenCV\\opencv-4.4.0\\modules\\highgui\\src\\window.cpp:384: error: (-215:Assertion failed) size.width>0 && size.height>0 in function 'cv::imshow'\n"
25 | ]
26 | }
27 | ],
28 | "source": [
29 | "import numpy as np\n",
30 | "import cv2 #需要提前安装opencv\n",
31 | "\n",
32 | "cap = cv2.VideoCapture(0)\n",
33 | "print(cap.isOpened())\n",
34 | "ret, img = cap.read()\n",
35 | "print(ret, img)\n",
36 | "cv2.imshow(\"Image\", img)\n",
37 | "cv2.imwrite(r\"C:\\Users\\10485\\Desktop\\TaiTouLv_Jiance\", img) #此处填写摄像头拍摄的照片的存储路径\n",
38 | "cv2.waitKey(0)\n",
39 | "\n",
40 | "# 释放摄像头资源\n",
41 | "cap.release()"
42 | ]
43 | },
44 | {
45 | "cell_type": "code",
46 | "execution_count": null,
47 | "metadata": {},
48 | "outputs": [],
49 | "source": []
50 | }
51 | ],
52 | "metadata": {
53 | "kernelspec": {
54 | "display_name": "Python 3",
55 | "language": "python",
56 | "name": "python3"
57 | },
58 | "language_info": {
59 | "codemirror_mode": {
60 | "name": "ipython",
61 | "version": 3
62 | },
63 | "file_extension": ".py",
64 | "mimetype": "text/x-python",
65 | "name": "python",
66 | "nbconvert_exporter": "python",
67 | "pygments_lexer": "ipython3",
68 | "version": "3.8.3"
69 | }
70 | },
71 | "nbformat": 4,
72 | "nbformat_minor": 4
73 | }
74 |
--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
1 | # 抬头率检测系统
2 |
3 | [](https://github.com/RichardLitt/standard-readme)
4 |
5 | 本仓库设计并实现了一个简易的抬头率检测系统，通过调用摄像头来获取教室的实时图像，对图像进行人脸识别，并结合数据库中的选课人数计算该堂课的实时抬头率。此外，我们还设计了一个UI操作界面，以便管理人员浏览和管理。
6 |
7 | 本仓库包含以下内容：
8 |
9 | 1. 系统运行所需要的全部源码（共有ipython和py两种文件格式，均可独立完整运行）
10 | 2. 人脸识别所需要的训练好的[模型文件](./haarcascade_frontalface_alt2.xml)
11 | 3. 运行测试所需要的图片和数据
12 |
13 | ## 目录
14 |
15 | - [内容简介](#内容简介)
16 | - [代码功能介绍](#代码功能介绍)
17 | - [关键代码讲解](#关键代码讲解)
18 | - [运行说明和结果展示](#)
19 | - [参考资料](#参考资料)
20 | - [相关仓库](#相关仓库)
21 | - [维护者](#维护者)
22 | - [如何贡献](#如何贡献)
23 |
24 | ## 内容简介
25 | ### 代码功能介绍
26 | 本文档中仅介绍.ipython文件，对应的.py文件不再赘述，内容都是一样的。
27 |
28 | #### [camera.ipynb](./camera.ipynb)
29 | 此代码实现了调用摄像头以截取某一时刻的图像，并将其储存在本地的功能。
30 |
31 | #### [code0_initial.ipynb](./code0_initial.ipynb)
32 | 这个代码就是最原始的主体代码，人脸识别部分主要参考了dlib的一个样例程序，代码里还保留着一些原始的英文注释，讲解了一下环境配置中可能出现的问题，有兴趣的可以看一看。
33 |
34 | #### [code1_window_and_face_recognition.py.ipynb](./code1_window_and_face_recognition.py.ipynb)
35 | 此代码是第一个较为完整地代码，已经可以完整地运行出来，并带了UI界面。
36 |
37 | #### [code2_password_final.ipynb](./code2_password_final.ipynb)
38 | 正如这个代码的文件名，它就是在上一个版本的代码中加入了登录界面，并完善了代码的各项功能，是本系统最终使用的代码。嫌麻烦的完全可以不看前两个版本的代码，直接看这个最终版就行。
39 |
40 | 代码主要由三大部分组成：界面代码、人脸检测代码以及数据调用代码。
41 |
42 | 界面代码是用的tkinter库，人脸检测代码也是直接调用的opencv的一个人脸检测的接口，调用训练好的模型之后直接对图片infer就行了。数据调用代码主要调用两种数据，分别是课堂信息和教室的实时图片。前者被用来进行抬头率检测，后者用来将教室的实时图像显示在UI界面上，以便观察和对照。
43 |
44 | ### 关键代码讲解
45 | 其实整个代码也比较简单，没啥好讲的，基本是界面的代码，我就讲一下最核心的功能，人脸检测函数吧。
46 | ```sh
47 | def inspect(): ## 声明一个函数
48 | nonlocal face ## 将face变量定义为全局，这样就不用再把face给return了，函数里跑出的face值，函数外也能获得，可以保证face值得实时性
49 | str1 = "教室"
50 | str2 = "课上的抬头率为："
51 | path = r'.\faces' ## 图片保存的路径
52 | pic_path = str(class_room_chosen.get()) + str(course_time_chosen.get()) + '.jpg' ## 根据选择的教室和时间获取相应图片的名称 （图片的名称是需要按一定的规则来命名的，否则会报错）
53 | p = path + '/' + pic_path ## 将图片的总路径和单个图片的名称拼接起来，得到单个图片的路径
54 | img = cv2.imread(p) ## 读取图片
55 | color = (0, 255, 0)
56 |
57 | grey = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ## 只选取单个通道的图片数据进行处理，就是把彩图变成灰度图
58 |
59 | classfier = cv2.CascadeClassifier(
60 | r".\haarcascade_frontalface_alt2.xml") ## 创建一个分类器，这个分类器是已经训练好的，调用了一个已经训练好的模型文件
61 | faceRects = classfier.detectMultiScale(grey, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32)) ## 通过分类器对图像进行人脸识别
62 | a = len(faceRects) ## faceRects有几条数据，就说明有几个人脸，从而判断出有几个人抬头了
63 | face = a
64 | str3 = str(a) ## 改变数据格式，以便后面将其输出在UI界面上
65 | ```
66 | ### 运行说明和结果展示
67 |
68 | #### 运行说明
69 | 编码语言：python3.7
70 | 编程环境: Jupyter notebook
71 | 主要依赖库: Opencv
72 |
73 | #### 结果展示
74 |
75 | 首先是登录界面：
76 |
77 | 
78 |
79 | 因为时间原因，本系统并未真正实现密码验证功能，有兴趣的小伙伴可以结合mysql数据库等等来实现这一功能。
80 |
81 | 其次是系统的初始化界面，也就是登录之后会跳转到的界面：
82 |
83 | 
84 |
85 | 最后就是抬头率的结果展示画面，在选取了相应的教室和时间后，依次点击界面上的两个按钮，就可以显示出抬头率，并在侧面显示出教室的实时图像：
86 |
87 | 
88 |
89 | ## 参考资料
90 | 本系统只是简单地实现了一个功能齐全的抬头率检测管理系统，但是并未对各项功能的准确率和效率进行优化，如果有对准确率和效率有更高要求的小伙伴，可以去找一些相关的人脸识别的参考文献，本仓库中附带了一篇本人看过的文献，思路与我的这个系统较为类似，但是做的更加深入、细致，也有各种准确率等等的指标，文章已经附在仓库中，点击[链接](./reference/面向大学课堂的抬头率检测系统的研究与实现_张杰.caj)即可获得全文。
91 |
92 |
93 | ## 相关仓库
94 |
95 | - [Standard Readme](https://github.com/RichardLitt/standard-readme) — 💌 写高质量 README 的艺术。
96 |
97 | ## 维护者
98 |
99 | [@bupt_caidongqi](https://github.com/caidongqi)。
100 |
101 | ## 如何贡献
102 |
103 | 非常欢迎你的加入！[提一个 Issue](https://github.com/caidongqi/Industrial-Applet/issues/new) 或者提交一个 Pull Request。
104 |
105 |
106 | ### 贡献者
107 |
108 | 感谢以下参与项目的人：
109 |
--------------------------------------------------------------------------------
/faces/image_metadata_stylesheet.xsl:
--------------------------------------------------------------------------------
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 | 30
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
57 |
58 |
59 |
60 |
61 | Dataset name:
62 | Dataset comment:
63 | Number of images:
64 | Number of boxes:
65 |
66 |
67 |
68 |
69 |
70 | Only displaying the first images.
71 |
72 |
73 |
74 |
75 |
76 |
77 |
78 | (Number of boxes: )
79 |
80 |
81 |
82 |
83 |
84 |
85 |
86 |
87 |
88 |
89 |
90 |
91 |
92 |
97 |
98 |
99 |
100 |