├── README.md ├── 架构设计-1.png ├── 架构设计-2.png ├── 架构设计1.0.md ├── 简介.md ├── 需求文档.md └── 项目出发点&难点.md /README.md: -------------------------------------------------------------------------------- 1 | # SoftwareArchitecture 2 | 3 | # 区块链融合联邦学习的可信智能系统 4 | 5 | ## 1、简介 6 | 7 | - 如今万物互联、汽车产业迅速发展的时代，工信部印发了《关于推动5G加快发展的通知》，提出促进“5G+车联网”协同发展，推动将车联网纳入国家新型信息基础设施建设工程。然而，当前车联网场景下仍面临AI模型训练难、车辆数据共享难、数据安全保证难等行业痛点问题。本项目融合5G通信、边缘联邦智能、区块链分布式账本技术，构建数据隐私、身份可信、高可视化的分布式可信智能平台。 8 | - 我们设计一套区块链与联邦学习融合的边缘可信智能系统，在车辆数据不离开本地的前提下，多车通过5G通信联邦训练一种基于深度学习的疲劳驾驶行为分析算法，形成一套实时、可视化的车联网AI模型训练仿真演示平台。仿真平台结果可以显示模型参数上链、区块链联邦聚合，模型参数更新等功能，联邦训练了疲劳驾驶模型中的眼部状态识别和嘴部状态识别模型，经过多轮聚合，各车模型的准确率应该有很大提升，最终能够对车内驾驶员监测视频进行实时地疲劳驾驶状态分析。 9 | - 本作品具有良好经济效益和社会效益，以及宽阔的发展前景。5G车联网市场规模大，增长趋势稳定，产业带动性、支撑性强，同时可以带动交通智能化和产业链升级。此外，我们选定了将车联网中的疲劳驾驶检测系统作为我们的具体应用场景，将检测驾驶员是否疲劳驾驶的判断模型部署至我们设计的可信智能系统中，本系统未来可进一步搭载实现智能车联网的更多AI模型池，如路况预测与规划、驾驶策略优化；也可延展至更多行业，如车企间的模型联邦共享机制，和其他行业的AI模型与智慧能力交易平台。 10 | 11 | ## 2、项目难点 12 | 13 | [项目三大出发点&难点](https://github.com/C0hy/SoftwareArchitecture/blob/d5139eb88a5eeaef177a57ce83d5a67735f55d98/%E9%A1%B9%E7%9B%AE%E5%87%BA%E5%8F%91%E7%82%B9%26%E9%9A%BE%E7%82%B9.md) 14 | > **1.数据共享难** : 隐私侵权、敏感机密、高度异质 15 | > **2.安全保障难** : 单点故障、互不信任、恶意攻击 16 | > **3.模型训练算力有限** : 存储受限、算力受限、能耗受限 17 | 18 | ## 3、需求 19 | [项目需求](https://github.com/C0hy/SoftwareArchitecture/blob/d5139eb88a5eeaef177a57ce83d5a67735f55d98/%E9%9C%80%E6%B1%82%E6%96%87%E6%A1%A3.md) 20 | > **1.AI模型训练演示平台** 21 | > **2.车联网车辆疲劳驾驶检测** 22 | 23 | ## 4、系统架构1.0 24 | [本项目整体采用**分层架构**](https://github.com/C0hy/SoftwareArchitecture/blob/3fba276efbab7a33a4a04f28c3a2ff249a59f6c9/%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A11.0.md)： 25 | > 具体分为六层 26 | 27 | 28 | -------------------------------------------------------------------------------- /架构设计-1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/C0hy/SoftwareArchitecture/b66c63e83b20875c87186ff38ba639a276436af3/架构设计-1.png -------------------------------------------------------------------------------- /架构设计-2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/C0hy/SoftwareArchitecture/b66c63e83b20875c87186ff38ba639a276436af3/架构设计-2.png -------------------------------------------------------------------------------- /架构设计1.0.md: -------------------------------------------------------------------------------- 1 | # 架构设计 2 | 3 | 本项目整体采用**分层架构**： 4 | 5 | 6 | 7 | ### 具体分为六层： 8 | 9 | 1. **应用层**：AI模型训练演示平台，在平台上展示整个系统的相关工作情况。 10 | 11 | 2. **存储层**：存储区块链上行数据至数据库，供应用层展示。 12 | 3. **区块链层**：记载车辆训练模型数据，同时联邦聚合模型并存储，之后将聚合的模型下发。 13 | 4. **通信层**：负责车辆和区块链系统之间的通信。 14 | 5. **训练层**：在车辆本地对数据进行训练。 15 | 6. **数据层**：车辆内部产生数据。 16 | 17 | ### 大致流程： 18 | >- 车辆产生数据，形成车辆本地数据集 19 | >- 车辆在本地对数据进行模型训练，通过通信将模型参数上传至区块链 20 | >- 基站将模型参数存储在区块链上 21 | >- 区块链通过智能合约完成多个模型联邦聚合 22 | >- 聚合模型下发，指导本地车辆进行训练 23 | >- 系统训练数据通过后端传入数据库 24 | >- 前端对多车联邦训练过程进行实时展示，并对过程数据进行可视化分析 25 | 26 | 27 | -------------------------------------------------------------------------------- /简介.md: -------------------------------------------------------------------------------- 1 | # 区块链融合联邦学习的可信智能车联网系统 2 | 3 | - 如今万物互联、汽车产业迅速发展的时代，工信部印发了《关于推动5G加快发展的通知》，提出促进“5G+车联网”协同发展，推动将车联网纳入国家新型信息基础设施建设工程。然而，当前车联网场景下仍面临AI模型训练难、车辆数据共享难、数据安全保证难等行业痛点问题。本项目融合5G通信、边缘联邦智能、区块链分布式账本技术，构建数据隐私、身份可信、高可视化的分布式可信智能的车联网平台。 4 | - 我们设计一套区块链与联邦学习融合的边缘可信智能车联网系统，在车辆数据不离开本地的前提下，多车通过5G通信联邦训练一种基于深度学习的疲劳驾驶行为分析算法，形成一套实时、可视化的车联网AI模型训练仿真演示平台。仿真平台结果可以显示模型参数上链、区块链联邦聚合，模型参数更新等功能，联邦训练了疲劳驾驶模型中的眼部状态识别和嘴部状态识别模型，经过多轮聚合，各车模型的准确率应该有很大提升，最终能够对车内驾驶员监测视频进行实时地疲劳驾驶状态分析。 5 | - 本作品具有良好经济效益和社会效益，以及宽阔的发展前景。5G车联网市场规模大，增长趋势稳定，产业带动性、支撑性强，同时可以带动交通智能化和产业链升级。此外，我们选定了将车联网中的疲劳驾驶检测系统作为我们的具体应用场景，将检测驾驶员是否疲劳驾驶的判断模型部署至我们设计的可信智能系统中，本系统未来可进一步搭载实现智能车联网的更多AI模型池，如路况预测与规划、驾驶策略优化；也可延展至更多行业，如车企间的模型联邦共享机制，和其他行业的AI模型与智慧能力交易平台。 6 | -------------------------------------------------------------------------------- /需求文档.md: -------------------------------------------------------------------------------- 1 | # 需求分析 2 | 3 | ### 1、整体设计目标 4 | 5 | - 设计并实现一套区块链与联邦学习融合的边缘可信智能车联网系统。 6 | - 车辆数据不离开本地，多车通过5G通信联邦训练一种基于深度学习的疲劳驾驶行为分析算法。并事实检测驾驶员情况。 7 | - 提供一套实时、可视化的车联网AI模型训练演示平台。 8 | 9 | ### 2、功能需求 10 | 11 | 功能|说明 12 | :-:|:-: 13 | AI模型训练演示平台|管理员可以监测加入车联网的所有车辆的状态，例如车辆位置、车辆模型训练状态（训练、上传、聚合）、车辆疲劳检测结果，以及最终模型准确度、区块链通信量、区块链能耗、基站信息等。 14 | 车联网车辆疲劳驾驶检测|每辆车上会装有AI训练的板卡，可以本地训练模型并上传，也可以接受聚合之后的更精准的模型。在此基础上，可以实时检测车内驾驶人的疲劳状态，并在疲劳时及时通过车载系统基于提醒。 15 | 16 | #### 细化 17 | 18 | **（1）** AI模型训练演示平台： 19 | 功能|说明 20 | :-:|:-: 21 | 车辆位置监测|界面上会有局部的地图，在地图上标注有每辆车联网汽车的位置，可以实时监测，在出现问题时可以及时发现。 22 | 车辆模型训练状态监测|可以监测车辆模型的训练状态，例如训练、上传、下载等。 23 | 车辆疲劳驾驶检测结果|实时监测驾驶员状态，是正常驾驶还是已经出现疲劳驾驶的情况。 24 | 最终模型准确度|实时显示最新聚合模型准确率，以及聚合的次数，监测模型是否正常迭代运行。 25 | 区块链通信量、区块链能耗、基站信息等|监测系统硬件方面运行是否正常，是否有恶意攻击。 26 | 27 | **（2）** 车联网车辆疲劳驾驶检测： 28 | 功能|说明 29 | :-:|:-: 30 | 轻量化的AI训练模型|因为单车的计算资源有限，所以需要开发更加轻量化的模型，以更高效的在车辆上运行。 31 | 车辆模型训练情况|可以向驾驶员展示模型训练的情况，例如训练、上传、下载等，以及当前聚合模型的准确度。 32 | 驾驶人疲劳状态检测|在驾驶员开启功能的前提下，实时监测驾驶人员的驾驶状态，并且在出现疲劳驾驶状态时给予提醒。 33 | 34 | ### 3、非功能需求 35 | 36 | （1）安全性：保障用户隐私和数据安全，同时保障系统的安全性。 37 | （2）可靠性：确保疲劳驾驶检测模型在多种情况下的准确性和稳定性。 38 | （3）实时性：在实时性要求下对疲劳驾驶行为进行及时识别。 39 | （4）可扩展性：支持模块化设计和集成扩展，以适应不同场景的应用需求。 40 | （5）进化性：系统能够不断自主学习，定时更新更优模型。 41 | 疲劳驾驶行为识别准确率大于90%。 42 | -------------------------------------------------------------------------------- /项目出发点&难点.md: -------------------------------------------------------------------------------- 1 | # 区块链融合联邦学习的可信智能车联网系统 2 | 3 | ### 难点1、数据共享难 4 | 5 | > 我们缺数据吗？要知道，一辆智能汽车一天就能产生10TB的数据！我们已经进入了车辆数据爆炸的时代！数据不难，但，数据共享难。 6 | 7 | 传统机器学习，大家都默认将海量数据集中到云服务器上。然而在车联网这一特殊场景下： 8 | 9 | - 车内数据有隐私，车主不愿共享 10 | - 车企数据有机密，企业不愿共享 11 | - 跨域数据有差异，城市间难以共享 12 | 13 | **联邦学习：** 无须共享数据就能实现分布式隐私计算 14 | 15 | ### 难点2、安全保障难 16 | 17 | 传统联邦学习依然存在诸多安全隐患: 18 | 19 | - 参与方身份缺乏有效监管，存在信任风险 20 | - 参数上传，难以验证质量，存在恶意攻击风险 21 | - 参数聚合，依赖中心化服务器，存在单点故障风险 22 | 23 | **区块链：** 去中心化、不可篡改、可溯源 24 | 25 | > **区块链融合联邦学习** 26 | 27 | ### 难点3、模型训练算力有限 28 | 29 | 车内部署AI模型，车辆本身的存储、算力、能耗受到限制： 30 | **轻量化AI模型，加速训练与推理** 31 | --------------------------------------------------------------------------------