├── .gitignore ├── some_share_ppt ├── 程序员的成长.pdf ├── 支付宝风控实践-2014.pdf ├── 美团业务风控系统构建经验.pdf ├── 从零打造千万级的 实时⻛控云服务.pdf └── 同盾反欺诈系列报告之账户安全保护.pdf ├── picture_resource └── meituan_riskcontrol_architure.png ├── README.md ├── meituan_riskcontrol_architure_intro.md └── meituan_riskcontrol_rule_engine.md /.gitignore: -------------------------------------------------------------------------------- 1 | .DS_Store 2 | -------------------------------------------------------------------------------- /some_share_ppt/程序员的成长.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ybNero/awesome-risk-control/master/some_share_ppt/程序员的成长.pdf -------------------------------------------------------------------------------- /some_share_ppt/支付宝风控实践-2014.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ybNero/awesome-risk-control/master/some_share_ppt/支付宝风控实践-2014.pdf -------------------------------------------------------------------------------- /some_share_ppt/美团业务风控系统构建经验.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ybNero/awesome-risk-control/master/some_share_ppt/美团业务风控系统构建经验.pdf -------------------------------------------------------------------------------- /some_share_ppt/从零打造千万级的 实时⻛控云服务.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ybNero/awesome-risk-control/master/some_share_ppt/从零打造千万级的 实时⻛控云服务.pdf -------------------------------------------------------------------------------- /some_share_ppt/同盾反欺诈系列报告之账户安全保护.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ybNero/awesome-risk-control/master/some_share_ppt/同盾反欺诈系列报告之账户安全保护.pdf -------------------------------------------------------------------------------- /picture_resource/meituan_riskcontrol_architure.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/ybNero/awesome-risk-control/master/picture_resource/meituan_riskcontrol_architure.png -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | ```` 2 | v1.0 update@20181202 梳理框架 3 | v2.1 update@20190102 梳理风控相关各模块的职责 4 | v2.2 update@20190323 20190324 5 | - 文档结构调整；【所谓风控】部分丰富 6 | - 加入美团风控架构图 7 | - TODO： 8 | -风控接入+规则引擎 补充，技术落地方案 9 | -风控行业相关资料搬运到本地 10 | v.2.3 update@20190525 11 | v.2.4 update@20191222 12 | v.2.5 update@20200517 新增引用 美团风控引擎介绍 13 | ```` 14 | 15 | # 一、所谓风控(What && Why) 16 | 17 | 所谓风控，可以拆解从2个方面看，即 `风险` `控制` 18 | 19 | ## 风险(what) 20 | 21 | `风险` 这里狭隘的特指互联网产品中存在的风险点，例如 22 | 23 | * 账户风险 24 | * 垃圾注册账号 25 | * 账号被泄露盗用 26 | * 交易支付风险 27 | * 刷单：为提升卖家店铺人气，买卖家串通等方式虚假交易 28 | * 恶拍：恶意买家在卖家店铺频繁下单不支付；恶意买家通过频繁下单传播垃圾UGC等行为 29 | * 盗刷：买家卡被盗在平台上消费 30 | * 套现：伪装买卖家，在平台上信用卡交易，套出现金获利 31 | * UGC风险 32 | * 风险类别：涉政、涉黄、涉爆等方面的文本、视频 33 | * 传播渠道：创建店铺、商品相关的标题，详情页；下单支付的备注留言；IM消息等 34 | 35 | ## 控制(why) 36 | 37 | 一般互联网产品，特别电商类产品，都希望拉新提升日活，同时运营好这些用户，提升用户粘性。类似刷单、恶拍等交易支付风险，传播垃圾信息等UGC风险会严重影响平台产品体验，所以我们需要控制这些风险点。 38 | 39 | `控制` 即是要预防、识别、控制风险的发生。风险的控制一般分为事前，事中，事后3个阶段处理。 40 | 41 | * 识别及预防：一般风险行为和正常行为的行为链路会有所不同。通过分析用户的整个行为链路，可以将风险行为和正常行为区分开 42 | * 事后控制：风险事件发生后，可以采取一定措施控制事件影响，例如用户套现，交易已经发生，但是可以通过控制提现时长或者冻结资金等方式来控制减小影响面 43 | 44 | 45 | 46 | # 二、如何风控-How 47 | 48 | 下图是美团风控架构图，自己想要总结的也和下图大同小异。这里借用，下面详细描述各模块职责和一些技术细节 49 | 50 | ![美团风险架构](picture_resource/meituan_riskcontrol_architure.png) 51 | 52 | 53 | 54 | ## 对接系统 55 | 56 | 从产品层面看，风控会对接很多产品线，例如上图中到店餐饮、外卖等。和业务线的对接方式不断迭代有以下优化 57 | 58 | * 原始的方式：每个业务线单独对接，都需要新开接口，单独支持联调。成本高，效率低 59 | * 优化后方式：打造统一接入平台，业务+场景 平台化配置，自动对接调试。 60 | 61 | 对接系统只专注负责一个事情，即通过配置化对接业务的风控接入，需要配置的点，包含2个部分 62 | 63 | * 配置业务和场景：让风控感知到新的业务场景的接入 64 | * 数据协议：配置请求参数的数据字段 65 | * 异步事件接入：额外的数据接入，可能是通过消息接入。例如订单状态变更的消息等 66 | 67 | 各业务线接入后，整个数据层面也可以通过账户或设备指纹等维度打通，这样就可以从用户整个行为链路分析和识别风险。 68 | 69 | 70 | 71 | ## 平台系统 72 | 73 | ### 规则引擎 74 | 75 | 规则引擎作为风控的核心，最重要的便是如何将 **规则算法** 和 **数据特征** 灵活高效组装，将他们的功效输出。 76 | 77 | 直白讲，规则引擎对每次 **事件** 的风险判定，是根据 **规则算法** 综合判定的，而规则算法一般都会需要很多特征数据。左手规则算法，后手特征数据，拼装在一块，变得出风险判定结果 78 | 79 | 规则引擎系统的打造，一些细节采用如下QA的方式表述 80 | 81 | Q1：规则集如何获取 82 | 83 | A1：依据风控事件的不同，从规则管理中心获取对应规则。同时规则也应有版本控制 84 | 85 | 86 | 87 | Q2：特征数据如何获取 88 | 89 | A2：规则集获取到后，便知道整个规则集需要的特征数据集，直接从数据中心获取 90 | 91 | 92 | 93 | Q3：规则的依赖关系及并行执行 94 | 95 | A3：并行；串行；树形等 96 | 97 | 98 | 99 | TODO 更多的细节待思考和补充 100 | 101 | Q：规则的动态化发布；规则的表达和可配置； 102 | 103 | Q：风险事件的同步、异步接入 104 | 105 | 106 | 107 | 事件的风险判定。 108 | 109 | 数据：事件基础数据；扩展数据 110 | 111 | 112 | 113 | 几个概念 114 | 115 | Facts：some facts 116 | 117 | Rule：when(Condition) and then 118 | 119 | Actions 120 | 121 | 122 | 123 | ### 规则平台 124 | 125 | #### 规则设计 126 | 127 | 从不同层次看，规则可以分为 128 | 129 | - 因子：最小的逻辑单元。例如 买家单日下单总量>5；注册时间3天内等 130 | - 规则：最小的决策单元，由若干因子和与或逻辑嵌套组成。例如 买家单日下单总量>5 且 (注册时间3天内 或 买家单月支付总额>1000) 131 | - 策略集：某个业务场景下的规则集，由若干规则组成 132 | 133 | #### 规则维护 134 | 135 | 从B端角度看，规则中心主要负责 136 | 137 | - 规则的增删查改的维护 138 | - 规则的测试 139 | - 规则效果分析 140 | 141 | 从C端角度看 142 | 143 | - 各业务线规则集的查询 144 | 145 | ### 数据特征中心 146 | 147 | 一般针对需要风控介入的场景，称场景下的每次行为为一个事件，例如称一个新用户注册为一个注册事件，一次下单行为为交易事件，一次支付行为为支付事件等等。 148 | 149 | 上面描述的每个事件，都可称为基本`事件数据`。 150 | 151 | 特征中心主要负责维护规则和算法需要的各种特征数据。针对事件数据，可能做多种维度的统计和分析得到处理后的数据，称为 `特征数据` 。例如单个用户每小时，每天，每周的下单量等。 152 | 153 | 154 | 155 | ###处罚中心 156 | 157 | 负责各种维度的处罚记录和查询，维度包括用户，卡，设备，银行卡号等维度。处罚数据其实也可以看做一种特征数据。维护黑白灰等名单。 158 | 159 | 160 | 161 | ### 验证中心 162 | 163 | 验证码；短信；语音；人脸 164 | 165 | 166 | 167 | ## 运营系统 168 | 169 | ### 审核中心 170 | 171 | 针对处罚后需要用户申诉及客服审核的业务线，需要建设案例库及审核中心来支持。 172 | 173 | 174 | 175 | ### 客服中心 176 | 177 | 客诉；用户反馈 178 | 179 | 180 | 181 | # 三、风控圈子 182 | 183 | ## 行业参考 184 | 185 | 小米：https://toutiao.io/posts/c355w5/preview 186 | 187 | 饿了么：https://blog.csdn.net/gitchat/article/details/78086327 188 | 189 | 美团：美团博客上的后来被删除，估计是太敏感了。不过网上应该都能搜到。 待补充 190 | 191 | 携程：https://mp.weixin.qq.com/s/muufqznNNVidPgamlcurCQ 192 | 193 | ## 风控er 194 | 195 | `同盾` `张新波` http://xinbo.me/ (已不能访问) 196 | 197 | `美团` `唐义哲` http://typd.github.io/pages/about-me.ch/ 198 | 199 | `唯品会` `WalterInSH` https://github.com/WalterInSH/risk-management-note 200 | 201 | 202 | 203 | ## 相关活动及会议 204 | 205 | SACC 2016 互联网安全和风控体系 会议分享(京东、爱奇艺、美团等)：http://safe.it168.com/a2016/1028/3000/000003000971_all.shtml 206 | 207 | 208 | 209 | # 四、风控相关招聘 210 | 211 | ## 准备项(TODO 知识技能可视化) 212 | 213 | ### 项目经验 TODO 214 | 215 | * 经历介绍：背景；展开；总结 216 | 217 | * 使用到的技术点深究 218 | * 实际遇到的问题 219 | * 多线程问题：两次请求由于多线程问题导致获取的特征数据杂乱 220 | * 规划 221 | * 风控提效：基于已有业务场景的不断深耕；对接不断迭代的新业务 222 | 223 | * 想探讨的问题(待思考) 224 | * 风控的本质。自己思考 225 | * 风控的瓶颈 226 | 227 | 228 | 229 | ### 基本素质 230 | 231 | 1.服务开发 232 | 233 | Java技术栈：常见问题准备 234 | 235 | 236 | 237 | 2.数据算法 238 | 239 | - 数据层面 240 | 241 | * 算法层面 242 | 243 | 244 | 245 | ## 面试问题备忘 246 | 247 | 1.规则引擎的准确性 248 | 249 | Q：每个规则都有一个准确率p(p<1)，当多个规则并行判定的时候，准确率就会是p1\*p2\*...\*pn，规则越多，准确率越小？ 250 | 251 | A：不是。多个规则并行判定准确率的乘法计算，是基于各规则独立的假设。事实上，这个独立性假设一般不满足。规则间一般都是有所关联的，例如黑白名单的过滤，规则条件的关联等。 252 | 253 | 254 | 255 | 2.规则更新 256 | 257 | Q：一般规则会经常更新，如何保证规则的更快生效？重启服务，加载规则？ 258 | 259 | A：服务加载规则一般会缓存，这里规则有更新后，推送消息给应用，让缓存失效，重新拉取最新规则 260 | 261 | 262 | 263 | 3.特征计算的代价。懒加载 264 | 265 | Q：风控规则一般涉及到很多数据特征，不同数据特征的计算和获取代价不一样。在策略运行方面一般会做什么样的优化从而可以更快做出决策 266 | 267 | A：逻辑短路的原理。例如规则表达式 (data1 > 10) && (data2 <= 4)，data1的计算代码明显大于data2。则规则表达式可优化为 (data2 <= 4) && (data1 > 10)。这个例子相对比较简单，更复杂的表达式其实也是类似的原理。 268 | 269 | 另外根据时候策略运行的结果和数据特征的关系，可以评估出各数据特征对于决策的重要性，也是一个优化点。 270 | 271 | 272 | 273 | 4.个人工作经历整体抽象总结 274 | 275 | Q：广告推荐；风控 276 | 277 | A：这个问题其实是自己问的自己，很早就有过思考。有点像将发表在不同方向的论文糅合为毕业论文的感觉 278 | 279 | level1 背景简介 280 | 281 | 广告推荐：用户浏览广告/商品，点击，或者还有后面的转化行为。我们的工作则是推荐策略，挑选出合适的广告或者商品，让用户有更好体验，同时后续转化更高。 282 | 283 | 风控：和黑产的不断较量。黑产为了薅羊毛或者传播自身推广信息，在平台上注册，登录，浏览，点击，购买等行为，会和正常用户有很大的区别。风控的目的便是要准确识别这些行为，将这些行为的影响控制到最小。 284 | 285 | level2 抽象点看 286 | 287 | 数据层面：收集各种行为数据，两者都是收集用户的各种行为数据，还有各种扩展维度的数据，例如用户基本信息，关联数据等 288 | 289 | 策略层面：两者都是通过分析用户历史行为数据，找到某种特定的pattern，沉淀为规则策略或者训练出算法模型，然后用于对未来行为预测和分析。 290 | 291 | level3 言简意赅点说 292 | 293 | 分析数据，找到pattern。 294 | 295 | 296 | 297 | ## 招聘信息 298 | 299 | 拼多多：https://www.lagou.com/jobs/3458578.html?source=position_rec&i=position_rec-2 300 | 301 | 302 | 303 | # 五、参考 304 | 305 | 支付宝如何识别骗子：https://www.zhihu.com/question/20669015 306 | 307 | 美团风控架构设计：https://tech.meituan.com/2017/01/13/risk-control-system-experience-sharing.html 308 | 309 | risk-management-note：https://github.com/WalterInSH/risk-management-note 310 | 311 | -------------------------------------------------------------------------------- /meituan_riskcontrol_architure_intro.md: -------------------------------------------------------------------------------- 1 | ref:https://tech.meituan.com/2017/01/13/risk-control-system-experience-sharing.html 2 | 3 | **本文根据“第八届中国系统架构师大会”演讲内容整理而成。** 4 | 5 | 美团最初以团购的形式出现，到现在有了很大的业务形态转变。尤其是经过与大众点评的业务融合，从单一业务发展成了覆盖到店餐饮、到店综合、猫眼、外卖、酒店、旅游等多个垂直领域的综合性电商，并且在各个领域都处于行业领先的地位。在这背后，美团点评不仅面临激烈的行业竞争，还有黑色产业（以下简称“黑产”）带来的各种风险，因为我们的业务有这样一些特点： 6 | 7 | - **品类多、覆盖面广**：包括几乎所有吃喝玩乐服务，其中不乏容易被销赃的品类。 8 | - **用户多、商户多**：美团点评拥有6亿以上用户，400万以上合作商家，覆盖了很大部分国内网民和商户。 9 | - **交易高频**：每日订单峰值突破千万。 10 | 11 | 美团点评对黑产有着巨大的吸引力，归纳起来在这些方面尤其突出： 12 | 13 | - **用户作弊**：大家常说的“薅羊毛”，用户为了骗取促销优惠的作弊行为。 14 | - **商家刷单**：常见的有刷排名、刷销量、刷好评等违反商家平台协议的行为。 15 | - **账户和支付安全**：公民信息盗用形势已经十分严峻，黑产从业者会在电商平台上盗取用户的余额，或使用他人支付信息来消费。 16 | 17 | 这些行为严重侵害平台用户和商户的利益、扰乱正常交易秩序，处理结果的好坏将决定整个业务的成败。所以美团点评需要一套灵活高效的风险控制系统和工作机制来防控这些风险。 18 | 19 | 归纳一下，风控系统面临的挑战有： 20 | 21 | - **业务多、风险点多**：上面提到的风险涉及到各个业务的购买流程、用户操作、商家操作等多个场景。 22 | - **变化快**：黑产的攻击手段升级，自身业务在变化，互联网环境也会不断变化。 23 | - **我在明、敌在暗**：平台在明处，但攻击者是谁、会在什么时候出现、用什么方式进攻却无法预知。 24 | 25 | 接下来就以风控面临的这几个挑战为出发点，介绍我们在系统构建中所取得的经验。 26 | 27 | ### 挑战一：业务多，风险点多 28 | 29 | 回到风控工作的起点，在了解业务所面临的风险类别后，首先要面对的问题就是：怎样才能知道有风险，并且能够控制风险？我们很容易想到，为了做到这些必须与业务系统对接，这部分系统我们称之为“对接系统”，它的目标抽象来说就是：**感知风险**和**控制风险**。 30 | 31 | “**感知风险**”是指要收集尽可能完整的数据。风控需要关注：**谁、在什么时候、通过什么方式、对什么对象、做了什么**？这句话抽象概括了要感知的内容，绝大多数信息都可以套用到这句话。 32 | 33 | 第二个目标是“**控制风险**”。如果仅仅站在防守方的角度看，并不容易知道应该控制哪里；我们应该站在攻击者的角度思考：攻击者关注什么？答案是利益。以美团点评为例，可带来的利益有： 34 | 35 | - **促销优惠**：相关的风险场景有下单、支付、购买、验券等。 36 | - **商家销量和排名等**：涉及购买、搜索、销量展示等页面。 37 | - **用户余额**：即需要控制登录、查看余额等动作。 38 | 39 | 以这样的角度排查，就不容易漏掉风险点。排查清风险点后，实际对接工作也有很大挑战：美团点评的细分业务有100多个，很多业务都有多种用户终端（iPhone, Android，H5，PC等）、多个业务后台（促销工具，商家后台等），需要对接的场景数量很多。所以感知风险、控制风险背后最大的挑战是如何与业务方紧密配合顺利对接。 40 | 41 | 在配合中，业务团队常顾虑因风控需求拖慢业务开发速度，而风控也常感到业务团队配合不足。在配合的问题上，应该先充分认识两个团队合作的目的，就好像生产汽车和生产安全气囊，安全气囊在大多数国家已经是汽车生产销售的必须要求；同理，在现今互联网服务中，安全配备也已经成为了用户体验、业务需求的一部分，一个忽略安全的产品，终究会被市场淘汰。另一方面对风控而言，业务发展是风控存在的前提，如果风控的安全需求影响到业务发展也是不合理的，因此风控要提高服务质量，让对接带来的负担降到最低——这就是对接系统设计的核心目标。 42 | 43 | 总结一下，**风控工作经验一：安全是业务的必要属性，没有安全保障的产品，终究会被市场淘汰； 风险控制要服务于业务，减少业务对接负担。**具体而言，业务接入风控的成本主要有**接入成本**和**运行成本**两方面。下面分别来看我们在风控系统构建中的做法。 44 | 45 | #### 接入成本 46 | 47 | 风控系统最早只是业务系统中的一个函数，逐步演化成了独立的服务。而这个独立服务与业务后台的交互最初时也沿用了旧的思路，即业务后台在关键动作前调用风控服务判断“有没有风险”。但这样每次新增加一个业务或新出现一个风险场景时，风控和业务都要重新对接联调。这样频繁地调整给上下游团队都带来了不小的负担，在频繁的更改中系统质量也难以保证。 48 | 49 | 换个角度看，其实还有更好的交互方式：当风控要保证账户操作环节的安全，可以让用户中心直接与风控系统对接。即业务系统调用用户中心，用户中心再调用风控透传风控所需参数，而风控的决策也通过用户中心返回给业务后台。这样的好处是只需要用户中心与风控对接一次，业务系统甚至不需要明显感知到风控的存在。同样的道理，与商户中心、支付环节的交互也可以采取类似的设计方法。这样的改造相当于把风险控制的“责任”从业务方移交给了中间件，即由中间件来保证提供安全的服务。这样理顺系统模块间的关系，从而降低整体开发成本。 50 | 51 | #### 运行成本 52 | 53 | 业务接入风控系统后，尤其关心运行过程中的是否会有问题。风控系统要尤其关注以下这些方面： 54 | 55 | - 服务稳定性 56 | - 隔离部署：在对接的众多后台服务流程中，哪些是核心流程、哪些是非核心流程，需要隔离开防止相互影响。 57 | - 依赖降级：风控策略需要实时依赖大量外部数据接口和存储，依赖越多稳定性问题发生的概率越大，相应的熔断、降级机制不可缺少。 58 | - 限流防刷：业务尤其是高风险业务随时可能因爬虫、恶意攻击而造成流量突增。系统需要具备识别和拒绝这些恶意流量的能力，而不是放任其消耗业务后台和风控系统的计算资源。为了做到这一点，风控系统不应仅位于业务系统的调用下游，而要在全局流量入口处插入反爬防刷模块来实现整体控制。 59 | - 服务性能 60 | - 风控与业务对接可以大致分为两类： ① 同步控制接口，返回风控决策并由上游实时处理。 ② 异步信息收集接口，主要目的是收集数据提供风控决策依据。异步接口可以显著减少上游服务的阻塞时间。 61 | - 最初风控策略硬编码在代码中，对运行过程的优化也以人为调整代码为主，但策略调整频繁，运行优化无法跟上策略调整，而且策略复杂度提高后，人为优化代码也不再现实，因此需要在运行时动态决定运行策略才能达到最好的优化效果。这点通过规则平台来完成，**将在后文中“规则平台”中介绍**。 62 | - 风控运营 63 | - 风控策略不可能做到完全精确，为了降低业务损失很多情况下要以牺牲一部分用户体验为代价，因此完善的用户运营保障不可或缺。这在后文的“运营系统”中会提到。 64 | 65 | ### 挑战二：变化快 66 | 67 | 具备感知风险和控制风险的能力后，**实现风控策略**就是第二个关键问题。最初的策略可以很简单，比如此时我们认定：“穿黑衣服的是坏人”。类似策略运行一段时间后会出现有意思的现象：“坏人会逐渐换上其他颜色衣服”。这也很好理解，攻击者不会持续做无效的攻击浪费资源，而是会转向其他进攻手段。这样旧策略反而只会影响到一部分正常用户——观察到的结果是策略准确率下降。这样的情况无法避免，因为——**风控工作经验二： 风控是一项长期的对抗性工作。** 68 | 69 | 那么我们首先要加强**策略健壮性**。还用上面的例子，攻击者很容易发现后台针对黑衣人的策略。但如果策略复杂一些，识别“穿黑衣服而且戴黑帽子的人”有问题，那么策略被暴露的概率就低了很多。但这会影响策略的覆盖面，所以需要更多的策略形成策略网共同作用。假设极端一点，把能想到的识别要素都用上，制定策略也就变成了模型训练问题，通过机器学习来制定策略会有更好的健壮性。不过这只是理想情况，现实并没有这么乐观。风控所面对的真实场景中正样本和负样本数量差距悬殊，而且攻击模式在持续变化，导致这并不是稳定的算法问题。所以实际工作中人工介入制定专家规则并与算法策略结合使用是更有效的方法。 70 | 71 | 涉及到长期对抗的工作，**效率高低**将是对抗效果的决定性因素。风控需要多种角色配合，典型如：开发者建设系统、策略制定者制定规则策略、产品角色把策略应用到合适的场景。让这些角色并行不悖就是工作的理想高效状态。“规则平台”就是我们用来达到这一状态的秘密武器。 72 | 73 | #### 规则平台 74 | 75 | 为了解耦**系统开发**和**策略开发**，需要让策略执行过程标准化。我们把策略划分成几个层次： 76 | 77 | - **场景**：对应规则集合，一个场景包含若干条规则。 78 | - **规则**：是最小的决策单元，一个规则包含多个因子。 79 | - **因子**：因子是组成规则的最小逻辑单元。 80 | 81 | 上下两层之间都是多对多的关系。这样划分后，所有策略都套用标准化的执行过程，并能达到最大程度的配置复用。此外还有一个好处，就是将策略配置从代码中抽离。旧的策略执行过程是用硬编码预先编写好，对执行过程代码调优十分复杂，即使调优也只能针对特定的策略配置。如果策略改变了，原来的优化可能就不再适用。通过配置执行策略后，执行过程也变成动态的。具体来说，运行时会根据请求来决定需要计算哪些场景、规则和因子，每个元素计算且仅计算一次，没有相互依赖的部分放入多个线程并行处理。通过这样的优化，效率和性能得到大幅度提高。 82 | 83 | 再看**策略开发**和**决策应用**。最初实际工作中这两者耦合在一起不加区分，即针对特定场景开发特定策略。逐渐暴露出一些问题，比如场景会变化、会新增，那原有的策略是否还适用？一个策略是否只能使用固定的决策动作？为了让这两部分工作并行，需要从设计定位上就把两者区分开。即： 84 | 85 | - **策略**：是为了识别一些特定的问题，例如“是不是模拟器请求”，“该用户是不是新客”。 86 | - **决策**：是针对场景的应用，如拒绝、验证手机短信等。 87 | 88 | 规则平台设计让每个场景可以应用不同策略，命中策略后的决策也可以灵活定制，甚至可以配置多个决策，并设置不同优先级。 89 | 90 | #### 验证中心 91 | 92 | 上文中的“决策”代表系统是否信任该请求，风控背后的工作也围绕这个“信任”而展开。拒绝不信任的，放行信任的。但还有不少情况是中间不足以确定的部分，常见的处理方法是需要让用户补充验证信息来辅助判断。最初实现的验证流程是：风控服务识别风险后返回决策给业务系统，由业务系统实现验证的完整交互过程。这样存在两个问题： 93 | 94 | - 首先业务方很多，不同的业务需要重复实现验证流程，造成重复开发。 95 | - 其次验证种类有很多，从较弱可信度的短信验证，到较高可信度的银行卡验证等——风控能返回什么样的决策受限于特定场景业务方的实现了什么验证支持。 96 | 97 | 这些问题对于业务和风控系统造成了不小麻烦。所以我们需要优化这一过程，让验证过程由一个独立的服务——验证中心来完成。业务系统从风控服务获得风险决策，再与验证中心交互完成验证。从风控的角度看，以前的处理方式称作“只管杀，不管埋”，优化后可以称之为“杀埋一条龙服务”。 98 | 99 | 除了规则平台、验证中心，我们还抽象出了累计服务、处罚中心、算法平台等服务来提升风控对抗效率。 100 | 101 | ### 挑战三：我在明，敌在暗 102 | 103 | 风控与黑色产业的对抗有个天然的不利因素，就是风控团队需要防御所有短板，而对手只需要找到薄弱的环节进攻。面对进攻，我们可以建立相对完善的实时策略体系和工具系统，但如果仅寄希望于实时策略解决所有问题也是不现实的。即使策略再优，黑产、业务、环境都在变化，仍然可能留有漏洞，或者陷于疲于应付的境地。这样的现实需要风控团队视角更宽广一些——**风控工作经验三：要从事中防守扩展到立体事前、事中、事后防御。** 104 | 105 | 在风险事前，要注意提升防御能力，减少防御短板： 106 | 107 | - **风险教育**：在快速发展的业务中，风险控制的核心在于人，要将风险意识和基本概念传递到业务的各个阶段，明确告知风控可以提供的服务。 108 | - **参与业务**：参与到业务的产品流程中，了解高风险业务、活动的规则，预判风险并给予合适力度的干预。 109 | - **数据准备**：打通数据收集流程，制定预警规则、模型策略等。 110 | - **主动防护**：关注业界风险动态，发生行业安全事件后，或重大活动、产品改动上线前，制定有针对性的规则，甚至采取锁定高危账户、发送预警消息等措施。 111 | 112 | 在风险事后，要快速响应，灵活管控。客户投诉是风控了解策略效果的最重要指标之一。 针对风险场景，风控还要主动关注异常数据，实现“预警”监控。这些反馈都会进入**运营工作流**做处理。 运营工作流中，尽管各风控产品具体流程不同，都可以划分为初步受理、核查审理、案件处理三个步骤，对应着以下三个系统。 113 | 114 | - **初步受理**：主要用作初步筛选案件，决定是否需要进入下一步骤。其流程较为简单，系统的设计目标是让风控运营人员可以便捷的处理案件，因此处理效率是其中的重要衡量指标。 115 | - **核查审理**：用于详细核查案件，通常有多步骤流程，不同角色以其专业视角做判断。核查过程中需要大量数据支持和处理系统支持，因此有了**运营支持系统**。 116 | - **案件处理**：确认且涉及到资金损失的案件需要进入赔付流程。因为涉及到资金赔付，精确的权限管理是系统设计和实现时需要特别注意的问题。 117 | 118 | 运营平台的意义不仅在于处理案件本身，更在于将处理结果反馈到线上系统中实现风控线上和线下的运行闭环。除了运营平台，逆转信息劣势还要靠完善的数据体系的帮助。风险控制所使用的数据可以这样分类： 119 | 120 | - **事件快照**：原始而完整的信息，用于生成聚合数据，也是支持运营查询的主要数据源。 121 | - **聚合事实**：相比于原始的事件记录，更多使用场景更关心聚合的结果，例如某用户、某商家的历史购买次数。经过聚合整理后的数据，是进一步数据挖掘的基础。 122 | - **衍生信息**：指基于事件快照和聚合事实衍生出的理解信息，例如用户的作弊风险、设备的可信程度、黑白灰名单等。这些衍生信息可以适配到各个特定场景中使用。 123 | - **基础数据**：除了直接传递到风控的数据外，风控处理过程少不了需要业务甚至是外部的辅助信息。例如，业务相关订单和活动信息、公认的事实数据、外部辅助决策信息等。 124 | 125 | ### 小结 126 | 127 | 把上面三部分融合起来，可以看到风控系统的全景： 128 | 129 | ![风险控制系统](https://awps-assets.meituan.net/mit-x/blog-images-bundle-2017/7a6efb86.png) 130 | 131 | 风险控制系统 132 | 133 | 134 | 135 | 从上文三条风控工作原则可以看到，风控系统构建过程各个阶段的关注点从对接质量，到平台效率，再过渡到立体的闭环防御。但即使系统发展到了相对成熟的阶段，与黑产的斗争也远没有结束。为了更好的对抗，我们要从对手身上学习： 136 | 137 | - 黑产链条经过长时间的实战优化，分工极为细致。风控团队也应该学习这样的思路，将服务功能切分到细粒度以更好适应变化。 138 | - 黑产对利益极为敏感，甚至很多时候比业务开发者还要了解业务。风控团队只有比对手更了解“主场”——也就是自身业务，才有可能在对抗中取得主动。 139 | 140 | 如果把风险控制比喻成一场战争，还可以从军事理论中得到借鉴。《孙子兵法‧谋攻篇》中的一段描述就十分贴切：“知可以战与不可以战者胜，识众寡之用者胜，上下同欲者胜，以虞待不虞者胜，将能而君不御者胜。此五者，知胜之道也。”类比到风控工作中，风控团队需要考量： 141 | 142 | - 控制风险是否现实 143 | - 团队人才质量和数量是否足够 144 | - 团队价值观是否统一 145 | - 对风险是否足够了解 146 | - 是否得到上层支持 147 | 148 | 这五点就是风控工作的取胜之道啊。 -------------------------------------------------------------------------------- /meituan_riskcontrol_rule_engine.md: -------------------------------------------------------------------------------- 1 | ref: https://tech.meituan.com/2020/05/14/meituan-security-zeus.html 2 | 3 | 4 | 5 | **|** 在互联网时代，安全已经成为企业的命脉。美团信息安全团队需要采用各种措施和手段来保障业务安全，从而确保美团平台上的用户和商户利益不会受到侵害。 6 | 7 | 本文主要介绍了美团在打造自有规则引擎Zeus（中文名“宙斯”）的过程中，信息安全团队遇到的挑战以及对应的解决方案，并分享了很多踩过的坑，同时还有一些思考和总结。希望对从事安全领域相关工作的同学能够有所启发或者帮助。 8 | 9 | ## 背景 10 | 11 | 美团App每天都面临着各类的欺诈、盗号、作弊、套现以及营销活动被恶意刷单、恶意抢占资源等风险。而业务安全团队采用的主要措施和手段就是在业务请求中识别出谁、在什么时间、通过什么方式、做了什么事。这个识别逻辑的制定过程叫做策略的生产。同时，还要对已经完成生产的策略进行快速的验证和落地，以防止风险变化后策略失效。从发现风险经过策略生产、验证，再到最终的落地部署，全流程的处理速度和效果将决定整个业务的成败。 12 | 13 | 在业务发展初期，我们可以通过硬编码的方式将风控逻辑部署在业务逻辑中实现，但美团的业务比较复杂，从最初的团购形式，经过与大众点评、摩拜、猫眼等业务的融合，发展到涵盖餐饮、到店、猫眼、外卖、金融、酒店、旅游、大交通等多个垂直领域。随着业务的快速发展，适用于初期的硬编码方式出现了策略分散无法管理、逻辑同业务强耦合、策略更新迭代率受限于开发、对接成本高等多种问题。此时，我们需要有一套可配置化的规则管理平台，进而实现风控策略与业务解耦、快速部署、验证。 14 | 15 | 但规则引擎的建设初期，会面临着各种困难和挑战，主要包括以下几个方面： 16 | 17 | - **在业务层面**：垂直领域多，包含几乎所有的吃喝玩乐服务。美团细分业务多达百个。服务用户角色多（用户、商户、供应商、渠道商），交易频率高，日订单量大。 18 | - **在风险层面**：存在用户作弊、商家刷单、账号盗用冒用、支付和信贷等多种风险。 19 | - **在企业外部环境层面**：黑产已形成自下而上的产业链，攻击方式升级比较快速。 20 | 21 | ![img](https://p0.meituan.net/travelcube/918026311a0be5acc5e2291c719e9d6e86376.png) 22 | 23 | 针对以上这些挑战，我们打造了自有的规则引擎 Zeus（中文“宙斯”，来源于“宙斯盾”作战系统的启发，期望规则引擎平台能同“宙斯盾”一样成为先进的中央作战决策系统，实现对风险的精准、高效打击）。 24 | 25 | 下面，我们就来具体介绍一下，美团信息安全团队在系统构建过程中面临的挑战以及对应的解决方案。 26 | 27 | ## 挑战与方案 28 | 29 | ### 1. 业务多-接入成本高 30 | 31 | 规则引擎最早只是业务系统中的一个函数，逐步演化成了独立的服务。而这个独立服务与业务后台的交互是单点方式，即业务后台在关键动作节点前调用规则引擎，判断“有没有风险”。但这样每次新增加一个业务或新出现一个风险场景时，规则引擎和业务都要重新进行对接联调。频繁地调整给上下游团队都带来了不小的负担，而且在频繁的更改中，系统质量也难以保证。如何便捷、快速地实现业务接入是系统设计的核心目标之一。 32 | 33 | 在接入成本上，一次性集中接入往往是最便捷的方式。因此我们选择在每个业务都会通用节点接入规则引擎，例如：用户中心、商户中心、订单中心、收银台等均为各类业务的通用节点，规则引擎同这些通用节点对接，业务在调用通用节点时，通用节点调用规则引擎即可完成业务的接入。 34 | 35 | ![img](https://p0.meituan.net/travelcube/add97f5cf54a6ea8d00637eee6502cd8118704.png) 36 | 37 | 随着美团业务和场景种类的增多，现在也存在不经过通用节点的业务。因此，我们需要提供通用的接入接口，目前业务侧直接调用一个独立服务接口即可获得风控判断。 38 | 39 | ### 2. 风险点多-逻辑复杂、逻辑复用 40 | 41 | 风险点多且业务多，进一步增加了场景、策略逻辑的复杂度。表达式语言可支持的逻辑计算范围有限，复杂的逻辑若仍通过硬编码实现，会存在效率低、不易复用等问题。 42 | 43 | 受模块化思维启发，我们将复杂的逻辑封装成模版，实现配置化，并支持逻辑复用。这样就大大提升了规则引擎可实现的逻辑范围。目前，我们已经建设的几类常用的封装逻辑如下： 44 | 45 | 1. 扩展函数：主要用于数据格式的提取和处理，比如字符串、数组等格式转换、数据提取等。通过扩展函数功能，对业务侧数据格式要求大大降低，也降低了业务侧数据处理的负担。 46 | 2. 累计因子：在业务中会高频使用到与累计相关的逻辑。例如，在登陆、下单、支付等事件需要同IP的UserID进行计数计算，计算结果作为特征引用在规则中。规则引擎引入了内部研发的高效事件计数服务，实现累计通用逻辑的封装，比如支持累计周期、计数/求和/最近几次、累计值等计算逻辑配置化等等。 47 | 3. 决策表因子：部分业务中需要引擎处理的判断条件较多，各条件又相互组合，存在多种决策方案的情况，这就需要用精确、简洁的方式来描述这类复杂逻辑。在低频使用时，我们可以通过硬编码的case-when、if-else等语句实现，但在实时性和配置化上不尽人意。最终，我们通过决策表将多个独立的条件和多个动作直接地联系、清晰地表示出来，并实现了逻辑的封装。 48 | 4. 名单库因子：与名单库联动过程中，将查询名单的逻辑进行封装。 49 | 5. 工具因子：将一堆规则进行打包形成大的逻辑集合，并对组成的规则设置评分。在执行时输出评分结果并实现跨场景、跨业务应用，同时将大逻辑进行“黑盒”处理，简化逻辑复用时的配置、沟通成本。 50 | 51 | 风险点多的另一个挑战点是在多业务中会存在同质性，即制定的风险策略是可复用的。当一百条规则需要复用在几十个场景中，逐个配置的效率太低，不仅一致性难以保障，后续的修改也是问题。同时又衍变出部分复用、部分差异化，让业务直接复用场景行不通。因此，我们引入【规则组】的概念，将规则聚类管理。比如众包识别规则组、虚假设备规则组、涉黄内容识别规则组等。业务在应用时，可在自己的场景中进行差异化的应用。 52 | 53 | ### 3. 风险变化快、长期对抗-效果验证速度 54 | 55 | 当外部风险变化时，风控的对抗也需要及时响应，这是一个争夺“主导权”的比赛。风控通过对不同阶段的组合打击，实现策略的健壮性，包括用于识别有没有风险的基础对抗阶段、引导节奏混淆视听的“短平快”阶段、诱敌深入的“高精尖”阶段。对应系统需要支持不同阶段的策略配置、迭代和验证需求。而在策略迭代和部署阶段，需要特别注意因配置错误导致的误命中问题。 56 | 57 | 参考开发环境分类：测试环境、预发布环境和生产环境。规则引擎在规则的部署和迭代上，可通过标记、双跑和回溯功能，我们通过应用实时线上流量和历史数据来验证策略的有效性。 58 | 59 | - 标记：规则在场景中的状态，标记状态的规则逻辑将灰度执行，即：与生效规则类似会实时执行，但决策信息不实时返回给上游业务方，不影响决策。同时用户可在实时日志查询中查看标记规则的命中情况。 60 | - 双跑：规则在场景中的状态，双跑状态的规则逻辑将灰度执行，但仅会出现在修改生效规则、因子（因子修改导致引用规则的逻辑执行变化）时，才会存在的状态。 61 | - 回溯：规则在场景中的状态，回溯状态的规则逻辑将灰度执行，但仅使用回放的历史数据。 62 | 63 | 通过这些功能，可以降低策略迭代的风险，缩短策略部署上线的时间周期。 64 | 65 | ## 思路总结 66 | 67 | 在确认清楚挑战和解决方案之后，规则引擎的整体建设思路就已经形成了。现今，规则引擎随着业务的快速扩张，由一个内部系统逐渐发展为服务多个风控团队的公共平台。 68 | 69 | 从初期主要围绕风控防控痛点进行搭建的表达式服务包，升级到配置化平台，在配置效率和执行效率也得到了很大的提升。同时，随着人工智能技术的应用和风控对抗进入白热化，规则引擎也将从配置化快速迭代至自动化、智能化。 70 | 71 | ![img](https://p1.meituan.net/travelcube/62986129d6dc5a769d8ddd6804422ecc207425.png) 72 | 73 | ### 1. 确定核心快速论证、快速落地 74 | 75 | 在系统建设中，进行了充分的论证后就需要快速落地，避免因长项目周期需求发生裂变而导致不可控。在初期，我们已经建立了aviator表达式服务包并稳定服务。因此，配置化平台搭建时仍基于表达式语言，引入场景、规则、因子、决策等概念搭建，将策略的执行分为执行层和计算层。 76 | 77 | ![img](https://p1.meituan.net/travelcube/2279042e57efa8c505949c43e6301b4d231396.png) 78 | 79 | **执行层**：通过场景获得一堆规则集合，规则执行完成后将其结果和对应的决策返回。 80 | 81 | **结果和**：在规则执行时会进行其构成因子计算。 82 | 83 | ### 2. 根据角色，进行定向提效 84 | 85 | 规则引擎搭建的初衷之一是提升风控对抗的整体效率。在对抗过程中，我们需要各种角色配合，例如开发建设系统、策略制定者、策略使用者和风险用户等，因此需要针对各类角色定向开展提效工作。 86 | 87 | **（1）风险用户处理提效（风险用户）** 88 | 89 | 业务已经可以实时获得风控的决策，但发现风险用户会在很多场景下重复攻击。对这类用户的处理，除了对当次行为阻断，还要阻断其未来的行为，因此就有名单管理的诉求。我们通过与名单库的联动，提升该类用户的处理效率。 90 | 91 | 例如：在美团金融项目场景下，严重逾期的用户会加入禁贷名单，再次申贷时取消其贷款资格。 92 | 93 | ![img](https://p0.meituan.net/travelcube/6d36018f3de4a80cea26adc92f3e7d81136898.png) 94 | 95 | **（2）业务接入提效（业务方）** 96 | 97 | 除了上面介绍的统一接入外，还有一种常见的情况：业务无法在发起请求时就将执行所需要的全部参数准备好，此时就需要引擎能主动获取外部数据。针对这类情况，规则引擎通过数据接口的方式实现了外部数据的补充，在策略执行时根据计算需要动态获取相关的参数。在实现与外部数据联动的功能后，大大降低了使用规则引擎业务方数据准备阶段的压力，从全部参数准备简化为仅提供核心参数即可，剩余参数按需引擎自行调度即可。 98 | 99 | ![img](https://p0.meituan.net/travelcube/91a63763d69fb89c95cbdb6df3644def140568.png) 100 | 101 | **（3）策略管理提效（产品）** 102 | 103 | 策略产品是规则引擎的主要用户，主要的工作流程是围绕策略管理、分析、验证进行提效。如何管理大量的规则和应用场景？怎样快速验证策略有效性、评估误伤率？客诉反馈问题，如何快速还原规则命中情况？针对这些维度，我们分别提供不同的产品功能进行提效。 104 | 105 | - 在策略管理层面，可通过规则组方式、因子工具等，进行同类规则集合的管理、打包和复用。 106 | - 在规则分析层面，可通过实时查询规则的执行详细数据和将规则执行流程进行回放提升分析效率。 107 | - 在策略验证层面，提供标记、双跑和回溯提升策略验证速度。 108 | 109 | **（4）工程效率提效（工程师）** 110 | 111 | 复杂的逻辑且具有通用性就可以对特征逻辑封装，避免工程师重复进行逻辑开发工作，释放出的开发资源可以进行其它维度的提效。 112 | 113 | **（5）算法/模型接入提效（算法工程师）** 114 | 115 | 当对抗升级时，策略的产生者由人变为算法/模型。而机器的生产效率远远高于人，人工搬运算法/模型会成为迭代效率的瓶颈，怎样跟算法、模型平台进行快速联动呢？最简单、快速的方式就是使用引擎提供的外部数据联动方式，将模型结果包装成数据接口使用。但在实践过程中，我们发现模型的出入参数较多且存在变化，整体的配置化效率低，模型应用和迭代频率受限制。公司内部提供的深度学习还是算法工程平台，目前主攻计算、训练等场景，在上下游应用提供标准化的数据产出，但无法同类似引擎的平台对接。 116 | 117 | 因此，仅聚焦在引擎与算法平台的联动上，可通过建设调度模块实现：1.训练样本预处理–>2.算法平台对接–>3.自动化生成接口–>4.自动注册接口/策略至引擎–>5.评估任务启动–>6.评估结果处理（策略上下线、样本数据沉淀）–>1.训练样本预处理的闭环流程。 118 | 119 | ![img](https://p1.meituan.net/travelcube/186978f387bab20e7e47f5aab48a0f9e118402.png) 120 | 121 | ### 3. 发现问题、横向扩展、兼容更多场景 122 | 123 | 随着引擎在多业务场景的应用，我们发现几个实时引擎不好处理的场景。比如拉新场景，需要结合“注册+登陆+交易”等多种行为来判断是否有“薅羊毛”等黑灰产行为，需要将很多事件放到一起去综合判定。当发现风险时，或在当前时间点漏过的变异风险在发现之后，需要对历史数据进行回捞，这些在实时引擎中都不太好实现。当前已有的异步引擎也无法很好地进行覆盖。为了避免做“重复造轮子”的事情，团队充分地讨论了实时、异步和离线引擎的定位和服务边界。 124 | 125 | ![img](https://p1.meituan.net/travelcube/9fc2424d1203f450f92fd1e568cd6aeb149087.png) 126 | 127 | ![img](https://p0.meituan.net/travelcube/828a114aeee040dec9cdcddd9c08b6d4234176.png) 128 | 129 | 在实时引擎已经覆盖的逻辑基础上，我们引入新的封装逻辑-个体因子，全局因子实现SQL语句的配置化管理，进而实现批量累计、聚合特征的计算，比如：近一年某商家的平均下单金额，近30天商户大盘下单均值，标准差等批数据的复杂逻辑。并基于Spark和实时引擎底层，实现多流和批数据的处理，解决上述场景无法处理的一些问题。 130 | 131 | ### 4. 业务实践结果 132 | 133 | **交易安全** 134 | 135 | 策略产品在日常工作中，通过对业务分析发现风险、挖掘风险特征并应用在策略中。通过Zeus实现策略的部署和应用，大大降低了业务风险，提升风险防控效率。例如：在某业务地推场景中发现B、C端联合刷单风险，以返利、送赠品收到诱骗下单。 136 | 137 | ![img](https://p1.meituan.net/travelcube/1f38c31f49b91562fa915787d0c3cef0314543.png) 138 | 139 | **金融安全** 140 | 141 | 金融风控主要有反欺诈和信用安全。反欺诈同业务安全在策略形态上相同，都是判断有无风险，在决策结果上是通过和拒绝。因此，通过普通决策即可满足业务需求。 142 | 143 | 但信用安全会比前两者复杂一些，在决策上，除了通过和拒绝外，对于通过的请求要进行分层实现金融的差异化定价。因此，需要在规则引擎中引入更多功能，来满足业务需求。主要包括： 144 | 145 | - 路由场景：可支持多层，决策流模式，即一堆规则的集合，支持按照逻辑进行分流，满足指定条件可以指定走向在每个节点进行条件设置，实现最终流向。例如：对于某分期场景用户申请一笔贷款，需要经过欺诈识别、信用评估后方可给出最终的额度、定价。 146 | - 决策衍生参数：适用于复杂的多级路由决策场景Key-Value型数据，在决策中指定衍生参数信息从而在路由场景中产生全局传递变量，比如：流转过不同的场景需要将用户进行等级分类。 147 | - 决策附加信息：适用于复杂决策场景Key-Value型数据，在决策中指定附加信息从而实现更多决策信息的计算及返回，比如：加入风控名单库，加入什么风险类型、风险等级、名单类型。 148 | 149 | ![img](https://p0.meituan.net/travelcube/8c59ad9caf2ba3cb3ff6696dee32ee2e217791.png) 150 | 151 | ## 未来发展与思考 152 | 153 | 目前规则引擎正处于配置化阶段，正在向自动化、智能化的阶段发展，从而不断提升策略的管理和迭代的速度。但业务间的智能化诉求和进程不同，平台可以提供更多集成托管服务，从而提升各业务的智能化覆盖度。 154 | 155 | 其次，引擎仍然存在无法处理的几个问题： 156 | 157 | 一些长时间周期特征无法快速应用的问题，例如近一年的时间周期。如何将离线引擎和实时引擎在特征计算上组合，实现特征的快速生产、验证和应用，从而扩展引擎的计算能力范围、提升风控业务的对抗效率。 158 | 159 | 当前引擎的接入对非复杂逻辑需求的业务就比较重。而接入成本是各业务接入时重点评估的因素，如何实现快速、低成本的业务接入（包括技术接入和人员操作接入），考虑提供模块化的引擎计算服务能力适用于各类业务诉求，实现按需接入，比较“臃肿”的全局接入会更快速和便捷。但这种在引擎侧怎样更好地管理这些模块，也是一个挑战。 160 | 161 | 最后，业务流量和策略的增长速度仍在高速增长，引擎的稳定性和策略管理效率也需要持续提升。 162 | 163 | ## 踩过的坑 164 | 165 | ### 1. 如何实现产品功能高聚合架构上低耦合 166 | 167 | 规则引擎建设时兼容各类业务场景，具备了极高的灵活性，同时自身也相对复杂。从顶层的路由场景到底层的参数（路由场景-场景-规则组-规则-决策-因子-参数-数据接口-参数）每一个节点、节点间都是由用户配置的，在产品上期望用户的操作流程是连贯的，在一个操作流程中解决尽量多的问题。系统架构上，包括配置层、执行层、计算层、数据获取层等，各层之间相互依赖，对最终引擎的输出结果负责，底层上需要尽量的解耦合，才将降低单模块对引擎的影响。但在实践中，随着业务诉求的增多，慢慢就出现来产品上的低耦合、架构上的高耦合情况。 168 | 169 | **例如**：在用户修改生产策略时的强制更新流程优化项目中 ，就涉及了这个问题。在产品功能上用户修改策略–>双版本策略并行执行–>两版本数据核验–>修改完成；但在系统架构上，上述的产品流程就产生了系统架构高耦合，即生产修改双版本问题，配置层、执行层、计算层高度耦合。项目一期上线后在性能上、后续功能扩展性上都有瓶颈。随后，技术项目优化配置层的缓存模式，采用增量更新方式。产品功能上增加用户进入修改模式后修改。重新立项后，实现了用户修改流程闭环、系统架构上仅配置层兼容双版本，执行层和计算层无耦合。 170 | 171 | 因此，在产品功能设计上除了用户闭环操作外，还需要考虑是否低耦合。在技术优化时需要前瞻性的开展去耦合项目。 172 | 173 | ### 2. 如何平衡系统复杂度与业务需求 174 | 175 | 随着接入业务的增多，又需要兼容新业务定制化需求，就面临这一个问题：定制化的功能不具有通用性，大量定制功能将加重平台的复杂度。这个问题一直困扰引擎建设团。，目前，我们采用的也许不是最优但比较有效的办法。主要通过定、判、看Gap，将业务需求转化为系统模块升级功能和非系统功能： 176 | 177 | - **功**：重新定义“定制和通用”。在现实中有些定制化需求其实是业务速度已经远远领先于其它业务，所有需求看上去是定制化，实际上是未来可预见性的问题。 178 | - **未**：将业务需求进行分类，判断需求是针对主干流程还是分支节点。 179 | - **看Gap**：需求同当前建设情况比对差距。 180 | 181 | 对于系统模块升级功能，可逐个完成。对于非系统功能，可通过提供公共对接服务的外挂来实现。 182 | 183 | ### 3. 特别需要“防呆”设计 184 | 185 | 人工操作会存在各类误操作引起的风险问题，在产品设计上，用户操作简洁的初衷是好的，但需要增加防止错误发生的限制方法。在实践中这些“防呆”设置大大降低了人工误操作Case，例如： 186 | 187 | - 业务高峰期封版—>禁止业务高峰期时变更策略。 188 | - 降低无逻辑验证的误伤情况–>策略上线前，强制标记验证执行是否符合业务预期；修改生产上应用的策略，强制双跑验证修改后的逻辑执行是否符合业务预期。 189 | - 降低逻辑配置错误几率–>策略部署时强制测试逻辑正确性。 190 | - 惯性操作–>验证数据结果强制回填等。 191 | 192 | ### 4. 产品功能最佳实践的意外惊喜 193 | 194 | 要承认一个事实就是，最了解功能使用的可能不是规则引擎的产品经理。在规则引擎的建设中出现了这样的”惊喜”，例如： 195 | 196 | 1. 规则组功能建设初期目标是实现规则的高效管理、复用。在A业务场景基于规则组除实现规则的高效管理、复用外，还实现了决策计算。但这种用法在随着其业务的发展复杂度增加，已经不再利于策略高效管理，目前还在寻找更优的解决方案。 197 | 2. 累计因子的功能是将对多条请求进行计数或求和逻辑进行封装。B业务基于上述功能上还是实现了事件行为记录、多事件时序性累计和拦截行为的累计。目前在其业务下广泛使用并有效地识别了跨事件风险。 198 | 199 | 总结而言，做好业务定期应用回访和应用监控是非常有必要的。 200 | 201 | ## 招聘信息 202 | 203 | 美团信息安全部正在招聘实习生，业务方向包括：安全\后端开发\机器学习算法\自然语言处理\风控策略\数据开发\Web前端\测试开发\产品经理\产品运营\安全与隐私合规等。工作地点：北京/上海。欢迎感兴趣的同学发送简历至：tech@meituan.com（邮件标题注明：美团信息安全团队） --------------------------------------------------------------------------------