├── .github └── FUNDING.yml ├── .gitignore ├── Document.md ├── LICENSE ├── README.md ├── pom.xml └── src ├── main └── java │ └── com │ └── magic │ ├── db │ ├── CustomSqlUtils.java │ ├── MagicDBUtils.java │ ├── SingleTableUtils.java │ ├── conversion │ │ ├── ConditionBuilder.java │ │ ├── SqlBuilder.java │ │ └── SqlConversion.java │ └── model │ │ ├── Condition.java │ │ ├── PageModel.java │ │ ├── PageParamModel.java │ │ └── SqlBuilderModel.java │ ├── processing │ ├── MagicDataProcessing.java │ ├── commons │ │ ├── enums │ │ │ ├── ConcurrentTaskResultEnum.java │ │ │ └── ProducerAndConsumerEnum.java │ │ └── helper │ │ │ └── ProcessingHelper.java │ ├── concurrent │ │ ├── collection │ │ │ ├── ConcurrentCollectionAsync.java │ │ │ ├── ConcurrentCollectionGroupRunner.java │ │ │ ├── ConcurrentCollectionRunner.java │ │ │ └── ConcurrentCollectionSync.java │ │ ├── map │ │ │ ├── ConcurrentMapAsync.java │ │ │ ├── ConcurrentMapGroupRunner.java │ │ │ ├── ConcurrentMapRunner.java │ │ │ └── ConcurrentMapSync.java │ │ └── task │ │ │ ├── ConcurrentTaskCall.java │ │ │ └── ConcurrentTaskSync.java │ └── pac │ │ ├── MagicConsumer.java │ │ ├── MagicProducer.java │ │ ├── MagicProducerAndConsumerManager.java │ │ └── TaskData.java │ ├── properties │ ├── MagicProperties.java │ ├── cache │ │ └── PropertiesCacheManager.java │ ├── enums │ │ └── ReadMode.java │ └── load │ │ ├── LoadProperties.java │ │ └── PropertiesEach.java │ └── util │ ├── CollectionUtils.java │ ├── JSONUtil.java │ ├── MapsUtil.java │ └── StringUtils.java └── test └── java └── com └── magic └── demo ├── db └── SqlBuilderTest.java ├── json ├── TestEntity.java ├── TestEntity2.java └── TestJsonUtil.java ├── processing ├── concurrent │ ├── collcetion │ │ ├── DemoAsyncProcessingCollection.java │ │ └── DemoSyncProcessingCollection.java │ ├── map │ │ ├── DemoAsyncProcessingMap.java │ │ └── DemoSyncProcessingMap.java │ └── task │ │ └── DemoConcurrentTaskSync.java └── pac │ ├── DemoConsumerOne.java │ ├── DemoConsumerThree.java │ ├── DemoConsumerTwo.java │ ├── DemoProducerOne.java │ ├── DemoProducerTwo.java │ └── ProducerAndConsumerDemo.java └── properties └── MagicPropertiesDemo.java /.github/FUNDING.yml: -------------------------------------------------------------------------------- 1 | # These are supported funding model platforms 2 | 3 | github: # Replace with up to 4 GitHub Sponsors-enabled usernames e.g., [user1, user2] 4 | patreon: # yuyenews 5 | open_collective: # Replace with a single Open Collective username 6 | ko_fi: # Replace with a single Ko-fi username 7 | tidelift: # Replace with a single Tidelift platform-name/package-name e.g., npm/babel 8 | community_bridge: # Replace with a single Community Bridge project-name e.g., cloud-foundry 9 | liberapay: # Replace with a single Liberapay username 10 | issuehunt: # Replace with a single IssueHunt username 11 | otechie: # Replace with a single Otechie username 12 | custom: ['https://afdian.com/a/magicianio','https://magician-io.com/sponsor/sponsor.html','https://www.paypal.me/yuye666'] 13 | -------------------------------------------------------------------------------- /.gitignore: -------------------------------------------------------------------------------- 1 | target/ 2 | !.mvn/wrapper/maven-wrapper.jar 3 | !**/src/main/**/target/ 4 | !**/src/test/**/target/ 5 | 6 | ### IntelliJ IDEA ### 7 | .idea/modules.xml 8 | .idea/jarRepositories.xml 9 | .idea/compiler.xml 10 | .idea/libraries/ 11 | *.iws 12 | *.iml 13 | *.ipr 14 | 15 | ### Eclipse ### 16 | .apt_generated 17 | .classpath 18 | .factorypath 19 | .project 20 | .settings 21 | .springBeans 22 | .sts4-cache 23 | 24 | ### NetBeans ### 25 | /nbproject/private/ 26 | /nbbuild/ 27 | /dist/ 28 | /nbdist/ 29 | /.nb-gradle/ 30 | build/ 31 | !**/src/main/**/build/ 32 | !**/src/test/**/build/ 33 | 34 | ### VS Code ### 35 | .vscode/ 36 | 37 | ### Mac OS ### 38 | .DS_Store 39 | 40 | .idea 41 | .idea/ -------------------------------------------------------------------------------- /Document.md: -------------------------------------------------------------------------------- 1 | # Magic 2 | 3 | ## 运行环境 4 | 5 | JDK17+ 6 | 7 | ## 初始化配置 8 | 9 | ### 导入依赖 10 | 11 | ```xml 12 | 13 | com.github.yuyenews 14 | Magic 15 | 1.0.3 16 | 17 | ``` 18 | 19 | ## 并发处理任务 20 | 21 | ```java 22 | MagicDataProcessing.getConcurrentTaskSync() 23 | .setTimeout(1000) // 超时时间 24 | .setTimeUnit(TimeUnit.MILLISECONDS) // 超时时间的单位 25 | .add(() -> { // 添加一个任务 26 | 27 | // 在这里可以写上任务的业务逻辑 28 | 29 | }, (result, e) -> { 30 | // 此任务处理后的回调 31 | if(result.equals(ConcurrentTaskResultEnum.FAIL)){ 32 | // 任务失败，此时e里面有详细的异常信息 33 | } else if(result.equals(ConcurrentTaskResultEnum.SUCCESS)) { 34 | // 任务成功，此时e是空的 35 | } 36 | }) 37 | .add(() -> { // 添加一个任务 38 | 39 | // 在这里可以写上任务的业务逻辑 40 | 41 | }, (result, e) -> { 42 | // 此任务处理后的回调 43 | if(result.equals(ConcurrentTaskResultEnum.FAIL)){ 44 | // 任务失败，此时e里面有详细的异常信息 45 | } else if(result.equals(ConcurrentTaskResultEnum.SUCCESS)) { 46 | // 任务成功，此时e是空的 47 | } 48 | }) 49 | .start(); 50 | ``` 51 | 52 | 添加进去的任务会并发执行，但是在它们执行完之前，这整个代码块会同步等待在这，一直等到所有任务执行完或者超时才会继续往下走。 53 | 54 | 这里面的超时时间就是用来设置同步等待多久的。 55 | 56 | - 如果设置为0表示一直等到所有任务完成为止 57 | - 设置为大于0的时候，表示只等待这么久 58 | 59 | 60 | 61 | ## 并发处理List，Set等所有Collection类的集合里的元素 62 | 63 | ### 同步执行 64 | 65 | 假如有一个List需要并发处理里面的元素 66 | 67 | ```java 68 | List dataList = new ArrayList<>(); 69 | ``` 70 | 71 | 只需要将他传入syncRunner方法即可 72 | 73 | ```java 74 | MagicDataProcessing.getConcurrentCollectionSync() 75 | .syncRunner(dataList, data -> { 76 | 77 | // 这里可以拿到List里的元素，进行处理 78 | // List里的元素是什么类型，这个data就是什么类型 79 | System.out.println(data); 80 | 81 | }, 82 | 10, // 每组多少条元素 83 | 1, // 每组之间同步等待多久 84 | TimeUnit.MINUTES // 等待的时间单位 85 | ); 86 | ``` 87 | 88 | 这个方法会将传进去的集合分成若干组，每组的大小由参数指定。 89 | 90 | 这些组会排队执行，但是每一组在执行的时候都是并发的，里面的每一个元素都会由单独的线程去处理。 91 | 92 | 需要等一组处理完了，才会处理下一组，但是有时候我们不想这么死板的等待，所以可以设置一个超时时间，超过了这个期限就不等了，直接进行下一组，所以这里的最后两个参数就是用来设置这个期限的。 93 | 94 | #### 也可以让每一组单独占一个线程 95 | 96 | ```java 97 | // 也可以用syncGroupRunner方法 98 | MagicDataProcessing.getConcurrentCollectionSync() 99 | .syncGroupRunner(dataList, data -> { 100 | 101 | // 这里是每一组List 102 | for(String item : data){ 103 | // 这里可以拿到List里的元素，进行处理 104 | System.out.println(data); 105 | } 106 | 107 | }, 108 | 10, // 每组多少条元素 109 | 1, // 每组之间同步等待多久 110 | TimeUnit.MINUTES // 等待的时间单位 111 | ); 112 | ``` 113 | 114 | 这个方法会将传进去的集合分成若干组，每组的大小由参数指定。 115 | 116 | 每一组由单独的线程处理。 117 | 118 | 会一直同步等待在这里，直到所有组都处理完了才会进行下一步，但是有时候我们不想这么死板的等待，所以可以设置一个超时时间，超过了这个期限就不等了，直接执行下一步。所以这里的最后两个参数就是用来设置这个期限的。 119 | 120 | ### 异步执行 121 | 122 | 其实就是将上面【同步执行】的代码放到了一个线程里，内部处理依然是上面【同步执行】的逻辑，但是这整个代码块将会异步执行，不需要等在这。所以个别相同的参数就不再重复解释了。 123 | 124 | ```java 125 | // 假如有一个List需要并发处理里面的元素 126 | List dataList = new ArrayList<>(); 127 | ``` 128 | 129 | #### 每个元素并发执行 130 | 131 | ```java 132 | // 只需要将他传入asyncRunner方法即可 133 | MagicDataProcessing.ConcurrentCollectionAsync().asyncRunner(dataList, data -> { 134 | 135 | // 这里可以拿到List里的元素，进行处理 136 | System.out.println(data); 137 | 138 | }, 139 | 10, // 每组多少条元素 140 | 1, // 每组之间同步等待多久 141 | TimeUnit.MINUTES // 等待的时间单位 142 | ) 143 | .start();// 注意，异步执行需要调用start方法 144 | ``` 145 | 146 | 还可以这样写 147 | 148 | ```java 149 | MagicDataProcessing.ConcurrentCollectionAsync().asyncRunner(dataList, data -> { 150 | 151 | // 这里是每一组List 152 | for(String item : data){ 153 | // 这里可以拿到List里的元素，进行处理 154 | System.out.println(data); 155 | } 156 | 157 | }, 158 | 10, // 每组多少条元素 159 | 1, // 每组之间同步等待多久 160 | TimeUnit.MINUTES // 等待的时间单位 161 | ).asyncRunner(dataList2, data -> { 162 | 163 | // 这里可以拿到List里的元素，进行处理 164 | System.out.println(data); 165 | 166 | }, 167 | 10, // 每组多少条元素 168 | 1, // 每组之间同步等待多久 169 | TimeUnit.MINUTES // 等待的时间单位 170 | ).asyncRunner(dataList3, data -> { 171 | 172 | // 这里可以拿到List里的元素，进行处理 173 | System.out.println(data); 174 | 175 | }, 176 | 10, // 每组多少条元素 177 | 1, // 每组之间同步等待多久 178 | TimeUnit.MINUTES // 等待的时间单位 179 | ) 180 | .start(); // 一样要调用start方法 181 | ``` 182 | 183 | #### 每一组并发执行 184 | 185 | ```java 186 | // 也可以用asyncGroupRunner方法，每个参数的具体含义可以参考文档 187 | MagicDataProcessing.ConcurrentCollectionAsync().asyncGroupRunner(dataList, data -> { 188 | 189 | // 这里是每一组List 190 | for(String item : data){ 191 | // 这里可以拿到List里的元素，进行处理 192 | System.out.println(data); 193 | } 194 | 195 | }, 196 | 10, // 每组多少条元素 197 | 1, // 每组之间同步等待多久 198 | TimeUnit.MINUTES // 等待的时间单位 199 | ) 200 | .start(); // 一样要调用start方法 201 | ``` 202 | 203 | 同上 204 | 205 | ## 并发处理所有Map类的集合里的元素 206 | 207 | Map的逻辑跟Collection一模一样，只不过是传入的集合变成了Map，就不再累述了，感谢理解。 208 | 209 | ### 同步执行 210 | 211 | #### 每个元素并发执行 212 | 213 | ```java 214 | // 假如有一个Map需要并发处理里面的元素 215 | Map dataMap = new HashMap<>(); 216 | 217 | // 只需要将他传入syncRunner方法即可 218 | MagicDataProcessing.getConcurrentMapSync() 219 | .syncRunner(dataMap, (key, value) -> { 220 | 221 | // 这里可以拿到Map里的元素，进行处理 222 | System.out.println(key); 223 | System.out.println(value); 224 | 225 | }, 10, 1, TimeUnit.MINUTES); 226 | ``` 227 | 228 | #### 每一组并发执行 229 | 230 | ```java 231 | // 也可以用syncGroupRunner方法 232 | MagicDataProcessing.getConcurrentMapSync() 233 | .syncGroupRunner(dataMap, data -> { 234 | 235 | // 这里是每一组Map 236 | for(Map.Entry entry : data.entrySet()){ 237 | // 这里可以拿到Map里的每一个元素 238 | System.out.println(entry.getKey()); 239 | System.out.println(entry.getValue()); 240 | } 241 | 242 | }, 10, 1, TimeUnit.MINUTES); 243 | ``` 244 | 245 | ### 异步执行 246 | 247 | #### 每个元素并发执行 248 | 249 | ```java 250 | // 假如有一个Map需要并发处理里面的元素 251 | Map dataMap = new HashMap<>(); 252 | 253 | // 只需要将他传入asyncRunner方法即可 254 | MagicDataProcessing.getConcurrentMapAsync().asyncRunner(dataMap, (key, value) -> { 255 | 256 | // 这里可以拿到Map里的元素，进行处理 257 | System.out.println(key); 258 | System.out.println(value); 259 | 260 | }, 261 | 10, 262 | 1, 263 | TimeUnit.MINUTES 264 | ) 265 | .start(); // 一样要调用start方法 266 | ``` 267 | 268 | #### 每一组并发执行 269 | 270 | ```java 271 | // 也可以用asyncGroupRunner方法 272 | MagicDataProcessing.getConcurrentMapAsync().asyncGroupRunner(dataMap, data -> { 273 | 274 | // 这里是每一组Map 275 | for(Map.Entry entry : data.entrySet()){ 276 | // 这里可以拿到Map里的每一个元素 277 | System.out.println(entry.getKey()); 278 | System.out.println(entry.getValue()); 279 | } 280 | 281 | }, 282 | 10, 283 | 1, 284 | TimeUnit.MINUTES 285 | ) 286 | .start(); // 一样要调用start方法; 287 | ``` 288 | 289 | ## 生产者与消费者 290 | 291 | 这是一个多对多的模型，多个生产者可以给多个消费者推送不同类型的数据， 292 | 293 | ### 我们先创建一个生产者 294 | ```java 295 | public class DemoProducer extends MagicProducer { 296 | 297 | /** 298 | * 设置ID，必须全局唯一，默认是当前类的全名 299 | * 如果采用默认值，可以不重写这个方法 300 | * @return 301 | */ 302 | @Override 303 | public String getId() { 304 | return super.getId(); 305 | } 306 | 307 | /** 308 | * 设置producer方法是否重复执行，默认重复 309 | * 如果采用默认值，可以不重写这个方法 310 | * @return 311 | */ 312 | @Override 313 | public boolean getLoop() { 314 | return super.getLoop(); 315 | } 316 | 317 | /** 318 | * 设置 是否等消费者全部空闲了才继续生产下一轮数据，默认false 319 | * 如果采用默认值，可以不重写这个方法 320 | * @return 321 | */ 322 | @Override 323 | public boolean getAllFree() { 324 | return super.getAllFree(); 325 | } 326 | 327 | /** 328 | * 当生产者启动后，会自动执行这个方法，我们可以在这个方法里生产数据，并通过publish方法发布给消费者 329 | * 330 | * 这边举一个例子 331 | * 假如我们需要不断地扫描某张表，根据里面的数据状态去执行一些业务逻辑 332 | * 那么我们可以在这个方法里写一个查询的逻辑，然后将查询到数据发送给消费者 333 | */ 334 | @Override 335 | public void producer() { 336 | // 根据上面的例子，我们可以查询这张表里符合条件的数据 337 | List dataList = selectList(); 338 | 339 | // 然后将他推送给消费者 340 | // 可以推送任意类型的数据 341 | this.publish(dataList); 342 | 343 | /* 344 | * 如果你只需要执行一次，那么到此就结束了，这个生产者也可以被回收掉了 345 | * 346 | * 但是如果你需要不断地执行上述操作，来维护这张表里的数据，这个时候你有两种做法 347 | * 第一种：加一个while循环 348 | * 但是这种方式有个问题，如果消费者的消费速度跟不上，那么就很容易造成消费者队列积压，出现内存问题。 349 | * 而数据积压太久又会影响时效性，可能你推送给消费者的时候，这条数据需要处理，但是等到被消费的时候又不需要处理了，这样容易出现数据错乱的问题。 350 | * 351 | * 第二种：等消费者把你推给他的数据消费完了，再推送下一轮，而我们就是采用的这种 352 | * 如果你想用这种方式，那么你不需要再写其他的任何逻辑，只需要将上面提到的getLoop方法重写一下，并返回true即可 353 | * 当你设置为true以后，生产者在推送完一轮后会不断地监视消费者，当发现了空闲的消费者才会生产和推送下一轮数据，并且数据只会推送给这几个空闲的消费者 354 | * 355 | * 如果你想等所有消费者都空闲了以后再推送下一轮，而不是发现一个空闲的就推送一轮 356 | * 那么你可以重写上面提到的getAllFree方法，返回true即可 357 | */ 358 | 359 | } 360 | } 361 | ``` 362 | 363 | ### 再创建一个消费者 364 | ```java 365 | public class DemoConsumer extends MagicConsumer { 366 | /** 367 | * 设置ID，必须全局唯一，默认是当前类的全名 368 | * 如果采用默认值，可以不重写这个方法 369 | * @return 370 | */ 371 | @Override 372 | public String getId() { 373 | return super.getId(); 374 | } 375 | 376 | /** 377 | * 心跳通知，消费者每消费一个任务，都会触发一下这个方法 378 | * 我们可以根据他触发的频率来判断这个消费者的活跃度 379 | * 380 | * 注意！！！ 381 | * 这个方法里不可以有耗时的操作，不然会将消费者阻塞的 382 | * 如果一定要加耗时的操作，那么务必在新线程里搞 383 | * @param id 384 | */ 385 | @Override 386 | public void pulse(String id) { 387 | new Thread(()->{ 388 | // 如果你需要在这个方法里搞一些耗时的操作，那么务必要像这样开启一个新线程 389 | // 不然消费者会被阻塞的 390 | }).start(); 391 | } 392 | 393 | /** 394 | * 消费频率限制，默认10毫秒，取值范围：0 - long的最大值，单位：毫秒 395 | * 396 | * 如果任务执行的耗时小于execFrequencyLimit，则等待execFrequencyLimit毫秒后再消费下一个任务 397 | * 398 | * 首先这是一个生产者和消费者多对多的模型结构，我们以一个生产者对多个消费者来举例 399 | * 生产者生产的数据只有一份，但是他会推送给多个消费者 400 | * 而我们之所以要配置多个消费者，是因为需要他们执行不同的业务逻辑 401 | * 多个消费者执行的业务逻辑不同，也就意味着他们需要的数据大概率会不同 402 | * 403 | * 比如消费者A需要处理男性的数据，消费者B需要处理女性的数据 404 | * 如果生产者刚好连续推送了几批男性的数据，那么这会导致消费者B筛选不到女性数据，那么他就不会处理业务逻辑了 405 | * 这么一来，消费者B就会无限接近空转，而空转会引起CPU占用率过大，所以必须加以限制 406 | * 407 | * 千万不要小看这个问题，本人曾经在实战中亲测过，做不做这个限制，CPU的占有率会达到10倍的差距 408 | * 当然了，这跟消费者的业务逻辑还是有一定关系的，具体情况具体看待 409 | * 如果你的消费者几乎不会出现空转，那么这里可以设置为0 410 | * 411 | */ 412 | @Override 413 | public long getExecFrequencyLimit() { 414 | return super.getExecFrequencyLimit(); 415 | } 416 | 417 | /** 418 | * 这个方法会接收到生产者推送过来的数据 419 | * 在里面执行相应的业务逻辑即可 420 | * @param data 421 | */ 422 | @Override 423 | public void doRunner(Object data) { 424 | // data 可以是任何类型 425 | // 因为能给他推送数据的消费者是固定的，所以data有可能收到的类型也是固定的 426 | // 所以我们可以在这里自己判断，然后转化即可 427 | // 为什么不用泛型？这是为了兼容多个生产者，因为他们推送的数据类型可能会不同 428 | } 429 | } 430 | ``` 431 | 432 | ### 然后将他们添加到同一个组内 433 | ```java 434 | // 创建一组生产者与消费者，而这样组可以创建无限个 435 | // 每一组的生产者都只会把数据推送给同一组的消费者 436 | MagicDataProcessing.getProducerAndConsumerManager() 437 | .addProducer(new DemoProducer()) // 添加一个生产者（可以添加多个） 438 | .addConsumer(new DemoConsumer()) // 添加一个消费者（可以添加多个） 439 | .start(); 440 | ``` 441 | 442 | ## 数据库操作 443 | 444 | 此组件重度依赖于SpringBoot，底层是基于JdbcTemplate的扩展，做到了单表操作不需要写SQL，天然支持MySql分页查询，支持在SQL中写入{属性名}占位符，如果你不想用SpringBoot但是又想使用这个组件，可以用[Magician-JDBC](/db/index.md) 445 | 446 | ### 添加依赖 447 | 448 | ```xml 449 | 450 | 451 | mysql 452 | mysql-connector-java 453 | 8.0.20 454 | 455 | 456 | 457 | 458 | com.alibaba 459 | druid 460 | 1.2.5 461 | 462 | ``` 463 | 464 | ### 创建一个Spring的JdbcTemplate对象 465 | 466 | ```java 467 | @Resource 468 | private JdbcTemplate jdbcTemplate; 469 | ``` 470 | 471 | ### 单表无SQL操作 472 | 473 | #### 插入数据 474 | 475 | ```java 476 | ParamPO paramPO = new ParamPO(); 477 | paramPO.setUserName("a"); 478 | paramPO.setUserEmail("test@qq.com"); 479 | 480 | int result = MagicDBUtils.get(jdbcTemplate).insert("表名", paramPO); 481 | ``` 482 | 483 | ### 修改数据 484 | 485 | ```java 486 | // 构建修改条件 487 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 488 | .add("id = ?", 10) 489 | .add("and name = ?", "bee"); 490 | 491 | // 构建修改数据 492 | ParamPO paramPO = new ParamPO(); 493 | paramPO.setUserName("a"); 494 | paramPO.setUserEmail("test@qq.com"); 495 | 496 | // 执行修改 497 | int result = MagicDBUtils.get(jdbcTemplate).update("表名", paramPO, conditionBuilder); 498 | ``` 499 | 500 | ### 删除数据 501 | 502 | ```java 503 | // 构建删除条件 504 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 505 | .add("id = ?", 10); 506 | 507 | // 执行删除 508 | int result = MagicDBUtils.get(jdbcTemplate).delete("表名", conditionBuilder); 509 | ``` 510 | 511 | ### 查询数据 512 | 513 | ```java 514 | // 构建查询条件 515 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 516 | .add("id > ?", 10) 517 | .add("and (name = ? or age > ?)", "bee", 10) 518 | .add("order by create_time", Condition.NOT_WHERE); 519 | 520 | // 执行查询 521 | List result = MagicDBUtils.get(jdbcTemplate).select("表名", conditionBuilder, ParamPO.class); 522 | ``` 523 | 524 | ### 条件构造器说明 525 | 526 | 内部结构如下 527 | 528 | ```java 529 | public class Condition { 530 | // 条件，可以是 where， order by， group by 等任意条件 531 | private String key; 532 | // 如果条件设置的是where条件，那么这个属性就需要设置成 条件的值 533 | private Object[] val; 534 | 535 | // 如果条件不是where，那么val就必须设置成这个常量 536 | public static final String NOT_WHERE = "notWhere"; 537 | } 538 | ``` 539 | 540 | 可以看如下示例 541 | 542 | ```java 543 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 544 | // 这里key 设置成了where条件，所以val 就设置成了 where的值，也就是查询 id > 10 的数据 545 | .add("id > ?", 10) 546 | // 这里也一样的，是where条件，但是因为他是第二个条件，所以需要 在最前面加上and，or 等连接符 547 | .add("and (name = ? or age > ?)", "bee", 10) 548 | // 这是排序，所以 val需要设置成 Condition.NOT_WHERE 549 | .add("order by create_time", Condition.NOT_WHERE); 550 | ``` 551 | 552 | 注：条件构造器只支持 ? 占位符 553 | 554 | ## 自定义sql 555 | 556 | ### 增删改 557 | 558 | ```java 559 | ParamPO paramPO = new ParamPO(); 560 | paramPO.setUserName("testTx222"); 561 | paramPO.setUserEmail("testTx222@qq.com"); 562 | paramPO.setId(4); 563 | 564 | // 采用{}占位符的写法 565 | int result = MagicDBUtils.get(jdbcTemplate).exec("update xt_message_board set user_name = {user_name} , user_email = {user_email} where id = {id}", paramPO); 566 | 567 | // 采用 ? 占位符的写法 568 | int result = MagicDBUtils.get(jdbcTemplate).exec("update xt_message_board set user_name = ? , user_email = ? where id = ?", new Object[]{"testTx222","testTx222@qq.com", 4}); 569 | ``` 570 | 571 | ### 查询数据 572 | 573 | ```java 574 | ParamPO paramPO = new ParamPO(); 575 | paramPO.setId(5); 576 | paramPO.setUserName("a"); 577 | 578 | // 采用{}占位符的写法 579 | List result = MagicDBUtils.get(jdbcTemplate).selectList("select * from xt_message_board where id > {id} and user_name != {user_name}", paramPO, ParamPO.class); 580 | 581 | // 采用 ? 占位符的写法 582 | List result = MagicDBUtils.get(jdbcTemplate).selectList("select * from xt_message_board where id > ? and user_name != ?", new Object[]{5, "a"}, ParamPO.class); 583 | ``` 584 | 585 | ### 分页查询 586 | 587 | ```java 588 | // 查询条件 589 | ParamPO paramPO = new ParamPO(); 590 | paramPO.setId(5); 591 | paramPO.setUserName("a"); 592 | 593 | // 查询参数 594 | PageParamModel pageParamModel = new PageParamModel(); 595 | pageParamModel.setCurrentPage(1); 596 | pageParamModel.setPageSize(10); 597 | pageParamModel.setParam(paramPO); 598 | 599 | // 使用默认countSql查询 600 | PageModel pageModel = MagicDBUtils.get(jdbcTemplate).selectPage("select * from xt_message_board where id > {id} and user_name != {user_name}", pageParamModel, ParamPO.class); 601 | 602 | // 使用自定义countSql查询 603 | String countSql = "自己定义countSql"; 604 | 605 | PageModel pageModel = MagicDBUtils.get(jdbcTemplate).selectPageCustomCountSql("select * from xt_message_board where id > {id} and user_name != {user_name}", countSql, pageParamModel, ParamPO.class); 606 | 607 | ``` 608 | 609 | ### SQL构造器 610 | 611 | 其实就是把StringBuilder封装了一层，目的是为了减少大量的if，让判断+拼接的过程缩短在一行上，以及在拼接时不再需要注意空格了 612 | 613 | 以实体对象作为参数的示例 614 | ```java 615 | ParamPO paramPO = new ParamPO(); 616 | paramPO.setAge(10); 617 | paramPO.setHeight(1); 618 | 619 | SqlBuilder sqlBuilder = SqlBuilder.builder() 620 | .init("select * from user_info where 1=1") // 这里传入sql主体 621 | .append("and age > {age}", paramPO.getAge() > 0) // 第一个参数传入要拼接的where条件，第二个参数传入是否要拼接的判断条件，也就是说第二个参数的等式成立才会将第一个参数拼接到sql上去，下面都是一样的 622 | .append("and name = {name}", paramPO.getName() != null) 623 | .append("and height > {height}", paramPO.getHeight() != null); 624 | 625 | // 直接toString 可以获取到拼接后的完整sql 626 | String sql = sqlBuilder.toString(); 627 | 628 | // 查询数据 629 | List result = MagicDBUtils.get(jdbcTemplate).selectList(sql, paramPO, ParamPO.class); 630 | ``` 631 | 632 | 以数组作为参数的示例 633 | ```java 634 | List params = new ArrayList<>(); 635 | 636 | SqlBuilder sqlBuilder = SqlBuilder.builder() 637 | .init("select * from user_info where 1=1") // 这里传入sql主体 638 | 639 | // 这里为了偷懒，还是用到了paramPO对象，反正大家懂那个意思就行了 640 | // 第一个参数传入要拼接的where条件，第二个参数传入是否要拼接的判断条件 641 | // 也就是说第二个参数的等式成立才会将第一个参数拼接到sql上去，下面都是一样的 642 | // 第三个参数是一个回调函数，用来往params里添加数据的 643 | .append("and age > ?", paramPO.getAge() > 0, ()->{params.add(paramPO.getAge());}) 644 | .append("and name = ?", paramPO.getName() != null, ()->{params.add(paramPO.getName());}) 645 | .append("and height > ?", paramPO.getHeight() != null, ()->{params.add(paramPO.getHeight());}); 646 | 647 | // 直接toString 可以获取到拼接后的完整sql 648 | String sql = sqlBuilder.toString(); 649 | 650 | // 查询数据，注意看第二个参数 651 | List result = MagicDBUtils.get(jdbcTemplate).selectList(sql, params.toArray(), ParamPO.class); 652 | ``` 653 | 654 | ## 实体映射 655 | 656 | 完全用的是fastjson2的那一套的注解 657 | 658 | ```java 659 | public class TestPO{ 660 | 661 | @JSONField(name = "数据库里的name字段名") 662 | private String name; 663 | @JSONField(name = "数据库里的age字段名") 664 | private String age; 665 | @JSONField(name = "数据库里的id字段名") 666 | private int id; 667 | 668 | @JSONField(name = "create_time", format = "yyyy-MM-dd HH:mm:ss") 669 | private Date createTime; 670 | 671 | } 672 | ``` 673 | 674 | ## 属性文件读取 675 | 676 | ### 加载配置文件 677 | 678 | 目前只支持 properties文件，你可以在任意目录下创建，然后使用以下方式将文件加载到项目中 679 | 680 | 从本机任意目录加载 681 | ```java 682 | // 必须写文件的绝对路径 683 | MagicProperties.load("/home/xxx/application.properties", ReadMode.LOCAL, "UTF-8"); 684 | ``` 685 | 686 | 从当前项目的资源目录下加载 687 | 688 | ```java 689 | // 类资源下的文件的路径 690 | MagicProperties.load("/application.properties", ReadMode.RESOURCE, "UTF-8"); 691 | ``` 692 | 693 | 从远程目录加载 694 | 695 | ```java 696 | // 远程文件路径, 只支持http协议 697 | MagicProperties.load("https://www.test.com/application.properties", ReadMode.REMOTE, "UTF-8"); 698 | ``` 699 | 700 | ### 根据key获取value 701 | 702 | ```java 703 | // 如果配置文件里有userName这个key，那么就会直接使用，如果没有 那么会去环境变量读取 704 | String userName = MagicProperties.get("userName"); 705 | ``` 706 | 707 | ### 遍历所有的key -> value 708 | 709 | 此法只能遍历文件有的配置项，获取不到环境变量 710 | 711 | ```java 712 | MagicProperties.forEach((key, value)->{ 713 | System.out.println(key); 714 | System.out.println(value); 715 | }); 716 | ``` -------------------------------------------------------------------------------- /LICENSE: -------------------------------------------------------------------------------- 1 | The MIT License (MIT) 2 | 3 | Copyright 2024, Yuye 4 | 5 | Permission is hereby granted, free of charge, to any person obtaining a copy 6 | of this software and associated documentation files (the "Software"), to deal 7 | in the Software without restriction, including without limitation the rights 8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 9 | copies of the Software, and to permit persons to whom the Software is 10 | furnished to do so, subject to the following conditions: 11 | 12 | The above copyright notice and this permission notice shall be included in 13 | all copies or substantial portions of the Software. 14 | 15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN 21 | THE SOFTWARE. -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 |

2 | Magic · 3 | 4 | 5 | 6 | 7 |

8 | 9 | Magic是Magician旗下的一个工具包，支持并发处理、生产者与消费者模型、数据库操作等 10 | 11 | ## 运行环境 12 | 13 | JDK17 14 | 15 | ## 文档 16 | 17 | [https://github.com/JMagician/Magic/blob/dev/Document.md](https://github.com/JMagician/Magic/blob/dev/Document.md) 18 | 19 | ## 示例 20 | 21 | ### 01 导入依赖 22 | ```xml 23 | 24 | com.github.yuyenews 25 | Magic 26 | 1.0.3 27 | 28 | ``` 29 | 30 | ### 02 数据库操作 31 | 32 | #### 首先需要创建一个Spring的JdbcTemplate对象 33 | 34 | ```java 35 | @Resource 36 | private JdbcTemplate jdbcTemplate; 37 | ``` 38 | 39 | #### 单表查询 40 | 41 | ```java 42 | // 创建查询条件 43 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 44 | .add("age = ?", "300") 45 | .add(" order by age desc", Condition.NOT_WHERE); 46 | 47 | // 执行查询操作 48 | List demoPOS = MagicDBUtils.get(jdbcTemplate) 49 | .select("m_user_info", conditionBuilder, DemoPO.class); 50 | ``` 51 | 52 | #### 单表插入 53 | 54 | ```java 55 | // 创建要插入的对象和值 56 | DemoPO demoPO = DemoPO.builder() 57 | .id(UUID.randomUUID().toString()) 58 | .age(18) 59 | .content("哈哈哈") 60 | .amount(new BigDecimal("10000")) 61 | .length(new BigInteger("10000000000")) 62 | .createTime(new Date()) 63 | .updateTime(new Date()) 64 | .build(); 65 | 66 | // 执行插入操作 67 | MagicDBUtils.get(jdbcTemplate).insert("m_user_info", demoPO); 68 | ``` 69 | 70 | #### 单表更新 71 | 72 | ```java 73 | // 创建修改条件 74 | ConditionBuilder = conditionBuilder = ConditionBuilder.createCondition() 75 | .add("id = ? and age = ?", "00df4362-d7ad-48d2-8bcb-05cf859b7e64", 500); 76 | 77 | // 需要修改的字段和对应的值 78 | DemoPO demoPO = DemoPO.builder() 79 | .age(122) 80 | .content("嘿嘿嘿") 81 | .amount(new BigDecimal("100002.33")) 82 | .length(new BigInteger("100000000002")) 83 | .createTime(new Date()) 84 | .updateTime(new Date()) 85 | .build(); 86 | 87 | // 执行修改操作 88 | MagicDBUtils.get(jdbcTemplate).update("m_user_info", demoPO, conditionBuilder); 89 | ``` 90 | 91 | #### 单表删除 92 | 93 | ```java 94 | // 创建删除条件 95 | ConditionBuilder = conditionBuilder = ConditionBuilder.createCondition() 96 | .add("id = ?", "00df4362-d7ad-48d2-8bcb-05cf859b7e64"); 97 | // 执行删除操作 98 | MagicDBUtils.get(jdbcTemplate).delete("m_user_info", conditionBuilder); 99 | ``` 100 | 101 | #### 自定义SQL查询 102 | 103 | ```java 104 | DemoPO demoPO = DemoPO.builder() 105 | .age(122) 106 | .build(); 107 | 108 | MagicDBUtils.get(jdbcTemplate).selectList("select * from m_user_info where age > {age}", demoPO, DemoPO.class); 109 | ``` 110 | 111 | #### 自定义SQL分页 112 | 113 | ```java 114 | // 查询参数 115 | PageParamModel pageParamModel = PageParamModel 116 | .getPageParamModel(1, 10) 117 | .setParam( 118 | DemoPO.builder() 119 | .age(10) 120 | .build() 121 | ); 122 | 123 | // 执行查询操作 124 | PageModel pageModel = MagicDBUtils.get(jdbcTemplate).selectPage("select * from m_user_info where age > {age}", pageParamModel, DemoPO.class); 125 | ``` 126 | 127 | ### 03 并发处理任务 128 | 129 | ```java 130 | MagicDataProcessing.getConcurrentTaskSync() 131 | .setTimeout(1000) // 超时时间 132 | .setTimeUnit(TimeUnit.MILLISECONDS) // 超时时间的单位 133 | .add(() -> { // 添加一个任务 134 | 135 | // 在这里可以写上任务的业务逻辑 136 | 137 | }, (result, e) -> { 138 | // 此任务处理后的回调 139 | if(result.equals(ConcurrentTaskResultEnum.FAIL)){ 140 | // 任务失败，此时e里面有详细的异常信息 141 | } else if(result.equals(ConcurrentTaskResultEnum.SUCCESS)) { 142 | // 任务成功，此时e是空的 143 | } 144 | }) 145 | .add(() -> { // 添加一个任务 146 | 147 | // 在这里可以写上任务的业务逻辑 148 | 149 | }, (result, e) -> { 150 | // 此任务处理后的回调 151 | if(result.equals(ConcurrentTaskResultEnum.FAIL)){ 152 | // 任务失败，此时e里面有详细的异常信息 153 | } else if(result.equals(ConcurrentTaskResultEnum.SUCCESS)) { 154 | // 任务成功，此时e是空的 155 | } 156 | }) 157 | .start(); 158 | ``` 159 | 160 | ### 04 并发处理List，Set等所有Collection类集合里的元素 161 | 162 | ```java 163 | // 假如有一个List需要并发处理里面的元素 164 | List dataList = new ArrayList<>(); 165 | 166 | // 只需要将他传入syncRunner方法即可，每个参数的具体含义可以参考文档 167 | MagicDataProcessing.getConcurrentCollectionSync() 168 | .syncRunner(dataList, data -> { 169 | 170 | // 这里可以拿到List里的元素，进行处理 171 | System.out.println(data); 172 | 173 | }, 10, 1, TimeUnit.MINUTES); 174 | 175 | // 也可以用syncGroupRunner方法，每个参数的具体含义可以参考文档 176 | MagicDataProcessing.getConcurrentCollectionSync() 177 | .syncGroupRunner(dataList, data -> { 178 | 179 | // 这里是每一组List 180 | for(String item : data){ 181 | // 这里可以拿到List里的元素，进行处理 182 | System.out.println(data); 183 | } 184 | 185 | }, 10, 1, TimeUnit.MINUTES); 186 | ``` 187 | 188 | ### 05 生产者与消费者 189 | 190 | ```java 191 | // 创建一组生产者与消费者，支持多对多 192 | MagicDataProcessing.getProducerAndConsumerManager() 193 | .addProducer(new MagicianProducer() { // 添加一个生产者（可以添加多个） 194 | 195 | @Override 196 | public void producer() { 197 | // 查询这张表里符合条件的数据 198 | List dataList = selectList(); 199 | 200 | // 然后将他推送给消费者 201 | this.publish(dataList); 202 | } 203 | 204 | }).addConsumer(new MagicianConsumer() { // 添加一个消费者（可以添加多个） 205 | 206 | @Override 207 | public void doRunner(Object data) { 208 | // 处理生产者发来的数据 209 | System.out.println(data); 210 | } 211 | 212 | }).start(); 213 | ``` -------------------------------------------------------------------------------- /pom.xml: -------------------------------------------------------------------------------- 1 | 2 | 5 | 4.0.0 6 | 7 | com.github.yuyenews 8 | Magic 9 | 1.0.3 10 | 11 | 12 | 13 | 俞晔 14 | https://github.com/JMagician/Magic 15 | yuyemail@163.com 16 | 17 | 18 | 19 | 20 | 17 21 | 17 22 | 17 23 | 17 24 | UTF-8 25 | UTF-8 26 | UTF-8 27 | 28 | 29 | 30 | 31 | org.slf4j 32 | slf4j-api 33 | 1.7.30 34 | 35 | 36 | com.alibaba.fastjson2 37 | fastjson2 38 | 2.0.53 39 | 40 | 41 | 42 | org.springframework 43 | spring-jdbc 44 | 6.1.13 45 | true 46 | 47 | 48 | 49 | 50 | org.sonatype.oss 51 | oss-parent 52 | 7 53 | 54 | 55 | 56 | The MIT License (MIT) 57 | https://opensource.org/licenses/mit-license.php 58 | repo 59 | 60 | 61 | 62 | 63 | 64 | 65 | org.apache.maven.plugins 66 | maven-javadoc-plugin 67 | 3.2.0 68 | 69 | false 70 | 71 | 72 | 73 | 74 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/CustomSqlUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.db; 2 | 3 | import com.magic.db.conversion.SqlConversion; 4 | import com.magic.db.model.PageModel; 5 | import com.magic.db.model.PageParamModel; 6 | import com.magic.db.model.SqlBuilderModel; 7 | import com.magic.util.JSONUtil; 8 | import org.slf4j.Logger; 9 | import org.slf4j.LoggerFactory; 10 | import org.springframework.jdbc.core.JdbcTemplate; 11 | 12 | import java.util.ArrayList; 13 | import java.util.List; 14 | import java.util.Map; 15 | 16 | /** 17 | * 用自定义SQL 操作数据库的工具类 18 | */ 19 | public class CustomSqlUtils { 20 | 21 | private static Logger logger = LoggerFactory.getLogger(CustomSqlUtils.class); 22 | 23 | /** 24 | * 查询列表 25 | * 26 | * @param sql 27 | * @param param 28 | * @param cls 29 | * @param 30 | * @return 31 | * @throws Exception 32 | */ 33 | public static List selectList(JdbcTemplate jdbcTemplate, String sql, Object param, Class cls) throws Exception { 34 | try { 35 | SqlBuilderModel sqlBuilderModel = SqlConversion.builderSql(sql, param); 36 | 37 | if(logger.isDebugEnabled()){ 38 | logger.debug("selectList, sql:{}, params:{}", sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 39 | } 40 | 41 | List> result = jdbcTemplate.queryForList(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 42 | 43 | List resultList = new ArrayList<>(); 44 | for (Map item : result) { 45 | resultList.add(JSONUtil.toJavaObject(item, cls)); 46 | } 47 | return resultList; 48 | 49 | } catch (Exception e) { 50 | throw e; 51 | } 52 | } 53 | 54 | /** 55 | * 查询列表，无参数 56 | * 57 | * @param sql 58 | * @param cls 59 | * @param 60 | * @return 61 | * @throws Exception 62 | */ 63 | public static List selectList(JdbcTemplate jdbcTemplate, String sql, Class cls) throws Exception { 64 | return selectList(jdbcTemplate, sql, new Object[0], cls); 65 | } 66 | 67 | /** 68 | * 查询一条数据 69 | * 70 | * @param sql 71 | * @param cls 72 | * @param 73 | * @return 74 | * @throws Exception 75 | */ 76 | public static T selectOne(JdbcTemplate jdbcTemplate, String sql, Object param, Class cls) throws Exception { 77 | List resultList = selectList(jdbcTemplate, sql, param, cls); 78 | if (resultList != null && resultList.size() > 1) { 79 | throw new Exception("more than one data"); 80 | } 81 | if (resultList != null && resultList.size() < 1) { 82 | return null; 83 | } 84 | return resultList.get(0); 85 | } 86 | 87 | /** 88 | * 查询一条数据，无参数 89 | * 90 | * @param sql 91 | * @param cls 92 | * @param 93 | * @return 94 | * @throws Exception 95 | */ 96 | public static T selectOne(JdbcTemplate jdbcTemplate, String sql, Class cls) throws Exception { 97 | return selectOne(jdbcTemplate, sql, new Object[0], cls); 98 | } 99 | 100 | /** 101 | * 增、删、改 102 | * 103 | * @param sql 104 | * @param param 105 | * @return 106 | */ 107 | public static int exec(JdbcTemplate jdbcTemplate, String sql, Object param) throws Exception { 108 | try { 109 | SqlBuilderModel sqlBuilderModel = SqlConversion.builderSql(sql, param); 110 | 111 | if(logger.isDebugEnabled()){ 112 | logger.debug("exec, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(sqlBuilderModel.getParams())); 113 | } 114 | 115 | return jdbcTemplate.update(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 116 | } catch (Exception e) { 117 | throw e; 118 | } 119 | } 120 | 121 | /** 122 | * 增、删、改，无参数 123 | * 124 | * @param sql 125 | * @return 126 | */ 127 | public static int exec(JdbcTemplate jdbcTemplate, String sql) throws Exception { 128 | return exec(jdbcTemplate, sql, new Object[0]); 129 | } 130 | 131 | /* -------------------------------------- 分页查询 ------------------------------------------ */ 132 | 133 | /** 134 | * 使用默认的count sql 分页查询 135 | * 136 | * @param sql 137 | * @param pageParamModel 138 | * @param cls 139 | * @param 140 | * @return 141 | * @throws Exception 142 | */ 143 | public static PageModel selectPage(JdbcTemplate jdbcTemplate, String sql, PageParamModel pageParamModel, Class cls) throws Exception { 144 | String countSql = "select count(0) total from(" + sql + ") tbl"; 145 | return selectPageCustomCountSql(jdbcTemplate, sql, countSql, pageParamModel, cls); 146 | } 147 | 148 | /** 149 | * 使用自定义的count sql 分页查询 150 | * 151 | * @param sql 152 | * @param countSql 153 | * @param pageParamModel 154 | * @param cls 155 | * @param 156 | * @return 157 | * @throws Exception 158 | */ 159 | public static PageModel selectPageCustomCountSql(JdbcTemplate jdbcTemplate, String sql, String countSql, PageParamModel pageParamModel, Class cls) throws Exception { 160 | 161 | Map result = selectOne(jdbcTemplate, countSql, pageParamModel.getParam(), Map.class); 162 | Object totalObj = result.get("total"); 163 | if (totalObj == null || "".equals(totalObj)) { 164 | totalObj = 0; 165 | } 166 | 167 | pageParamModel.getParam().put("pageStart", (pageParamModel.getCurrentPage() - 1) * pageParamModel.getPageSize()); 168 | pageParamModel.getParam().put("pageSize", pageParamModel.getPageSize()); 169 | 170 | StringBuffer stringBuffer = new StringBuffer(); 171 | stringBuffer.append(sql); 172 | stringBuffer.append(" limit {pageStart},{pageSize}"); 173 | 174 | List resultList = selectList(jdbcTemplate, stringBuffer.toString(), pageParamModel.getParam(), cls); 175 | 176 | PageModel pageModel = new PageModel<>(); 177 | pageModel.setTotal(Integer.parseInt(totalObj.toString())); 178 | pageModel.setCurrentPage(pageParamModel.getCurrentPage()); 179 | pageModel.setPageSize(pageParamModel.getPageSize()); 180 | pageModel.setPageTotal(getPageTotal(pageModel)); 181 | pageModel.setDataList(resultList); 182 | return pageModel; 183 | } 184 | 185 | /** 186 | * 计算总页数 187 | * 188 | * @param pageModel 189 | * @return 190 | */ 191 | private static int getPageTotal(PageModel pageModel) { 192 | if (pageModel.getTotal() % pageModel.getPageSize() == 0) { 193 | return pageModel.getTotal() / pageModel.getPageSize(); 194 | } else { 195 | return pageModel.getTotal() / pageModel.getPageSize() + 1; 196 | } 197 | } 198 | } 199 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/MagicDBUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.db; 2 | 3 | import com.magic.db.conversion.ConditionBuilder; 4 | import com.magic.db.model.PageModel; 5 | import com.magic.db.model.PageParamModel; 6 | import org.springframework.jdbc.core.JdbcTemplate; 7 | 8 | import java.util.List; 9 | 10 | /** 11 | * 数据库操作工具类 12 | */ 13 | public class MagicDBUtils { 14 | 15 | private JdbcTemplate jdbcTemplate; 16 | 17 | public static MagicDBUtils get(JdbcTemplate jdbcTemplate){ 18 | MagicDBUtils MagicDBUtils = new MagicDBUtils(); 19 | MagicDBUtils.jdbcTemplate = jdbcTemplate; 20 | return MagicDBUtils; 21 | } 22 | 23 | /* -------------------------------------- 单表不需要写SQL的操作 ------------------------------------------ */ 24 | 25 | /** 26 | * 不需要写SQL，单表查询 27 | * @param tableName 28 | * @param conditionBuilder 29 | * @param cls 30 | * @param 31 | * @return 32 | * @throws Exception 33 | */ 34 | public List select(String tableName, ConditionBuilder conditionBuilder, Class cls){ 35 | return SingleTableUtils.select(jdbcTemplate, tableName, conditionBuilder, cls); 36 | } 37 | 38 | /** 39 | * 不需要写SQL，单表更新 40 | * @param tableName 41 | * @param data 42 | * @param conditionBuilder 43 | * @return 44 | * @throws Exception 45 | */ 46 | public int update(String tableName, Object data, ConditionBuilder conditionBuilder) throws Exception { 47 | return SingleTableUtils.update(jdbcTemplate, tableName, data, conditionBuilder); 48 | } 49 | 50 | /** 51 | * 不需要写SQL，单表删除 52 | * @param tableName 53 | * @param conditionBuilder 54 | * @return 55 | * @throws Exception 56 | */ 57 | public int delete(String tableName, ConditionBuilder conditionBuilder) throws Exception { 58 | return SingleTableUtils.delete(jdbcTemplate, tableName, conditionBuilder); 59 | } 60 | 61 | /** 62 | * 不需要写SQL，单表插入 63 | * @param tableName 64 | * @param data 65 | * @return 66 | * @throws Exception 67 | */ 68 | public int insert(String tableName, Object data) throws Exception { 69 | return SingleTableUtils.insert(jdbcTemplate, tableName, data); 70 | } 71 | 72 | /* -------------------------------------- 自定义SQL操作 ------------------------------------------ */ 73 | 74 | /** 75 | * 查询列表 76 | * @param sql 77 | * @param param 78 | * @param cls 79 | * @param 80 | * @return 81 | * @throws Exception 82 | */ 83 | public List selectList(String sql, Object param, Class cls) throws Exception { 84 | return CustomSqlUtils.selectList(jdbcTemplate, sql, param, cls); 85 | } 86 | 87 | /** 88 | * 查询列表，无参数 89 | * @param sql 90 | * @param cls 91 | * @param 92 | * @return 93 | * @throws Exception 94 | */ 95 | public List selectList(String sql, Class cls) throws Exception { 96 | return CustomSqlUtils.selectList(jdbcTemplate, sql, cls); 97 | } 98 | 99 | /** 100 | * 查询一条数据 101 | * @param sql 102 | * @param cls 103 | * @param 104 | * @return 105 | * @throws Exception 106 | */ 107 | public T selectOne(String sql, Object param, Class cls) throws Exception { 108 | return CustomSqlUtils.selectOne(jdbcTemplate, sql, param, cls); 109 | } 110 | 111 | /** 112 | * 查询一条数据，无参数 113 | * @param sql 114 | * @param cls 115 | * @param 116 | * @return 117 | * @throws Exception 118 | */ 119 | public T selectOne(String sql, Class cls) throws Exception { 120 | return CustomSqlUtils.selectOne(jdbcTemplate, sql, cls); 121 | } 122 | 123 | /** 124 | * 增、删、改 125 | * @param sql 126 | * @param param 127 | * @return 128 | */ 129 | public int exec(String sql, Object param) throws Exception { 130 | return CustomSqlUtils.exec(jdbcTemplate, sql, param); 131 | } 132 | 133 | /** 134 | * 增、删、改，无参数 135 | * @param sql 136 | * @return 137 | */ 138 | public int exec(String sql) throws Exception { 139 | return CustomSqlUtils.exec(jdbcTemplate, sql); 140 | } 141 | 142 | /* -------------------------------------- 分页查询 ------------------------------------------ */ 143 | 144 | /** 145 | * 使用默认的count sql 分页查询 146 | * @param sql 147 | * @param pageParamModel 148 | * @param cls 149 | * @param 150 | * @return 151 | * @throws Exception 152 | */ 153 | public PageModel selectPage(String sql, PageParamModel pageParamModel, Class cls) throws Exception { 154 | return CustomSqlUtils.selectPage(jdbcTemplate, sql, pageParamModel, cls); 155 | } 156 | 157 | /** 158 | * 使用自定义的count sql 分页查询 159 | * @param sql 160 | * @param countSql 161 | * @param pageParamModel 162 | * @param cls 163 | * @param 164 | * @return 165 | * @throws Exception 166 | */ 167 | public PageModel selectPageCustomCountSql(String sql, String countSql, PageParamModel pageParamModel, Class cls) throws Exception { 168 | return CustomSqlUtils.selectPageCustomCountSql(jdbcTemplate, sql,countSql, pageParamModel, cls); 169 | } 170 | } 171 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/SingleTableUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.db; 2 | 3 | import com.magic.db.conversion.ConditionBuilder; 4 | import com.magic.db.conversion.SqlConversion; 5 | import com.magic.db.model.Condition; 6 | import com.magic.db.model.SqlBuilderModel; 7 | import com.magic.util.JSONUtil; 8 | import org.slf4j.Logger; 9 | import org.slf4j.LoggerFactory; 10 | import org.springframework.jdbc.core.JdbcTemplate; 11 | 12 | import java.util.ArrayList; 13 | import java.util.List; 14 | import java.util.Map; 15 | 16 | /** 17 | * 操作数据库单表的工具类 18 | */ 19 | public class SingleTableUtils { 20 | 21 | private static Logger logger = LoggerFactory.getLogger(SingleTableUtils.class); 22 | 23 | /** 24 | * 不需要写SQL，单表查询 25 | * 26 | * @param tableName 27 | * @param conditionBuilder 28 | * @param cls 29 | * @param 30 | * @return 31 | * @throws Exception 32 | */ 33 | public static List select(JdbcTemplate jdbcTemplate, String tableName, ConditionBuilder conditionBuilder, Class cls) { 34 | try { 35 | StringBuffer sql = new StringBuffer(); 36 | sql.append("select * from "); 37 | sql.append(tableName); 38 | 39 | List> result = null; 40 | 41 | List conditions = conditionBuilder.build(); 42 | if (conditions != null && conditions.size() > 0) { 43 | sql.append(" where "); 44 | SqlBuilderModel sqlBuilderModel = SqlConversion.getSql(sql, conditions); 45 | 46 | if (logger.isDebugEnabled()) { 47 | logger.debug("select, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(sqlBuilderModel.getParams())); 48 | } 49 | result = jdbcTemplate.queryForList(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 50 | } else { 51 | if (logger.isDebugEnabled()) { 52 | logger.debug("select, sql:{}", sql); 53 | } 54 | result = jdbcTemplate.queryForList(sql.toString()); 55 | } 56 | 57 | List resultList = new ArrayList<>(); 58 | for (Map item : result) { 59 | resultList.add(JSONUtil.toJavaObject(item, cls)); 60 | } 61 | return resultList; 62 | 63 | } catch (Exception e) { 64 | throw e; 65 | } 66 | } 67 | 68 | /** 69 | * 不需要写SQL，单表更新 70 | * 71 | * @param tableName 72 | * @param data 73 | * @param conditionBuilder 74 | * @return 75 | * @throws Exception 76 | */ 77 | public static int update(JdbcTemplate jdbcTemplate, String tableName, Object data, ConditionBuilder conditionBuilder) throws Exception { 78 | List conditions = conditionBuilder.build(); 79 | if (conditions == null || conditions.size() < 1) { 80 | throw new Exception("For the sake of safety, please write sql for unconditional modification operations."); 81 | } 82 | try { 83 | Map paramMap = JSONUtil.toMap(data); 84 | 85 | StringBuffer sql = new StringBuffer(); 86 | sql.append("update "); 87 | sql.append(tableName); 88 | sql.append(" set "); 89 | 90 | List paramList = new ArrayList<>(); 91 | 92 | Boolean first = false; 93 | for (Map.Entry item : paramMap.entrySet()) { 94 | if (item.getValue() == null) { 95 | continue; 96 | } 97 | if (first) { 98 | sql.append(","); 99 | } 100 | sql.append(item.getKey()); 101 | sql.append(" = ?"); 102 | paramList.add(item.getValue()); 103 | 104 | first = true; 105 | } 106 | sql.append(" where "); 107 | SqlBuilderModel sqlBuilderModel = SqlConversion.getSql(sql, conditions); 108 | for (Object item : sqlBuilderModel.getParams()) { 109 | paramList.add(item); 110 | } 111 | 112 | if (logger.isDebugEnabled()) { 113 | logger.debug("select, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(paramList.toArray())); 114 | } 115 | 116 | return jdbcTemplate.update(sqlBuilderModel.getSql(), paramList.toArray()); 117 | } catch (Exception e) { 118 | throw e; 119 | } 120 | } 121 | 122 | /** 123 | * 不需要写SQL，单表删除 124 | * 125 | * @param tableName 126 | * @param conditionBuilder 127 | * @return 128 | * @throws Exception 129 | */ 130 | public static int delete(JdbcTemplate jdbcTemplate, String tableName, ConditionBuilder conditionBuilder) throws Exception { 131 | List conditions = conditionBuilder.build(); 132 | if (conditions == null || conditions.size() < 1) { 133 | throw new Exception("For the sake of safety, please write sql for unconditional delete operations."); 134 | } 135 | try { 136 | StringBuffer sql = new StringBuffer(); 137 | sql.append("delete from "); 138 | sql.append(tableName); 139 | sql.append(" where "); 140 | SqlBuilderModel sqlBuilderModel = SqlConversion.getSql(sql, conditions); 141 | 142 | if (logger.isDebugEnabled()) { 143 | logger.debug("select, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(sqlBuilderModel.getParams())); 144 | } 145 | 146 | return jdbcTemplate.update(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 147 | } catch (Exception e) { 148 | throw e; 149 | } 150 | } 151 | 152 | /** 153 | * 不需要写SQL，单表插入 154 | * 155 | * @param tableName 156 | * @param data 157 | * @return 158 | * @throws Exception 159 | */ 160 | public static int insert(JdbcTemplate jdbcTemplate, String tableName, Object data) throws Exception { 161 | try { 162 | StringBuffer sql = new StringBuffer(); 163 | sql.append("insert into "); 164 | sql.append(tableName); 165 | sql.append(" ("); 166 | 167 | StringBuffer values = new StringBuffer(); 168 | values.append(") values ("); 169 | 170 | Map paramMap = JSONUtil.toMap(data); 171 | 172 | List paramList = new ArrayList<>(); 173 | 174 | Boolean first = false; 175 | for (Map.Entry item : paramMap.entrySet()) { 176 | if (item.getValue() == null) { 177 | continue; 178 | } 179 | if (first) { 180 | sql.append(","); 181 | values.append(","); 182 | } 183 | sql.append(item.getKey()); 184 | values.append("?"); 185 | paramList.add(item.getValue()); 186 | 187 | first = true; 188 | } 189 | 190 | sql.append(values); 191 | sql.append(")"); 192 | 193 | if (logger.isDebugEnabled()) { 194 | logger.debug("select, sql:{}, params:{}", sql, JSONUtil.toJSONString(paramList)); 195 | } 196 | 197 | return jdbcTemplate.update(sql.toString(), paramList.toArray()); 198 | } catch (Exception e) { 199 | throw e; 200 | } 201 | } 202 | } 203 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/conversion/ConditionBuilder.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.conversion; 2 | 3 | import com.magic.db.model.Condition; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | 8 | /** 9 | * 条件构造器 10 | */ 11 | public class ConditionBuilder { 12 | 13 | /** 14 | * 条件集合 15 | */ 16 | private List conditionList; 17 | 18 | /** 19 | * 创建一个条件构造器对象 20 | * @return 21 | */ 22 | public static ConditionBuilder createCondition(){ 23 | ConditionBuilder conditionBuilder = new ConditionBuilder(); 24 | conditionBuilder.conditionList = new ArrayList<>(); 25 | return conditionBuilder; 26 | } 27 | 28 | /** 29 | * 添加一个条件 30 | * @param key 31 | * @param val 32 | * @return 33 | */ 34 | public ConditionBuilder add(String key, Object... val){ 35 | conditionList.add(Condition.get(key, val)); 36 | return this; 37 | } 38 | 39 | /** 40 | * 获取条件集合 41 | * @return 42 | */ 43 | public List build(){ 44 | return conditionList; 45 | } 46 | } 47 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/conversion/SqlBuilder.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.conversion; 2 | 3 | 4 | /** 5 | * sql构造器 6 | */ 7 | public class SqlBuilder { 8 | 9 | /** 10 | * sql语句 11 | */ 12 | private StringBuilder stringBuilder; 13 | 14 | /** 15 | * 创建一个sql构造器对象 16 | * @return 17 | */ 18 | public static SqlBuilder builder(){ 19 | SqlBuilder sqlBuilder = new SqlBuilder(); 20 | sqlBuilder.stringBuilder = new StringBuilder(); 21 | return sqlBuilder; 22 | } 23 | 24 | /** 25 | * 传入sql主体 26 | * @param sql 27 | * @return 28 | */ 29 | public SqlBuilder init(String sql){ 30 | stringBuilder.append(sql); 31 | return this; 32 | } 33 | 34 | /** 35 | * 添加where条件 36 | * @param sql 37 | * @param needAppend 38 | * @return 39 | */ 40 | public SqlBuilder append(String sql, boolean needAppend){ 41 | if(needAppend){ 42 | stringBuilder.append(" "); 43 | stringBuilder.append(sql); 44 | } 45 | return this; 46 | } 47 | 48 | /** 49 | * 添加where条件 50 | * @param sql 51 | * @param needAppend 52 | * @param callBack 53 | * @return 54 | */ 55 | public SqlBuilder append(String sql, boolean needAppend, CallBack callBack){ 56 | append(sql, needAppend); 57 | if(needAppend){ 58 | callBack.call(); 59 | } 60 | return this; 61 | } 62 | 63 | /** 64 | * 添加where条件 65 | * @param sql 66 | * @return 67 | */ 68 | public SqlBuilder append(String sql){ 69 | return append(sql, true); 70 | } 71 | 72 | /** 73 | * 添加where条件 74 | * @param sql 75 | * @param callBack 76 | * @return 77 | */ 78 | public SqlBuilder append(String sql, CallBack callBack){ 79 | return append(sql, true, callBack); 80 | } 81 | 82 | /** 83 | * 获取完整的sql 84 | * @return 85 | */ 86 | @Override 87 | public String toString(){ 88 | return stringBuilder.toString(); 89 | } 90 | 91 | /** 92 | * 回调函数 93 | */ 94 | public interface CallBack { 95 | void call(); 96 | } 97 | } 98 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/conversion/SqlConversion.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.conversion; 2 | 3 | 4 | import com.magic.db.model.Condition; 5 | import com.magic.db.model.SqlBuilderModel; 6 | import com.magic.util.JSONUtil; 7 | 8 | import java.util.ArrayList; 9 | import java.util.List; 10 | import java.util.Map; 11 | import java.util.regex.Matcher; 12 | import java.util.regex.Pattern; 13 | 14 | /** 15 | * SQL转化器 16 | */ 17 | public class SqlConversion { 18 | 19 | /** 20 | * 根据条件构造器生成sql和参数 21 | * @param sql 22 | * @param conditions 23 | * @return 24 | */ 25 | public static SqlBuilderModel getSql(StringBuffer sql, List conditions){ 26 | SqlBuilderModel sqlBuilderModel = new SqlBuilderModel(); 27 | List params = new ArrayList<>(); 28 | for (Condition condition : conditions) { 29 | if (condition.getVal() == null) { 30 | continue; 31 | } 32 | sql.append(" "); 33 | sql.append(condition.getKey()); 34 | 35 | if (isNotWhere(condition.getVal())) { 36 | continue; 37 | } 38 | for(Object arg : condition.getVal()){ 39 | params.add(arg); 40 | } 41 | } 42 | 43 | sqlBuilderModel.setSql(sql.toString()); 44 | sqlBuilderModel.setParams(params.toArray()); 45 | return sqlBuilderModel; 46 | } 47 | 48 | /** 49 | * 是否是WHERE条件 50 | * @param val 51 | * @return 52 | */ 53 | private static boolean isNotWhere(Object[] val){ 54 | if(val.length == 1 && val[0].equals(Condition.NOT_WHERE)) { 55 | return true; 56 | } 57 | return false; 58 | } 59 | 60 | /** 61 | * 根据实体类型的参数生成sql和参数 62 | * 里面会将{}占位符替换成?，将实体类型的参数转化成Object[] 63 | * 64 | * @param sql 65 | * @param param 66 | * @return 67 | * @throws Exception 68 | */ 69 | public static SqlBuilderModel builderSql(String sql, Object param) throws Exception { 70 | 71 | SqlBuilderModel sqlBuilderModel = new SqlBuilderModel(); 72 | 73 | if (param == null) { 74 | throw new NullPointerException("param cannot null"); 75 | } 76 | 77 | if (param instanceof Object[]) { 78 | sqlBuilderModel.setSql(sql); 79 | sqlBuilderModel.setParams((Object[]) param); 80 | return sqlBuilderModel; 81 | } 82 | 83 | Map jsonObject = JSONUtil.toMap(param); 84 | 85 | List params = new ArrayList<>(); 86 | 87 | sql = formatMatcher(sql,params,jsonObject); 88 | 89 | sqlBuilderModel.setSql(sql); 90 | sqlBuilderModel.setParams(params.toArray()); 91 | 92 | return sqlBuilderModel; 93 | } 94 | 95 | /** 96 | * 将SQL里的{}占位符替换成? 97 | * @param sql 98 | * @param params 99 | * @param jsonObject 100 | * @return 101 | */ 102 | private static String formatMatcher(String sql,List params, Map jsonObject){ 103 | Pattern pattern = Pattern.compile("(\\{((?!}).)*\\})"); 104 | Matcher matcher = pattern.matcher(sql); 105 | while (matcher.find()) { 106 | String matcherName = matcher.group(); 107 | sql = sql.replace(matcherName,"?"); 108 | String filedName = matcherName.replace("{","").replace("}",""); 109 | params.add(jsonObject.get(filedName)); 110 | } 111 | return sql; 112 | } 113 | } 114 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/Condition.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | /** 4 | * 条件对象 5 | */ 6 | public class Condition { 7 | 8 | private String key; 9 | 10 | private Object[] val; 11 | 12 | public static final String NOT_WHERE = "6ca6d99a-2ca3-4734-921d-f3718bb7e179"; 13 | 14 | public String getKey() { 15 | return key; 16 | } 17 | 18 | public void setKey(String key) { 19 | this.key = key; 20 | } 21 | 22 | public Object[] getVal() { 23 | return val; 24 | } 25 | 26 | public void setVal(Object[] val) { 27 | this.val = val; 28 | } 29 | 30 | /** 31 | * 创建并获取一个条件对象 32 | * @param key 33 | * @param val 34 | * @return 35 | */ 36 | public static Condition get(String key, Object... val){ 37 | Condition condition = new Condition(); 38 | condition.setKey(key); 39 | condition.setVal(val); 40 | return condition; 41 | } 42 | } 43 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/PageModel.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | import java.io.Serializable; 4 | import java.util.List; 5 | 6 | /** 7 | * 分页查询的返回对象 8 | * @param 9 | */ 10 | public class PageModel implements Serializable { 11 | 12 | /** 13 | * 当前页 14 | */ 15 | private Integer currentPage; 16 | 17 | /** 18 | * 每页大小 19 | */ 20 | private Integer pageSize; 21 | 22 | /** 23 | * 总数据条数 24 | */ 25 | private Integer total; 26 | 27 | /** 28 | * 总页数 29 | */ 30 | private Integer pageTotal; 31 | 32 | /** 33 | * 当前页的数据 34 | */ 35 | private List dataList; 36 | 37 | public Integer getCurrentPage() { 38 | return currentPage; 39 | } 40 | 41 | public void setCurrentPage(Integer currentPage) { 42 | this.currentPage = currentPage; 43 | } 44 | 45 | public Integer getPageSize() { 46 | return pageSize; 47 | } 48 | 49 | public void setPageSize(Integer pageSize) { 50 | this.pageSize = pageSize; 51 | } 52 | 53 | public Integer getTotal() { 54 | return total; 55 | } 56 | 57 | public void setTotal(Integer total) { 58 | this.total = total; 59 | } 60 | 61 | public Integer getPageTotal() { 62 | return pageTotal; 63 | } 64 | 65 | public void setPageTotal(Integer pageTotal) { 66 | this.pageTotal = pageTotal; 67 | } 68 | 69 | public List getDataList() { 70 | return dataList; 71 | } 72 | 73 | public void setDataList(List dataList) { 74 | this.dataList = dataList; 75 | } 76 | } 77 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/PageParamModel.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | import com.magic.util.JSONUtil; 4 | 5 | import java.util.HashMap; 6 | import java.util.Map; 7 | 8 | /** 9 | * 分页查询参数 10 | */ 11 | public class PageParamModel { 12 | 13 | /** 14 | * 查询参数 15 | */ 16 | private Map param; 17 | 18 | /** 19 | * 查询第几页 20 | */ 21 | private int currentPage; 22 | 23 | /** 24 | * 每页大小 25 | */ 26 | private int pageSize; 27 | 28 | /** 29 | * 创建并获取一个PageParamModel对象 30 | * @param page 31 | * @param pageSize 32 | * @return 33 | */ 34 | public static PageParamModel getPageParamModel(Integer page,Integer pageSize){ 35 | PageParamModel pageParamModel = new PageParamModel(); 36 | pageParamModel.setCurrentPage(page); 37 | pageParamModel.setPageSize(pageSize); 38 | return pageParamModel; 39 | } 40 | 41 | public Map getParam() { 42 | if(param == null){ 43 | param = new HashMap<>(); 44 | } 45 | return param; 46 | } 47 | 48 | public PageParamModel setParam(Object param) { 49 | if(param == null){ 50 | return this; 51 | } 52 | this.param = JSONUtil.toMap(param); 53 | return this; 54 | } 55 | 56 | public int getCurrentPage() { 57 | return currentPage; 58 | } 59 | 60 | public PageParamModel setCurrentPage(int currentPage) { 61 | this.currentPage = currentPage; 62 | return this; 63 | } 64 | 65 | public int getPageSize() { 66 | return pageSize; 67 | } 68 | 69 | public PageParamModel setPageSize(int pageSize) { 70 | this.pageSize = pageSize; 71 | return this; 72 | } 73 | } 74 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/SqlBuilderModel.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | /** 4 | * 处理完SQL里的占位符和参数以后，返回的对象 5 | */ 6 | public class SqlBuilderModel { 7 | 8 | private String sql; 9 | 10 | private Object[] params; 11 | 12 | public String getSql() { 13 | return sql; 14 | } 15 | 16 | public void setSql(String sql) { 17 | this.sql = sql; 18 | } 19 | 20 | public Object[] getParams() { 21 | return params; 22 | } 23 | 24 | public void setParams(Object[] params) { 25 | this.params = params; 26 | } 27 | } 28 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/MagicDataProcessing.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing; 2 | 3 | 4 | import com.magic.processing.concurrent.task.ConcurrentTaskSync; 5 | import com.magic.processing.concurrent.collection.ConcurrentCollectionAsync; 6 | import com.magic.processing.concurrent.collection.ConcurrentCollectionSync; 7 | import com.magic.processing.concurrent.map.ConcurrentMapAsync; 8 | import com.magic.processing.concurrent.map.ConcurrentMapSync; 9 | import com.magic.processing.pac.MagicProducerAndConsumerManager; 10 | 11 | /** 12 | * 项目入口 13 | * 从这里，你可以创建本项目的任意对象 14 | */ 15 | public class MagicDataProcessing { 16 | 17 | /** 18 | * 创建Collection并发执行对象（同步） 19 | * @return 20 | */ 21 | public static ConcurrentCollectionSync getConcurrentCollectionSync() { 22 | return new ConcurrentCollectionSync(); 23 | } 24 | 25 | /** 26 | * 创建Collection并发执行对象（异步） 27 | * @return 28 | */ 29 | public static ConcurrentCollectionAsync getConcurrentCollectionAsync() { 30 | return new ConcurrentCollectionAsync(); 31 | } 32 | 33 | /** 34 | * 创建Map并发执行对象（同步） 35 | * @return 36 | */ 37 | public static ConcurrentMapSync getConcurrentMapSync(){ 38 | return new ConcurrentMapSync(); 39 | } 40 | 41 | /** 42 | * 创建Map并发执行对象（异步） 43 | * @return 44 | */ 45 | public static ConcurrentMapAsync getConcurrentMapAsync() { 46 | return new ConcurrentMapAsync(); 47 | } 48 | 49 | /** 50 | * 创建任务并发执行对象（同步） 51 | * @return 52 | */ 53 | public static ConcurrentTaskSync getConcurrentTaskSync(){ 54 | return new ConcurrentTaskSync(); 55 | } 56 | 57 | /** 58 | * 创建任务生产者、消费者模型对象 59 | * @return 60 | */ 61 | public static MagicProducerAndConsumerManager getProducerAndConsumerManager(){ 62 | return new MagicProducerAndConsumerManager(); 63 | } 64 | 65 | } 66 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/commons/enums/ConcurrentTaskResultEnum.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.commons.enums; 2 | 3 | /** 4 | * 异步执行任务，处理结果的枚举类 5 | */ 6 | public enum ConcurrentTaskResultEnum { 7 | 8 | SUCCESS, // 成功 9 | FAIL; // 失败 10 | } 11 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/commons/enums/ProducerAndConsumerEnum.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.commons.enums; 2 | 3 | /** 4 | * 生产者与消费者枚举类 5 | */ 6 | public enum ProducerAndConsumerEnum { 7 | CONSUMER, // 消费者 8 | PRODUCER, // 生产者 9 | ALL; // 所有 10 | } 11 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/commons/helper/ProcessingHelper.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.commons.helper; 2 | 3 | import com.magic.util.CollectionUtils; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.List; 8 | import java.util.concurrent.CountDownLatch; 9 | import java.util.concurrent.TimeUnit; 10 | 11 | /** 12 | * 处理任务的帮助类 13 | */ 14 | public class ProcessingHelper { 15 | 16 | private static Logger logger = LoggerFactory.getLogger(ProcessingHelper.class); 17 | 18 | /** 19 | * 等待线程执行结束 20 | * 21 | * @param timeout 每一组的超时时间，单位由unit参数设置 22 | * @param unit 超时时间单位 23 | * @param count 24 | */ 25 | public static void runnerAwait(long timeout, TimeUnit unit, CountDownLatch count) { 26 | try { 27 | if (timeout <= 0) { 28 | // 如果没有设置超时时间，则一直等待，直到线程全部完成为止 29 | count.await(); 30 | } else { 31 | // 如果设置了等待时间，则等待相应的时间 32 | count.await(timeout, unit); 33 | } 34 | } catch (Exception e) { 35 | logger.error("Concurrent await error", e); 36 | } 37 | } 38 | 39 | /** 40 | * 执行所有线程 41 | * @param runnableList 42 | */ 43 | public static void start(List runnableList){ 44 | if(CollectionUtils.isEmpty(runnableList)){ 45 | throw new NullPointerException("runnableList is empty"); 46 | } 47 | try { 48 | for(Runnable runnable : runnableList){ 49 | new Thread(runnable).start(); 50 | } 51 | } catch (Exception e){ 52 | throw e; 53 | } 54 | } 55 | } 56 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionAsync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | 5 | import java.util.ArrayList; 6 | import java.util.Collection; 7 | import java.util.List; 8 | import java.util.concurrent.*; 9 | 10 | /** 11 | * 并发处理Collection里的元素（异步） 12 | */ 13 | public class ConcurrentCollectionAsync { 14 | 15 | /** 16 | * 异步任务集合 17 | */ 18 | private List runnableList; 19 | 20 | public ConcurrentCollectionAsync() { 21 | runnableList = new ArrayList<>(); 22 | } 23 | 24 | /** 25 | * 并发执行器 26 | */ 27 | private ConcurrentCollectionSync concurrentCollectionSync = new ConcurrentCollectionSync(); 28 | 29 | /** 30 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 31 | * 异步执行 32 | * 默认分成10组，超时时间10分钟 33 | * 34 | * @param dataList 数据集 35 | * @param concurrentCollectionRunner 执行器 36 | * @param 37 | */ 38 | public ConcurrentCollectionAsync asyncRunner(Collection dataList, 39 | ConcurrentCollectionRunner concurrentCollectionRunner) { 40 | return asyncRunner(dataList, concurrentCollectionRunner, 10, 10, TimeUnit.MINUTES); 41 | } 42 | 43 | /** 44 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 45 | * 异步执行 46 | * 默认超时时间10分钟 47 | * 48 | * @param dataList 数据集 49 | * @param concurrentCollectionRunner 执行器 50 | * @param 51 | */ 52 | public ConcurrentCollectionAsync asyncRunner(Collection dataList, 53 | ConcurrentCollectionRunner concurrentCollectionRunner, 54 | int groupSize) { 55 | return asyncRunner(dataList, concurrentCollectionRunner, groupSize, 10, TimeUnit.MINUTES); 56 | } 57 | 58 | /** 59 | * 将一个Collection分成若干组，每一组分别用一个线程执行 60 | * 异步执行 61 | * 默认分成10组，超时时间10分钟 62 | * 63 | * @param dataList 数据集 64 | * @param concurrentCollectionGroupRunner 执行器 65 | * @param 66 | */ 67 | public ConcurrentCollectionAsync asyncGroupRunner(Collection dataList, 68 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner) { 69 | return asyncGroupRunner(dataList, concurrentCollectionGroupRunner, 10, 10, TimeUnit.MINUTES); 70 | } 71 | 72 | /** 73 | * 将一个Collection分成若干组，每一组分别用一个线程执行 74 | * 异步执行 75 | * 默超时时间10分钟 76 | * 77 | * @param dataList 数据集 78 | * @param concurrentCollectionGroupRunner 执行器 79 | * @param 80 | */ 81 | public ConcurrentCollectionAsync asyncGroupRunner(Collection dataList, 82 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 83 | int groupSize) { 84 | return asyncGroupRunner(dataList, concurrentCollectionGroupRunner, groupSize, 10, TimeUnit.MINUTES); 85 | } 86 | 87 | /** 88 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 89 | * 异步执行 90 | * 91 | * @param dataList 数据集 92 | * @param concurrentCollectionRunner 执行器 93 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 94 | * @param timeout 每一组的超时时间，单位由unit参数设置 95 | * @param unit 超时时间单位 96 | * @param 97 | */ 98 | public ConcurrentCollectionAsync asyncRunner(Collection dataList, 99 | ConcurrentCollectionRunner concurrentCollectionRunner, 100 | int groupSize, 101 | long timeout, 102 | TimeUnit unit) { 103 | 104 | runnableList.add(() -> { 105 | concurrentCollectionSync.syncRunner(dataList, concurrentCollectionRunner, groupSize, timeout, unit); 106 | }); 107 | 108 | return this; 109 | } 110 | 111 | /** 112 | * 将一个Collection分成若干组，每一组分别用一个线程执行 113 | * 异步执行 114 | * 115 | * @param dataList 数据集 116 | * @param concurrentCollectionGroupRunner 执行器 117 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 118 | * @param timeout 每一组的超时时间，单位由unit参数设置 119 | * @param unit 超时时间单位 120 | * @param 121 | */ 122 | public ConcurrentCollectionAsync asyncGroupRunner(Collection dataList, 123 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 124 | int groupSize, 125 | long timeout, 126 | TimeUnit unit) { 127 | 128 | runnableList.add(() -> { 129 | concurrentCollectionSync.syncGroupRunner(dataList, concurrentCollectionGroupRunner, groupSize, timeout, unit); 130 | }); 131 | 132 | return this; 133 | } 134 | 135 | /** 136 | * 启动所有异步任务 137 | */ 138 | public void start(){ 139 | ProcessingHelper.start(runnableList); 140 | } 141 | } 142 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionGroupRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | 4 | import java.util.Collection; 5 | 6 | /** 7 | * 执行器，每次执行一组数据 8 | * @param 9 | */ 10 | public interface ConcurrentCollectionGroupRunner { 11 | 12 | void run(Collection t) throws Throwable; 13 | } 14 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | /** 4 | * 执行器，每次执行一条数据 5 | * @param 6 | */ 7 | public interface ConcurrentCollectionRunner { 8 | 9 | void run(T t) throws Throwable; 10 | } 11 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | import com.magic.util.CollectionUtils; 5 | import org.slf4j.Logger; 6 | import org.slf4j.LoggerFactory; 7 | 8 | import java.util.Collection; 9 | import java.util.concurrent.CountDownLatch; 10 | import java.util.concurrent.TimeUnit; 11 | 12 | /** 13 | * 并发处理Collection里的元素（同步） 14 | */ 15 | public class ConcurrentCollectionSync { 16 | 17 | private Logger logger = LoggerFactory.getLogger(ConcurrentCollectionSync.class); 18 | 19 | /** 20 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 21 | * 同步执行 22 | * 默认分成10组，超时时间10分钟 23 | * 24 | * @param dataList 数据集 25 | * @param concurrentCollectionRunner 执行器 26 | * @param 27 | */ 28 | public void syncRunner(Collection dataList, 29 | ConcurrentCollectionRunner concurrentCollectionRunner) { 30 | syncRunner(dataList, concurrentCollectionRunner, 10, 10, TimeUnit.MINUTES); 31 | } 32 | 33 | /** 34 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 35 | * 同步执行 36 | * 默认超时时间10分钟 37 | * 38 | * @param dataList 数据集 39 | * @param concurrentCollectionRunner 执行器 40 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 41 | * @param 42 | */ 43 | public void syncRunner(Collection dataList, 44 | ConcurrentCollectionRunner concurrentCollectionRunner, 45 | int groupSize) { 46 | syncRunner(dataList, concurrentCollectionRunner, groupSize, 10, TimeUnit.MINUTES); 47 | } 48 | 49 | /** 50 | * 将一个Collection分成若干组，每一组分别用一个线程执行 51 | * 同步执行 52 | * 默认分成10组，超时时间10分钟 53 | * 54 | * @param dataList 数据集 55 | * @param concurrentCollectionGroupRunner 执行器 56 | * @param 57 | */ 58 | public void syncGroupRunner(Collection dataList, 59 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner) { 60 | syncGroupRunner(dataList, concurrentCollectionGroupRunner, 10, 10, TimeUnit.MINUTES); 61 | } 62 | 63 | /** 64 | * 将一个Collection分成若干组，每一组分别用一个线程执行 65 | * 同步执行 66 | * 默认超时时间10分钟 67 | * 68 | * @param dataList 数据集 69 | * @param concurrentCollectionGroupRunner 执行器 70 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 71 | * @param 72 | */ 73 | public void syncGroupRunner(Collection dataList, 74 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 75 | int groupSize) { 76 | syncGroupRunner(dataList, concurrentCollectionGroupRunner, groupSize, 10, TimeUnit.MINUTES); 77 | } 78 | 79 | /** 80 | * 将一个Collection分成若干组，每一组分别用一个线程执行 81 | * 同步执行 82 | * 83 | * @param dataList 数据集 84 | * @param concurrentCollectionGroupRunner 执行器 85 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 86 | * @param timeout 每一组的超时时间，单位由unit参数设置 87 | * @param unit 超时时间单位 88 | * @param 89 | */ 90 | public void syncGroupRunner(Collection dataList, 91 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 92 | int groupSize, 93 | long timeout, 94 | TimeUnit unit) { 95 | 96 | try { 97 | // 将集合分成若干组，每组元素由调用者指定 98 | Collection> dataGroup = CollectionUtils.partition(dataList, groupSize); 99 | 100 | 101 | CountDownLatch count = new CountDownLatch(dataGroup.size()); 102 | 103 | // 给每一组都开一个线程，并发执行 104 | for (Collection dataItem : dataGroup) { 105 | new Thread(() -> { 106 | try { 107 | concurrentCollectionGroupRunner.run(dataItem); 108 | } catch (Throwable e) { 109 | logger.error("ConcurrentProcessing syncGroupRunner error", e); 110 | } finally { 111 | count.countDown(); 112 | } 113 | }).start(); 114 | } 115 | 116 | // 等所有线程执行结束后，或者超时后，再跳出此方法 117 | ProcessingHelper.runnerAwait(timeout, unit, count); 118 | } catch (Exception e) { 119 | logger.error("ConcurrentProcessingSync syncGroupRunner error", e); 120 | throw e; 121 | } 122 | } 123 | 124 | /** 125 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 126 | * 同步执行 127 | * 128 | * @param dataList 数据集 129 | * @param concurrentCollectionRunner 执行器 130 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 131 | * @param timeout 每一组的超时时间，单位由unit参数设置 132 | * @param unit 超时时间单位 133 | * @param 134 | */ 135 | public void syncRunner(Collection dataList, 136 | ConcurrentCollectionRunner concurrentCollectionRunner, 137 | int groupSize, 138 | long timeout, 139 | TimeUnit unit) { 140 | 141 | try { 142 | // 将集合分成若干组，每组大小由调用者指定 143 | Collection> dataGroup = CollectionUtils.partition(dataList, groupSize); 144 | 145 | for (Collection dataItem : dataGroup) { 146 | 147 | CountDownLatch count = new CountDownLatch(dataItem.size()); 148 | 149 | // 给组内的每一个元素都开一个线程，并发执行 150 | for (T item : dataItem) { 151 | new Thread(() -> { 152 | try { 153 | concurrentCollectionRunner.run(item); 154 | } catch (Throwable e) { 155 | logger.error("ConcurrentProcessing syncRunner error", e); 156 | } finally { 157 | count.countDown(); 158 | } 159 | }).start(); 160 | } 161 | 162 | // 等所有线程执行结束后，或者超时后，再执行下一组 163 | ProcessingHelper.runnerAwait(timeout, unit, count); 164 | } 165 | } catch (Exception e) { 166 | logger.error("ConcurrentProcessingSync syncRunner error", e); 167 | throw e; 168 | } 169 | } 170 | } 171 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapAsync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | import java.util.Map; 8 | import java.util.concurrent.*; 9 | 10 | /** 11 | * 并发处理Map里的元素（异步） 12 | */ 13 | public class ConcurrentMapAsync { 14 | 15 | /** 16 | * 异步任务集合 17 | */ 18 | private List runnableList; 19 | 20 | public ConcurrentMapAsync() { 21 | runnableList = new ArrayList<>(); 22 | } 23 | 24 | /** 25 | * 并发执行器 26 | */ 27 | private ConcurrentMapSync concurrentMapSync = new ConcurrentMapSync(); 28 | 29 | /** 30 | * 将一个Map分成若干组，排队执行，每组内部并发执行 31 | * 同步执行 32 | * 默认分成10组，超时时间10分钟 33 | * 34 | * @param dataMap 数据集 35 | * @param concurrentMapRunner 执行器 36 | * @param 37 | */ 38 | public ConcurrentMapAsync asyncRunner(Map dataMap, 39 | ConcurrentMapRunner concurrentMapRunner) { 40 | return asyncRunner(dataMap, concurrentMapRunner, 10, 10, TimeUnit.MINUTES); 41 | } 42 | 43 | /** 44 | * 将一个Map分成若干组，排队执行，每组内部并发执行 45 | * 同步执行 46 | * 默认超时时间10分钟 47 | * 48 | * @param dataMap 数据集 49 | * @param concurrentMapRunner 执行器 50 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 51 | * @param 52 | */ 53 | public ConcurrentMapAsync asyncRunner(Map dataMap, 54 | ConcurrentMapRunner concurrentMapRunner, 55 | int groupSize) { 56 | return asyncRunner(dataMap, concurrentMapRunner, groupSize, 10, TimeUnit.MINUTES); 57 | } 58 | 59 | /** 60 | * 将一个Map分成若干组，每一组分别用一个线程执行 61 | * 同步执行 62 | * 默认分成10组，超时时间10分钟 63 | * 64 | * @param dataMap 数据集 65 | * @param concurrentMapGroupRunner 执行器 66 | * @param 67 | */ 68 | public ConcurrentMapAsync asyncGroupRunner(Map dataMap, 69 | ConcurrentMapGroupRunner concurrentMapGroupRunner) { 70 | return asyncGroupRunner(dataMap, concurrentMapGroupRunner, 10, 10, TimeUnit.MINUTES); 71 | } 72 | 73 | /** 74 | * 将一个Map分成若干组，每一组分别用一个线程执行 75 | * 同步执行 76 | * 默认超时时间10分钟 77 | * 78 | * @param dataMap 数据集 79 | * @param concurrentMapGroupRunner 执行器 80 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 81 | * @param 82 | */ 83 | public ConcurrentMapAsync asyncGroupRunner(Map dataMap, 84 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 85 | int groupSize) { 86 | return asyncGroupRunner(dataMap, concurrentMapGroupRunner, groupSize, 10, TimeUnit.MINUTES); 87 | } 88 | 89 | /** 90 | * 将一个Map分成若干组，每一组分别用一个线程执行 91 | * 同步执行 92 | * 93 | * @param dataMap 数据集 94 | * @param concurrentMapGroupRunner 执行器 95 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 96 | * @param timeout 每一组的超时时间，单位由unit参数设置 97 | * @param unit 超时时间单位 98 | * @param 99 | */ 100 | public ConcurrentMapAsync asyncGroupRunner(Map dataMap, 101 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 102 | int groupSize, 103 | long timeout, 104 | TimeUnit unit) { 105 | runnableList.add(() -> { 106 | concurrentMapSync.syncGroupRunner(dataMap, concurrentMapGroupRunner, groupSize, timeout, unit); 107 | }); 108 | 109 | return this; 110 | } 111 | 112 | 113 | /** 114 | * 将一个Map分成若干组，排队执行，每组内部并发执行 115 | * 同步执行 116 | * 117 | * @param dataMap 数据集 118 | * @param concurrentMapRunner 执行器 119 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 120 | * @param timeout 每一组的超时时间，单位由unit参数设置 121 | * @param unit 超时时间单位 122 | * @param 123 | */ 124 | public ConcurrentMapAsync asyncRunner(Map dataMap, 125 | ConcurrentMapRunner concurrentMapRunner, 126 | int groupSize, 127 | long timeout, 128 | TimeUnit unit) { 129 | runnableList.add(() -> { 130 | concurrentMapSync.syncRunner(dataMap, concurrentMapRunner, groupSize, timeout, unit); 131 | }); 132 | 133 | return this; 134 | } 135 | 136 | /** 137 | * 启动所有异步任务 138 | */ 139 | public void start(){ 140 | ProcessingHelper.start(runnableList); 141 | } 142 | } 143 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapGroupRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | import java.util.Map; 4 | 5 | /** 6 | * 执行器，每次执行一组数据 7 | * @param 8 | */ 9 | public interface ConcurrentMapGroupRunner { 10 | 11 | void run(Map item) throws Throwable; 12 | } 13 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | /** 4 | * 执行器，每次执行一条数据 5 | */ 6 | public interface ConcurrentMapRunner { 7 | 8 | void run(K key, V value) throws Throwable; 9 | } 10 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | import com.magic.util.MapsUtil; 5 | import org.slf4j.Logger; 6 | import org.slf4j.LoggerFactory; 7 | 8 | import java.util.List; 9 | import java.util.Map; 10 | import java.util.concurrent.CountDownLatch; 11 | import java.util.concurrent.TimeUnit; 12 | 13 | /** 14 | * 并发处理Map里的元素（同步） 15 | */ 16 | public class ConcurrentMapSync { 17 | 18 | private Logger logger = LoggerFactory.getLogger(ConcurrentMapSync.class); 19 | 20 | /** 21 | * 将一个Map分成若干组，排队执行，每组内部并发执行 22 | * 同步执行 23 | * 默认分成10组，超时时间10分钟 24 | * 25 | * @param dataMap 数据集 26 | * @param concurrentMapRunner 执行器 27 | * @param 28 | */ 29 | public void syncRunner(Map dataMap, 30 | ConcurrentMapRunner concurrentMapRunner) { 31 | syncRunner(dataMap, concurrentMapRunner, 10, 10, TimeUnit.MINUTES); 32 | } 33 | 34 | /** 35 | * 将一个Map分成若干组，排队执行，每组内部并发执行 36 | * 同步执行 37 | * 默认超时时间10分钟 38 | * 39 | * @param dataMap 数据集 40 | * @param concurrentMapRunner 执行器 41 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 42 | * @param 43 | */ 44 | public void syncRunner(Map dataMap, 45 | ConcurrentMapRunner concurrentMapRunner, 46 | int groupSize) { 47 | syncRunner(dataMap, concurrentMapRunner, groupSize, 10, TimeUnit.MINUTES); 48 | } 49 | 50 | /** 51 | * 将一个Map分成若干组，每一组分别用一个线程执行 52 | * 同步执行 53 | * 默认分成10组，超时时间10分钟 54 | * 55 | * @param dataMap 数据集 56 | * @param concurrentMapGroupRunner 执行器 57 | * @param 58 | */ 59 | public void syncGroupRunner(Map dataMap, 60 | ConcurrentMapGroupRunner concurrentMapGroupRunner) { 61 | syncGroupRunner(dataMap, concurrentMapGroupRunner, 10, 10, TimeUnit.MINUTES); 62 | } 63 | 64 | /** 65 | * 将一个Map分成若干组，每一组分别用一个线程执行 66 | * 同步执行 67 | * 默认超时时间10分钟 68 | * 69 | * @param dataMap 数据集 70 | * @param concurrentMapGroupRunner 执行器 71 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 72 | * @param 73 | */ 74 | public void syncGroupRunner(Map dataMap, 75 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 76 | int groupSize) { 77 | syncGroupRunner(dataMap, concurrentMapGroupRunner, groupSize, 10, TimeUnit.MINUTES); 78 | } 79 | 80 | /** 81 | * 将一个Map分成若干组，每一组分别用一个线程执行 82 | * 同步执行 83 | * 84 | * @param dataMap 数据集 85 | * @param concurrentMapGroupRunner 执行器 86 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 87 | * @param timeout 每一组的超时时间，单位由unit参数设置 88 | * @param unit 超时时间单位 89 | * @param 90 | */ 91 | public void syncGroupRunner(Map dataMap, 92 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 93 | int groupSize, 94 | long timeout, 95 | TimeUnit unit) { 96 | try { 97 | List> dataGroup = MapsUtil.partition(dataMap, groupSize); 98 | 99 | CountDownLatch count = new CountDownLatch(dataGroup.size()); 100 | 101 | // 给每一组都开一个线程，并发执行 102 | for (Map dataItem : dataGroup) { 103 | new Thread(() -> { 104 | try { 105 | concurrentMapGroupRunner.run(dataItem); 106 | } catch (Throwable e) { 107 | logger.error("ConcurrentMapSync syncGroupRunner error", e); 108 | } finally { 109 | count.countDown(); 110 | } 111 | }).start(); 112 | } 113 | 114 | // 等所有线程执行结束后，或者超时后，再跳出此方法 115 | ProcessingHelper.runnerAwait(timeout, unit, count); 116 | 117 | } catch (Exception e) { 118 | logger.error("ConcurrentMapSync syncGroupRunner error", e); 119 | throw e; 120 | } 121 | } 122 | 123 | 124 | /** 125 | * 将一个Map分成若干组，排队执行，每组内部并发执行 126 | * 同步执行 127 | * 128 | * @param dataMap 数据集 129 | * @param concurrentMapRunner 执行器 130 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 131 | * @param timeout 每一组的超时时间，单位由unit参数设置 132 | * @param unit 超时时间单位 133 | * @param 134 | */ 135 | public void syncRunner(Map dataMap, 136 | ConcurrentMapRunner concurrentMapRunner, 137 | int groupSize, 138 | long timeout, 139 | TimeUnit unit) { 140 | 141 | try { 142 | List> dataGroup = MapsUtil.partition(dataMap, groupSize); 143 | 144 | 145 | for (Map dataItem : dataGroup) { 146 | 147 | CountDownLatch count = new CountDownLatch(dataItem.size()); 148 | 149 | // 给组内的每一个元素都开一个线程，并发执行 150 | for (Map.Entry entry : dataItem.entrySet()) { 151 | new Thread(() -> { 152 | try { 153 | concurrentMapRunner.run(entry.getKey(), entry.getValue()); 154 | } catch (Throwable e) { 155 | logger.error("ConcurrentMapSync syncRunner error", e); 156 | } finally { 157 | count.countDown(); 158 | } 159 | }).start(); 160 | } 161 | 162 | // 等所有线程执行结束后，或者超时后，再执行下一组 163 | ProcessingHelper.runnerAwait(timeout, unit, count); 164 | } 165 | } catch (Exception e) { 166 | logger.error("ConcurrentMapSync syncRunner error", e); 167 | throw e; 168 | } 169 | } 170 | } 171 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/task/ConcurrentTaskCall.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.task; 2 | 3 | import com.magic.processing.commons.enums.ConcurrentTaskResultEnum; 4 | 5 | /** 6 | * 回调函数 7 | */ 8 | public interface ConcurrentTaskCall { 9 | 10 | void call(ConcurrentTaskResultEnum result, Throwable throwable); 11 | 12 | } 13 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/task/ConcurrentTaskSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.task; 2 | 3 | import com.magic.processing.commons.enums.ConcurrentTaskResultEnum; 4 | import com.magic.processing.commons.helper.ProcessingHelper; 5 | import com.magic.util.CollectionUtils; 6 | import org.slf4j.Logger; 7 | import org.slf4j.LoggerFactory; 8 | 9 | import java.util.ArrayList; 10 | import java.util.List; 11 | import java.util.concurrent.CountDownLatch; 12 | import java.util.concurrent.TimeUnit; 13 | 14 | /** 15 | * 并发处理调用者指定的任务 16 | */ 17 | public class ConcurrentTaskSync { 18 | 19 | private Logger logger = LoggerFactory.getLogger(ConcurrentTaskSync.class); 20 | 21 | /** 22 | * 任务集合 23 | */ 24 | private List concurrentTaskList = new ArrayList<>(); 25 | 26 | /** 27 | * 超时时间 28 | */ 29 | private long timeout; 30 | 31 | /** 32 | * 超时时间的单位 33 | */ 34 | private TimeUnit timeUnit; 35 | 36 | public ConcurrentTaskSync() { 37 | this.timeout = 1; 38 | this.timeUnit = TimeUnit.MINUTES; 39 | } 40 | 41 | /** 42 | * 添加一个需要任务 43 | * 44 | * @param runnable 任务 45 | * @param concurrentTaskCall 任务执行后的回调 46 | * @return 47 | */ 48 | public ConcurrentTaskSync add(Runnable runnable, ConcurrentTaskCall concurrentTaskCall) { 49 | concurrentTaskList.add(new ConcurrentTask(runnable, concurrentTaskCall)); 50 | return this; 51 | } 52 | 53 | /** 54 | * 设置超时时间 55 | * 56 | * @param timeout 57 | * @return 58 | */ 59 | public ConcurrentTaskSync setTimeout(long timeout) { 60 | this.timeout = timeout; 61 | return this; 62 | } 63 | 64 | /** 65 | * 设置超时时间的单位 66 | * 67 | * @param timeUnit 68 | * @return 69 | */ 70 | public ConcurrentTaskSync setTimeUnit(TimeUnit timeUnit) { 71 | this.timeUnit = timeUnit; 72 | return this; 73 | } 74 | 75 | /** 76 | * 开始执行任务 77 | */ 78 | public void start() { 79 | // 如果任务为空就抛出异常 80 | if (CollectionUtils.isEmpty(concurrentTaskList)) { 81 | throw new NullPointerException("ConcurrentTaskSync concurrentTaskList is empty"); 82 | } 83 | 84 | CountDownLatch count = new CountDownLatch(concurrentTaskList.size()); 85 | 86 | // 将集合里的任务全部添加到线程池 87 | for (ConcurrentTask concurrentTask : concurrentTaskList) { 88 | new Thread(() -> { 89 | try { 90 | concurrentTask.runnable.run(); 91 | concurrentTask.concurrentTaskCall.call(ConcurrentTaskResultEnum.SUCCESS, null); 92 | } catch (Throwable e) { 93 | logger.error("ConcurrentTaskSync error, className:{}", concurrentTask.runnable.getClass().getName(), e); 94 | concurrentTask.concurrentTaskCall.call(ConcurrentTaskResultEnum.FAIL, e); 95 | } finally { 96 | count.countDown(); 97 | } 98 | }).start(); 99 | } 100 | 101 | // 等所有线程执行结束后，或者超时后，再跳出此方法 102 | ProcessingHelper.runnerAwait(timeout, timeUnit, count); 103 | } 104 | 105 | /** 106 | * 存放任务的实体 107 | */ 108 | class ConcurrentTask { 109 | 110 | /** 111 | * 任务的业务逻辑 112 | */ 113 | private Runnable runnable; 114 | 115 | /** 116 | * 回调函数 117 | */ 118 | private ConcurrentTaskCall concurrentTaskCall; 119 | 120 | public ConcurrentTask(Runnable runnable, ConcurrentTaskCall concurrentTaskCall) { 121 | this.runnable = runnable; 122 | this.concurrentTaskCall = concurrentTaskCall; 123 | } 124 | 125 | public Runnable getRunnable() { 126 | return runnable; 127 | } 128 | 129 | public ConcurrentTaskCall getConcurrentTaskCall() { 130 | return concurrentTaskCall; 131 | } 132 | } 133 | } 134 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/MagicConsumer.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | import com.magic.util.StringUtils; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.Map; 8 | import java.util.concurrent.ConcurrentHashMap; 9 | import java.util.concurrent.LinkedBlockingQueue; 10 | import java.util.concurrent.atomic.AtomicLong; 11 | 12 | /** 13 | * 消费者线程 14 | */ 15 | public abstract class MagicConsumer implements Runnable { 16 | 17 | private static Logger logger = LoggerFactory.getLogger(MagicConsumer.class); 18 | 19 | /** 20 | * 任务队列 21 | */ 22 | private LinkedBlockingQueue blockingQueue; 23 | 24 | /** 25 | * ID 26 | */ 27 | private String id; 28 | 29 | /** 30 | * 频率限制，run方法里有详细说明 31 | */ 32 | private long execFrequencyLimit; 33 | 34 | /** 35 | * 是否要停止 36 | */ 37 | private boolean shutdown; 38 | 39 | /** 40 | * 每个生产者投喂进来的任务数量（剩余量） 41 | */ 42 | private Map producerTaskCount; 43 | 44 | public MagicConsumer(){ 45 | this.blockingQueue = new LinkedBlockingQueue<>(); 46 | this.producerTaskCount = new ConcurrentHashMap<>(); 47 | this.shutdown = false; 48 | this.execFrequencyLimit = getExecFrequencyLimit(); 49 | if(this.execFrequencyLimit < 0){ 50 | this.execFrequencyLimit = 0; 51 | } 52 | 53 | this.id = getId(); 54 | if(StringUtils.isEmpty(this.id)){ 55 | throw new NullPointerException("consumer id cannot empty"); 56 | } 57 | } 58 | 59 | /** 60 | * 初始化生产者投喂的任务剩余量 61 | * @param producerId 62 | */ 63 | public void initProducerTaskCount(String producerId){ 64 | this.producerTaskCount.put(producerId, new AtomicLong(0)); 65 | } 66 | 67 | /** 68 | * 获取总任务量剩余数 69 | * @return 70 | */ 71 | public int getTaskCount(){ 72 | return blockingQueue.size(); 73 | } 74 | 75 | /** 76 | * 添加任务 77 | * @param taskData 78 | */ 79 | public void addTask(TaskData taskData){ 80 | this.blockingQueue.add(taskData); 81 | this.producerTaskCount.get(taskData.getProducerId()).incrementAndGet(); 82 | } 83 | 84 | /** 85 | * 检测producerId对应的生产者，是否可以对其投喂任务 86 | * @param producerId 87 | * @return 88 | */ 89 | public boolean isPending(String producerId){ 90 | return this.blockingQueue.size() == 0 || this.producerTaskCount.get(producerId).get() <= 0; 91 | } 92 | 93 | /** 94 | * 获取producerId对应的生产者，投喂的任务量剩余数 95 | * @param producerId 96 | * @return 97 | */ 98 | public Long getProducerTaskCount(String producerId){ 99 | return this.producerTaskCount.get(producerId).get(); 100 | } 101 | 102 | /** 103 | * 消费任务队列 104 | */ 105 | @Override 106 | public void run() { 107 | while (shutdown == false){ 108 | try { 109 | // 发送心跳通知 110 | pulse(this.id); 111 | 112 | // take一个任务 113 | TaskData task = blockingQueue.take(); 114 | if(task == null){ 115 | continue; 116 | } 117 | 118 | /* *********** 开始执行任务 ********** */ 119 | 120 | // 记录任务执行开始时间 121 | long startTime = System.currentTimeMillis(); 122 | 123 | // 执行任务 124 | execTask(task); 125 | 126 | /* 127 | * 如果任务执行的耗时小于execFrequencyLimit，则等待execFrequencyLimit毫秒后再消费下一个任务 128 | * 129 | * 首先这是一个生产者和消费者多对多的模型结构，我们以一个生产者对多个消费者来举例 130 | * 生产者生产的数据只有一份，但是他会投喂给多个消费者 131 | * 而我们之所以要配置多个消费者，是因为需要他们执行不同的业务逻辑 132 | * 多个消费者执行的业务逻辑不同，也就意味着他们需要的数据大概率会不同 133 | * 134 | * 比如消费者A需要处理男性的数据，消费者B需要处理女性的数据 135 | * 如果生产者刚好连续投喂了几批男性的数据，那么这会导致消费者B筛选不到女性数据，那么他就不会处理业务逻辑了 136 | * 这么一来，消费者B的执行速度会非常快，而他的快意味着execTask(task)会快速结束 137 | * 这个速度如果过快，会导致本while循环过快，从而引起CPU占用率过大，所以必须加以限制 138 | * 139 | * 千万不要小看这个问题，本人曾经在实战中亲测过，做不做这个限制，CPU的占有率会达到10倍的差距 140 | * 当然了，这跟消费者的业务逻辑还是有一定关系的，具体情况具体看待 141 | * 142 | */ 143 | if(execFrequencyLimit > 0 && (System.currentTimeMillis() - startTime) < execFrequencyLimit){ 144 | Thread.sleep(execFrequencyLimit); 145 | } 146 | } catch (Exception e){ 147 | logger.error("DataConsumer run error", e); 148 | } 149 | } 150 | } 151 | 152 | /** 153 | * 执行任务 154 | * @param taskData 155 | */ 156 | private void execTask(TaskData taskData){ 157 | // 本任务对应的生产者，投喂到这里面的任务剩余量，减少一个 158 | AtomicLong taskCount = producerTaskCount.get(taskData.getProducerId()); 159 | if(taskCount.get() > 0){ 160 | taskCount.decrementAndGet(); 161 | logger.info("MagicianConsumer take one, producerId:{}", taskData.getProducerId()); 162 | } 163 | 164 | // 执行任务 165 | doRunner(taskData.getData()); 166 | } 167 | 168 | /** 169 | * 停止本消费者 170 | */ 171 | public void shutDownNow(){ 172 | this.shutdown = true; 173 | } 174 | 175 | /** 176 | * 获取ID 177 | * @return 178 | */ 179 | public String getId(){ 180 | return this.getClass().getName(); 181 | } 182 | 183 | /** 184 | * 心跳 185 | * @param id 186 | */ 187 | public void pulse(String id){}; 188 | 189 | /** 190 | * 获取执行频率 191 | * @return 192 | */ 193 | public long getExecFrequencyLimit(){ 194 | return 10; 195 | } 196 | 197 | /** 198 | * 执行任务 199 | * @param data 200 | */ 201 | public abstract void doRunner(Object data); 202 | } 203 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/MagicProducer.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | import com.magic.util.StringUtils; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.ArrayList; 8 | import java.util.List; 9 | 10 | /** 11 | * 生产者线程 12 | */ 13 | public abstract class MagicProducer implements Runnable { 14 | 15 | private Logger logger = LoggerFactory.getLogger(MagicProducer.class); 16 | 17 | /** 18 | * ID 19 | */ 20 | private String id; 21 | 22 | /** 23 | * 它所对应的消费者 24 | */ 25 | private List consumers; 26 | 27 | /** 28 | * 他所对应的空闲消费者 29 | */ 30 | private List freeConsumers; 31 | 32 | /** 33 | * 是否要停止 34 | */ 35 | private boolean shutdown; 36 | 37 | /** 38 | * 是否等所有消费者都空了以后，才进行下一轮 39 | * 这个配置是跟loop配合使用的，如果loop为fale，那么这个配置将没有意义 40 | */ 41 | private boolean allFree; 42 | 43 | /** 44 | * 是否持续生产 45 | * 如果设置为false，那么producer方法只会执行一次，完成后本线程将直接结束 46 | * 如果设置为true，那么producer方法会一直循环执行 47 | */ 48 | private boolean loop; 49 | 50 | public MagicProducer(){ 51 | this.shutdown = false; 52 | this.loop = getLoop(); 53 | this.allFree = getAllFree(); 54 | this.id = getId(); 55 | if(StringUtils.isEmpty(this.id)){ 56 | throw new NullPointerException("producer id cannot empty"); 57 | } 58 | } 59 | 60 | /** 61 | * 添加消费者 62 | * @param consumers 63 | */ 64 | public void addConsumer(List consumers){ 65 | this.consumers = consumers; 66 | for(MagicConsumer consumer : this.consumers){ 67 | consumer.initProducerTaskCount(id); 68 | } 69 | } 70 | 71 | /** 72 | * 给消费者投喂任务 73 | * @param t 74 | */ 75 | public void publish(Object t){ 76 | if(freeConsumers == null || freeConsumers.size() == 0){ 77 | throw new NullPointerException(""); 78 | } 79 | for(MagicConsumer consumer : freeConsumers){ 80 | consumer.addTask(new TaskData(id, t)); 81 | } 82 | } 83 | 84 | /** 85 | * 生产数据 86 | */ 87 | @Override 88 | public void run(){ 89 | freeConsumers = consumers; 90 | 91 | while (shutdown == false){ 92 | try { 93 | // 生产数据，并投喂给消费者 94 | producer(); 95 | 96 | // 如果loop设置为false，代表只执行一次，所以直接跳出run方法 97 | if(loop == false){ 98 | return; 99 | } 100 | 101 | // 一轮投喂结束后，检测有没有空闲消费者，如果没有就阻塞在这，直到有空闲消费者出现 102 | await(); 103 | } catch (Exception e){ 104 | logger.error("DataProducer run error, id:{}", id, e); 105 | } 106 | } 107 | } 108 | 109 | /** 110 | * 检测有没有空闲消费者，如果没有就阻塞在这，直到有空闲消费者出现 111 | */ 112 | private void await(){ 113 | while (true) { 114 | try { 115 | // 检测有没有空闲消费者 116 | freeConsumers = new ArrayList<>(); 117 | for (MagicConsumer consumer : consumers) { 118 | if (consumer.isPending(id)) { 119 | freeConsumers.add(consumer); 120 | } else if (allFree) { 121 | // 如果allFree设置为true，那么只要发现了不空闲的消费者就会继续等待 122 | // 直到所有消费者都空闲了才进行下一轮 123 | freeConsumers = new ArrayList<>(); 124 | break; 125 | } 126 | } 127 | 128 | // 如果这里能拿到空闲的消费者，就直接进行下一轮 129 | // 而且生产者发布的数据只会推送到这几个消费者里面 130 | // 这是为了照顾消费者的消费能力，如果不管不顾随便投喂，会导致队列积压，造成内存溢出 131 | if (freeConsumers.size() > 0) { 132 | break; 133 | } 134 | 135 | // 没有就阻塞100毫秒，然后再检测一次 136 | Thread.sleep(100); 137 | logger.info("DataProducer execProducer awaiting, id:{}......", id); 138 | } catch (Exception e){ 139 | logger.error("DataProducer execProducer await error, id:{}", id, e); 140 | } 141 | } 142 | } 143 | 144 | /** 145 | * 停止数据生产 146 | */ 147 | public void shutDownNow(){ 148 | this.shutdown = true; 149 | } 150 | 151 | /** 152 | * 获取ID 153 | * @return 154 | */ 155 | public String getId(){ 156 | return this.getClass().getName(); 157 | } 158 | 159 | /** 160 | * 生产数据 161 | */ 162 | public abstract void producer(); 163 | 164 | /** 165 | * 是否持续生产 166 | * 如果设置为false，那么producer方法只会执行一次，完成后本线程将直接结束 167 | * 如果设置为true，那么producer方法会一直循环执行 168 | */ 169 | public boolean getLoop(){ 170 | return true; 171 | } 172 | 173 | /** 174 | * 是否等所有消费者都空了以后，才进行下一轮 175 | * 这个配置是跟loop配合使用的，如果loop为fale，那么这个配置将没有意义 176 | * @return 177 | */ 178 | public boolean getAllFree(){ 179 | return false; 180 | } 181 | } 182 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/MagicProducerAndConsumerManager.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | import com.magic.util.StringUtils; 4 | import com.magic.processing.commons.enums.ProducerAndConsumerEnum; 5 | 6 | import java.util.ArrayList; 7 | import java.util.HashMap; 8 | import java.util.List; 9 | import java.util.Map; 10 | import java.util.concurrent.LinkedBlockingQueue; 11 | import java.util.concurrent.ThreadPoolExecutor; 12 | import java.util.concurrent.TimeUnit; 13 | 14 | /** 15 | * 任务管理器 16 | */ 17 | public class MagicProducerAndConsumerManager { 18 | 19 | /** 20 | * 消费者集合 21 | */ 22 | private List consumers = new ArrayList<>(); 23 | 24 | /** 25 | * 生产者集合 26 | */ 27 | private List producers = new ArrayList<>(); 28 | 29 | /** 30 | * 生产者线程池 31 | */ 32 | private ThreadPoolExecutor producersPoolExecutor; 33 | 34 | /** 35 | * 消费者线程池 36 | */ 37 | private ThreadPoolExecutor consumersPoolExecutor; 38 | 39 | /** 40 | * 添加一个消费者 41 | * @param consumer 42 | * @return 43 | */ 44 | public MagicProducerAndConsumerManager addConsumer(MagicConsumer consumer) { 45 | consumers.add(consumer); 46 | return this; 47 | } 48 | 49 | /** 50 | * 添加一个生产者 51 | * @param producer 52 | * @return 53 | */ 54 | public MagicProducerAndConsumerManager addProducer(MagicProducer producer) { 55 | producers.add(producer); 56 | return this; 57 | } 58 | 59 | /** 60 | * 执行 61 | * @throws Exception 62 | */ 63 | public void start() throws Exception { 64 | // 初始化生产者线程池 65 | producersPoolExecutor = new ThreadPoolExecutor(consumers.size(), 66 | consumers.size(), 67 | 1, 68 | TimeUnit.MINUTES, 69 | new LinkedBlockingQueue<>()); 70 | 71 | // 初始化消费者线程池 72 | consumersPoolExecutor = new ThreadPoolExecutor(consumers.size(), 73 | consumers.size(), 74 | 1, 75 | TimeUnit.MINUTES, 76 | new LinkedBlockingQueue<>()); 77 | 78 | // 开启消费者线程 79 | Map idMap = new HashMap<>(); 80 | for (MagicConsumer consumer : consumers) { 81 | checkId(idMap, consumer.getId()); 82 | 83 | consumersPoolExecutor.submit(consumer); 84 | } 85 | 86 | // 开启生产者线程 87 | idMap = new HashMap<>(); 88 | for (MagicProducer producer : producers) { 89 | 90 | checkId(idMap, producer.getId()); 91 | 92 | producer.addConsumer(consumers); 93 | producersPoolExecutor.submit(producer); 94 | } 95 | } 96 | 97 | /** 98 | * 校验ID，避免出现相同的ID 99 | * @param idMap 100 | * @param id 101 | * @throws Exception 102 | */ 103 | private void checkId(Map idMap, String id) throws Exception { 104 | // 这里做了一个校验，避免出现相同的ID 105 | if(idMap.get(id) != null){ 106 | throw new Exception("duplicate producer id exists"); 107 | } 108 | idMap.put(id, true); 109 | } 110 | 111 | /** 112 | * 立刻关闭生产者或消费者线程池 113 | * @param producerAndConsumerEnum 114 | */ 115 | public void shutdown(ProducerAndConsumerEnum producerAndConsumerEnum) { 116 | if (ProducerAndConsumerEnum.CONSUMER.equals(producerAndConsumerEnum)) { 117 | shutdownAllConsumer(); 118 | } else if (ProducerAndConsumerEnum.PRODUCER.equals(producerAndConsumerEnum)) { 119 | shutdownAllProducer(); 120 | } else if (ProducerAndConsumerEnum.ALL.equals(producerAndConsumerEnum)) { 121 | shutdownAllProducer(); 122 | shutdownAllConsumer(); 123 | } 124 | } 125 | 126 | /** 127 | * 停止所有生产者 128 | */ 129 | public void shutdownAllProducer(){ 130 | shutdownProducer(null); 131 | } 132 | 133 | /** 134 | * 停止所有消费者 135 | */ 136 | public void shutdownAllConsumer(){ 137 | shutdownConsumer(null); 138 | } 139 | 140 | /** 141 | * 停止指定的生产者 142 | * @param id 143 | */ 144 | public void shutdownProducer(String id){ 145 | for(MagicProducer producer : producers){ 146 | if(StringUtils.isEmpty(id) || id.equals(producer.getId())){ 147 | producer.shutDownNow(); 148 | } 149 | } 150 | 151 | producersPoolExecutor.shutdownNow(); 152 | } 153 | 154 | /** 155 | * 停止指定的消费者 156 | * @param id 157 | */ 158 | public void shutdownConsumer(String id){ 159 | for(MagicConsumer consumer : consumers){ 160 | if(StringUtils.isEmpty(id) || id.equals(consumer.getId())){ 161 | consumer.shutDownNow(); 162 | } 163 | } 164 | 165 | consumersPoolExecutor.shutdownNow(); 166 | } 167 | } 168 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/TaskData.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | /** 4 | * 任务对象 5 | */ 6 | public class TaskData { 7 | 8 | /** 9 | * 生产者ID 10 | */ 11 | private String producerId; 12 | 13 | /** 14 | * 需要被消费者处理的任务数据 15 | */ 16 | private Object data; 17 | 18 | public TaskData(String producerId, Object data){ 19 | this.producerId = producerId; 20 | this.data = data; 21 | } 22 | 23 | public String getProducerId() { 24 | return producerId; 25 | } 26 | 27 | public void setProducerId(String producerId) { 28 | this.producerId = producerId; 29 | } 30 | 31 | public Object getData() { 32 | return data; 33 | } 34 | 35 | public void setData(Object data) { 36 | this.data = data; 37 | } 38 | } 39 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/MagicProperties.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties; 2 | 3 | import com.magic.util.MapsUtil; 4 | import com.magic.properties.cache.PropertiesCacheManager; 5 | import com.magic.properties.enums.ReadMode; 6 | import com.magic.properties.load.LoadProperties; 7 | import com.magic.properties.load.PropertiesEach; 8 | 9 | import java.util.Map; 10 | 11 | /** 12 | * 模块入口 13 | * 从这里，从这里你可以轻松加载和读取properties文件 14 | */ 15 | public class MagicProperties { 16 | 17 | /** 18 | * 默认的文件编码 19 | */ 20 | private static final String CHARSET_NAME = "UTF-8"; 21 | 22 | /** 23 | * 加载properties文件类 24 | */ 25 | private static LoadProperties loadProperties = new LoadProperties(); 26 | 27 | /** 28 | * 根据key获取value，如果文件里没有，会自动去环境变量里找 29 | * @param key 30 | * @return 31 | */ 32 | public static String get(String key){ 33 | String value = PropertiesCacheManager.getPropertiesMap().get(key); 34 | if(value == null){ 35 | value = System.getenv(key); 36 | } 37 | return value; 38 | } 39 | 40 | /** 41 | * 加载properties文件到本地缓存 42 | * @param path 43 | * @param readMode 44 | * @throws Exception 45 | */ 46 | public static void load(String path, ReadMode readMode) throws Exception { 47 | loadProperties.load(path, readMode, CHARSET_NAME); 48 | } 49 | 50 | /** 51 | * 加载properties文件里的键值对到本地缓存中 52 | * @param path 53 | * @param readMode 54 | * @param charset 55 | * @throws Exception 56 | */ 57 | public static void load(String path, ReadMode readMode, String charset) throws Exception { 58 | loadProperties.load(path, readMode, charset); 59 | } 60 | 61 | /** 62 | * 遍历properties里的键值对 63 | * @param propertiesEach 64 | */ 65 | public static void forEach(PropertiesEach propertiesEach){ 66 | if(MapsUtil.isEmpty(PropertiesCacheManager.getPropertiesMap())){ 67 | throw new NullPointerException("propertiesMap is empty"); 68 | } 69 | 70 | for(Map.Entry entry : PropertiesCacheManager.getPropertiesMap().entrySet()){ 71 | propertiesEach.each(entry.getKey(), entry.getValue()); 72 | } 73 | } 74 | } 75 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/cache/PropertiesCacheManager.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.cache; 2 | 3 | import java.util.Map; 4 | import java.util.concurrent.ConcurrentHashMap; 5 | 6 | /** 7 | * 本地缓存管理 8 | */ 9 | public class PropertiesCacheManager { 10 | 11 | /** 12 | * 本地缓存数据 13 | */ 14 | private static Map propertiesMap = new ConcurrentHashMap<>(); 15 | 16 | public static Map getPropertiesMap() { 17 | return propertiesMap; 18 | } 19 | 20 | public static void add(String key, String value){ 21 | propertiesMap.put(key, value); 22 | } 23 | } 24 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/enums/ReadMode.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.enums; 2 | 3 | /** 4 | * 加载properties文件的模式 5 | * 6 | * RESOURCE: 读取resource目录下的文件 7 | * LOCAL: 读取本机目录下的文件 8 | * REMOTE: 读取远程文件（http协议） 9 | */ 10 | public enum ReadMode { 11 | 12 | RESOURCE, LOCAL, REMOTE 13 | } 14 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/load/LoadProperties.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.load; 2 | 3 | import com.magic.properties.cache.PropertiesCacheManager; 4 | import com.magic.properties.enums.ReadMode; 5 | 6 | import java.io.FileInputStream; 7 | import java.io.InputStream; 8 | import java.io.InputStreamReader; 9 | import java.net.URL; 10 | import java.util.Properties; 11 | 12 | /** 13 | * 读取properties文件类 14 | */ 15 | public class LoadProperties { 16 | 17 | /** 18 | * 加载properties文件里的键值对到本地缓存中 19 | * @param path 20 | * @param readMode 21 | * @param charset 22 | * @throws Exception 23 | */ 24 | public void load(String path, ReadMode readMode, String charset) throws Exception { 25 | InputStream inputStream = null; 26 | InputStreamReader inputStreamReader = null; 27 | try { 28 | inputStream = getFileContent(path, readMode); 29 | inputStreamReader = new InputStreamReader(inputStream, charset); 30 | 31 | Properties p = new Properties(); 32 | p.load(inputStreamReader); 33 | 34 | for(Object key : p.keySet()){ 35 | String keyStr = key.toString(); 36 | String value = p.getProperty(keyStr); 37 | PropertiesCacheManager.add(keyStr, value); 38 | } 39 | } catch (Exception e) { 40 | throw e; 41 | } finally { 42 | if(inputStreamReader != null){ 43 | inputStreamReader.close(); 44 | } 45 | if(inputStream != null){ 46 | inputStream.close(); 47 | } 48 | } 49 | } 50 | 51 | /** 52 | * 将properties文件读取到InputStream 53 | * @param path 54 | * @param readMode 55 | * @return 56 | * @throws Exception 57 | */ 58 | private InputStream getFileContent(String path, ReadMode readMode) throws Exception { 59 | switch (readMode) { 60 | case RESOURCE: 61 | return LoadProperties.class.getResourceAsStream(path); 62 | case LOCAL: 63 | return new FileInputStream(path); 64 | case REMOTE: 65 | return new URL(path).openConnection().getInputStream(); 66 | } 67 | return null; 68 | } 69 | } 70 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/load/PropertiesEach.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.load; 2 | 3 | public interface PropertiesEach { 4 | 5 | void each(String key, String value); 6 | } 7 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/CollectionUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | import java.util.ArrayList; 4 | import java.util.Collection; 5 | 6 | /** 7 | * 集合工具类 8 | */ 9 | public class CollectionUtils { 10 | 11 | /** 12 | * 判断是否为空 13 | * @param collection 14 | * @return 15 | */ 16 | public static boolean isEmpty(Collection collection){ 17 | if(collection == null || collection.size() == 0){ 18 | return true; 19 | } 20 | return false; 21 | } 22 | 23 | /** 24 | * 判断是否不是空 25 | * @param collection 26 | * @return 27 | */ 28 | public static boolean isNotEmpty(Collection collection){ 29 | return isEmpty(collection) == false; 30 | } 31 | 32 | /** 33 | * 将list分成若干组，每组size条 34 | * 35 | * @param list 需要分组的集合 36 | * @param size 每组分多少条 37 | * @return 38 | * @param 39 | */ 40 | public static Collection> partition(Collection list, int size) { 41 | if(isEmpty(list)){ 42 | throw new NullPointerException("list is null"); 43 | } 44 | 45 | if(size <= 0){ 46 | throw new IllegalArgumentException("size cannot <= 0"); 47 | } 48 | Collection> array = new ArrayList<>(); 49 | 50 | Collection groupItem = new ArrayList<>(); 51 | for(T t : list){ 52 | if(groupItem.size() < size){ 53 | groupItem.add(t); 54 | continue; 55 | } 56 | array.add(groupItem); 57 | 58 | groupItem = new ArrayList<>(); 59 | groupItem.add(t); 60 | } 61 | 62 | if(groupItem.size() > 0){ 63 | array.add(groupItem); 64 | } 65 | 66 | return array; 67 | } 68 | } 69 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/JSONUtil.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | import com.alibaba.fastjson2.JSON; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.HashMap; 8 | import java.util.Map; 9 | 10 | /** 11 | * JSON 工具类 12 | */ 13 | public class JSONUtil { 14 | 15 | private static Logger logger = LoggerFactory.getLogger(JSONUtil.class); 16 | 17 | /** 18 | * 将JSON字符串或者一个实体对象转化成指定类型的实体对象 19 | * @param obj 20 | * @param cls 21 | * @param 22 | * @return 23 | */ 24 | public static T toJavaObject(Object obj, Class cls) { 25 | if(obj == null){ 26 | return null; 27 | } 28 | try { 29 | if(obj instanceof String){ 30 | return JSON.parseObject(obj.toString(), cls); 31 | } else { 32 | return JSON.parseObject(JSON.toJSONString(obj), cls); 33 | } 34 | } catch (Exception e){ 35 | logger.error("JSONUtil toJavaObject error", e); 36 | return null; 37 | } 38 | } 39 | 40 | /** 41 | * 将JSON字符串或者一个实体对象转化成Map集合 42 | * @param obj 43 | * @return 44 | */ 45 | public static Map toMap(Object obj) { 46 | if(obj instanceof Map){ 47 | return (Map) obj; 48 | } 49 | Map map = toJavaObject(obj, HashMap.class); 50 | if(map == null){ 51 | return new HashMap<>(); 52 | } 53 | return map; 54 | } 55 | 56 | /** 57 | * 将任意对象转化成JSON字符串 58 | * @param obj 59 | * @return 60 | */ 61 | public static String toJSONString(Object obj) { 62 | if(obj == null){ 63 | return ""; 64 | } 65 | try { 66 | if(obj instanceof String){ 67 | return obj.toString(); 68 | } else { 69 | return JSON.toJSONString(obj); 70 | } 71 | } catch (Exception e){ 72 | logger.error("Convert object to JSON string exception", e); 73 | return ""; 74 | } 75 | } 76 | } 77 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/MapsUtil.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | import java.util.ArrayList; 4 | import java.util.HashMap; 5 | import java.util.List; 6 | import java.util.Map; 7 | 8 | /** 9 | * Map工具类 10 | */ 11 | public class MapsUtil { 12 | 13 | /** 14 | * 判断是否为空 15 | * @param dataMap 16 | * @return 17 | */ 18 | public static boolean isEmpty(Map dataMap){ 19 | if(dataMap == null || dataMap.size() == 0){ 20 | return true; 21 | } 22 | 23 | return false; 24 | } 25 | 26 | /** 27 | * 判断是否不为空 28 | * @param dataMap 29 | * @return 30 | */ 31 | public static boolean isNotEmpty(Map dataMap){ 32 | return isEmpty(dataMap) == false; 33 | } 34 | 35 | /** 36 | * 将dataMap 分成 若干组，每组size条 37 | * @param dataMap 需要分组的Map 38 | * @param size 每组分多少条 39 | * @return 40 | * @param 41 | * @param 42 | */ 43 | public static List> partition(Map dataMap, int size) { 44 | if(isEmpty(dataMap)){ 45 | throw new NullPointerException("dataMap is empty"); 46 | } 47 | if(size <= 0){ 48 | throw new IllegalArgumentException("size cannot <= 0"); 49 | } 50 | 51 | List> dataList = new ArrayList<>(); 52 | 53 | Map mapGroup = new HashMap<>(); 54 | 55 | for(Map.Entry entry : dataMap.entrySet()){ 56 | if(mapGroup.size() < size){ 57 | mapGroup.put(entry.getKey(), entry.getValue()); 58 | continue; 59 | } 60 | 61 | dataList.add(mapGroup); 62 | 63 | mapGroup = new HashMap<>(); 64 | mapGroup.put(entry.getKey(), entry.getValue()); 65 | } 66 | 67 | if(mapGroup.size() > 0){ 68 | dataList.add(mapGroup); 69 | } 70 | 71 | return dataList; 72 | } 73 | } 74 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/StringUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | /** 4 | * 字符串工具类 5 | */ 6 | public class StringUtils { 7 | 8 | /** 9 | * 判断是否为空 10 | * @param s 11 | * @return 12 | */ 13 | public static boolean isEmpty(String s){ 14 | if(s == null || s.trim().equals("")){ 15 | return true; 16 | } 17 | return false; 18 | } 19 | 20 | /** 21 | * 判断是否不为空 22 | * @param s 23 | * @return 24 | */ 25 | public static boolean isNotEmpty(String s){ 26 | return isEmpty(s) == false; 27 | } 28 | } 29 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/db/SqlBuilderTest.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.db; 2 | 3 | import com.magic.db.conversion.SqlBuilder; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | 8 | public class SqlBuilderTest { 9 | 10 | public static void main(String[] args) { 11 | 12 | ParamPO paramPO = new ParamPO(); 13 | paramPO.setAge(10); 14 | paramPO.setHeight(1); 15 | 16 | List params = new ArrayList<>(); 17 | 18 | SqlBuilder sqlBuilder = SqlBuilder.builder() 19 | .init("select * from user_info where 1=1") 20 | .append("and age > {age}", paramPO.getAge() > 0, ()->{ 21 | params.add("123"); 22 | }) 23 | .append("and name = {name}", paramPO.getName() != null) 24 | .append("and height > {height}", paramPO.getHeight() != null); 25 | 26 | System.out.println(sqlBuilder.toString()); 27 | System.out.println(params); 28 | } 29 | 30 | static class ParamPO { 31 | private String name; 32 | private int age; 33 | private Integer height; 34 | 35 | public String getName() { 36 | return name; 37 | } 38 | 39 | public void setName(String name) { 40 | this.name = name; 41 | } 42 | 43 | public int getAge() { 44 | return age; 45 | } 46 | 47 | public void setAge(int age) { 48 | this.age = age; 49 | } 50 | 51 | public Integer getHeight() { 52 | return height; 53 | } 54 | 55 | public void setHeight(Integer height) { 56 | this.height = height; 57 | } 58 | } 59 | } 60 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/json/TestEntity.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.json; 2 | 3 | import com.alibaba.fastjson2.annotation.JSONField; 4 | 5 | import java.math.BigDecimal; 6 | import java.util.Date; 7 | 8 | public class TestEntity { 9 | 10 | @JSONField(name = "aa") 11 | private String a; 12 | 13 | private int b; 14 | 15 | @JSONField(format = "yyyy-MM-dd HH:mm:ss") 16 | private Date c; 17 | 18 | private BigDecimal d; 19 | 20 | public String getA() { 21 | return a; 22 | } 23 | 24 | public void setA(String a) { 25 | this.a = a; 26 | } 27 | 28 | public int getB() { 29 | return b; 30 | } 31 | 32 | public void setB(int b) { 33 | this.b = b; 34 | } 35 | 36 | public Date getC() { 37 | return c; 38 | } 39 | 40 | public void setC(Date c) { 41 | this.c = c; 42 | } 43 | 44 | public BigDecimal getD() { 45 | return d; 46 | } 47 | 48 | public void setD(BigDecimal d) { 49 | this.d = d; 50 | } 51 | } 52 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/json/TestEntity2.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.json; 2 | 3 | import com.alibaba.fastjson2.annotation.JSONField; 4 | 5 | import java.math.BigDecimal; 6 | import java.util.Date; 7 | 8 | public class TestEntity2 { 9 | 10 | @JSONField(name = "aa") 11 | private String a; 12 | 13 | private int b; 14 | 15 | private Date c; 16 | 17 | private BigDecimal d; 18 | 19 | public String getA() { 20 | return a; 21 | } 22 | 23 | public void setA(String a) { 24 | this.a = a; 25 | } 26 | 27 | public int getB() { 28 | return b; 29 | } 30 | 31 | public void setB(int b) { 32 | this.b = b; 33 | } 34 | 35 | public Date getC() { 36 | return c; 37 | } 38 | 39 | public void setC(Date c) { 40 | this.c = c; 41 | } 42 | 43 | public BigDecimal getD() { 44 | return d; 45 | } 46 | 47 | public void setD(BigDecimal d) { 48 | this.d = d; 49 | } 50 | } 51 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/json/TestJsonUtil.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.json; 2 | 3 | import com.magic.util.JSONUtil; 4 | 5 | import java.math.BigDecimal; 6 | import java.util.Date; 7 | import java.util.Map; 8 | 9 | public class TestJsonUtil { 10 | 11 | public static void main(String[] args) { 12 | TestEntity testEntity = new TestEntity(); 13 | testEntity.setA("!"); 14 | testEntity.setB(22); 15 | testEntity.setC(new Date()); 16 | testEntity.setD(BigDecimal.ONE); 17 | 18 | String s = JSONUtil.toJSONString(testEntity); 19 | 20 | Map map = JSONUtil.toMap(testEntity); 21 | 22 | TestEntity2 testEntity2 = JSONUtil.toJavaObject(map, TestEntity2.class); 23 | 24 | System.out.println("ok"); 25 | } 26 | } 27 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/collcetion/DemoAsyncProcessingCollection.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.collcetion; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | 6 | import java.util.ArrayList; 7 | import java.util.List; 8 | import java.util.concurrent.TimeUnit; 9 | 10 | public class DemoAsyncProcessingCollection { 11 | 12 | public static void main(String[] args) { 13 | 14 | // 假如有一个List需要并发处理里面的元素 15 | List dataList = new ArrayList<>(); 16 | dataList.add("a"); 17 | 18 | // 只需要将他传入syncRunner方法即可，每个参数的具体含义可以参考文档 19 | MagicDataProcessing.getConcurrentCollectionAsync() 20 | .asyncRunner(dataList, data -> { 21 | 22 | // 这里可以拿到List里的元素，进行处理 23 | System.out.println(data); 24 | 25 | }, 10, 1, TimeUnit.MINUTES) 26 | .start(); 27 | 28 | 29 | // 也可以用syncGroupRunner方法，每个参数的具体含义可以参考文档 30 | MagicDataProcessing.getConcurrentCollectionAsync() 31 | .asyncGroupRunner(dataList, data -> { 32 | 33 | // 这里可以拿到List里的元素，进行处理 34 | System.out.println(data); 35 | 36 | }, 10, 1, TimeUnit.MINUTES) 37 | .start(); 38 | 39 | System.out.println(1); 40 | } 41 | } 42 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/collcetion/DemoSyncProcessingCollection.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.collcetion; 2 | 3 | import com.magic.processing.MagicDataProcessing; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | import java.util.concurrent.TimeUnit; 8 | 9 | public class DemoSyncProcessingCollection { 10 | 11 | public static void main(String[] args) { 12 | // 假如有一个List需要并发处理里面的元素 13 | List dataList = new ArrayList<>(); 14 | dataList.add("b"); 15 | 16 | // 只需要将他传入syncRunner方法即可，每个参数的具体含义可以参考文档 17 | MagicDataProcessing.getConcurrentCollectionSync().syncRunner(dataList, data -> { 18 | 19 | // 这里可以拿到List里的元素，进行处理 20 | System.out.println(data); 21 | 22 | }, 10, 1, TimeUnit.MINUTES); 23 | 24 | // 也可以用syncGroupRunner方法，每个参数的具体含义可以参考文档 25 | MagicDataProcessing.getConcurrentCollectionSync().syncGroupRunner(dataList, data -> { 26 | 27 | // 这里是每一组List 28 | for(String item : data){ 29 | // 这里可以拿到List里的元素，进行处理 30 | System.out.println(item); 31 | } 32 | 33 | }, 10, 1, TimeUnit.MINUTES); 34 | } 35 | } 36 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/map/DemoAsyncProcessingMap.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.map; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | 6 | import java.util.HashMap; 7 | import java.util.Map; 8 | 9 | public class DemoAsyncProcessingMap { 10 | 11 | public static void main(String[] args) { 12 | Map dataMap = new HashMap<>(); 13 | dataMap.put("a", "aa"); 14 | 15 | MagicDataProcessing.getConcurrentMapAsync().asyncRunner(dataMap, (key, value) -> { 16 | System.out.println(key + "-" + value); 17 | }).start(); 18 | 19 | MagicDataProcessing.getConcurrentMapAsync().asyncGroupRunner(dataMap, data -> { 20 | System.out.println(data); 21 | }).start(); 22 | } 23 | } 24 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/map/DemoSyncProcessingMap.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.map; 2 | 3 | import com.magic.processing.MagicDataProcessing; 4 | 5 | import java.util.HashMap; 6 | import java.util.Map; 7 | 8 | public class DemoSyncProcessingMap { 9 | 10 | public static void main(String[] args) { 11 | Map dataMap = new HashMap<>(); 12 | dataMap.put("a", "aa"); 13 | 14 | MagicDataProcessing.getConcurrentMapSync().syncRunner(dataMap, (key, value) -> { 15 | System.out.println(key + "-" + value); 16 | }); 17 | 18 | MagicDataProcessing.getConcurrentMapSync().syncGroupRunner(dataMap, data -> { 19 | // 这里是每一组Map 20 | for(Map.Entry entry : data.entrySet()){ 21 | // 这里可以拿到Map里的每一个元素 22 | System.out.println(entry.getKey()); 23 | System.out.println(entry.getValue()); 24 | } 25 | }); 26 | } 27 | } 28 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/task/DemoConcurrentTaskSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.task; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | import com.magic.processing.commons.enums.ConcurrentTaskResultEnum; 6 | 7 | import java.util.concurrent.TimeUnit; 8 | 9 | public class DemoConcurrentTaskSync { 10 | 11 | public static void main(String[] args) { 12 | MagicDataProcessing.getConcurrentTaskSync() 13 | .setTimeout(1000) // 超时时间 14 | .setTimeUnit(TimeUnit.MILLISECONDS) // 超时时间的单位 15 | .add(() -> { // 添加一个任务 16 | 17 | System.out.println("1"); 18 | 19 | // 在这里可以写上任务的业务逻辑 20 | Integer.parseInt("1"); 21 | }, (result, e) -> { 22 | // 此任务处理后的回调 23 | System.out.println("1"+result); 24 | 25 | if(result.equals(ConcurrentTaskResultEnum.FAIL)){ 26 | // 任务失败，此时e里面有详细的异常信息 27 | e.printStackTrace(); 28 | } else if(result.equals(ConcurrentTaskResultEnum.SUCCESS)) { 29 | // 任务成功，此时e是空的 30 | } 31 | }) 32 | .add(() -> { // 添加一个任务 33 | 34 | // 在这里可以写上任务的业务逻辑 35 | System.out.println("2"); 36 | Integer.parseInt("2A"); 37 | }, (result, e) -> { 38 | // 此任务处理后的回调 39 | System.out.println("2"+result); 40 | 41 | if(result.equals(ConcurrentTaskResultEnum.FAIL)){ 42 | // 任务失败，此时e里面有详细的异常信息 43 | e.printStackTrace(); 44 | } else if(result.equals(ConcurrentTaskResultEnum.SUCCESS)) { 45 | // 任务成功，此时e是空的 46 | } 47 | }) 48 | .start(); 49 | } 50 | } 51 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoConsumerOne.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.pac.MagicConsumer; 5 | 6 | public class DemoConsumerOne extends MagicConsumer { 7 | 8 | @Override 9 | public long getExecFrequencyLimit() { 10 | return 500; 11 | } 12 | 13 | @Override 14 | public void doRunner(Object data) { 15 | try { 16 | Thread.sleep(1000); 17 | 18 | System.out.println("dataType: " + data + "_" + data.getClass().getSimpleName()); 19 | System.out.println("taskCount: " + this.getTaskCount()); 20 | System.out.println("data:" + data); 21 | System.out.println("------------------------------------------------"); 22 | } catch (Exception e) { 23 | e.printStackTrace(); 24 | } 25 | } 26 | } 27 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoConsumerThree.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | import com.magic.processing.pac.MagicConsumer; 4 | 5 | public class DemoConsumerThree extends MagicConsumer { 6 | 7 | @Override 8 | public void doRunner(Object data) { 9 | try { 10 | Thread.sleep(10000); 11 | 12 | System.out.println("dataType3: " + data + "_" + data.getClass().getSimpleName()); 13 | System.out.println("taskCount3: " + this.getTaskCount()); 14 | System.out.println("data3:" + data); 15 | System.out.println("3------------------------------------------------"); 16 | } catch (Exception e) { 17 | e.printStackTrace(); 18 | } 19 | } 20 | } 21 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoConsumerTwo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | import com.magic.processing.pac.MagicConsumer; 4 | 5 | public class DemoConsumerTwo extends MagicConsumer { 6 | 7 | @Override 8 | public void doRunner(Object data) { 9 | try { 10 | Thread.sleep(1000); 11 | 12 | System.out.println("dataType2: " + data + "_" + data.getClass().getSimpleName()); 13 | System.out.println("taskCount2: " + this.getTaskCount()); 14 | System.out.println("data2:" + data); 15 | System.out.println("2------------------------------------------------"); 16 | } catch (Exception e) { 17 | e.printStackTrace(); 18 | } 19 | } 20 | } 21 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoProducerOne.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.pac.MagicProducer; 5 | 6 | public class DemoProducerOne extends MagicProducer { 7 | 8 | @Override 9 | public void producer() { 10 | for (int i = 0; i < 20; i++) { 11 | try { 12 | this.publish("000" + i); 13 | } catch (Exception e) { 14 | e.printStackTrace(); 15 | } 16 | } 17 | } 18 | } 19 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoProducerTwo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.pac.MagicProducer; 5 | 6 | import java.util.ArrayList; 7 | 8 | public class DemoProducerTwo extends MagicProducer { 9 | 10 | @Override 11 | public void producer() { 12 | for (int i = 0; i < 20; i++) { 13 | try { 14 | this.publish(new ArrayList<>()); 15 | } catch (Exception e) { 16 | e.printStackTrace(); 17 | } 18 | } 19 | } 20 | } 21 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/ProducerAndConsumerDemo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | 6 | public class ProducerAndConsumerDemo { 7 | 8 | public static void main(String[] args) throws Exception { 9 | 10 | DemoProducerOne producerOne = new DemoProducerOne(); 11 | DemoProducerTwo producerTwo = new DemoProducerTwo(); 12 | 13 | DemoConsumerOne one = new DemoConsumerOne(); 14 | DemoConsumerTwo two = new DemoConsumerTwo(); 15 | DemoConsumerThree three = new DemoConsumerThree(); 16 | 17 | MagicDataProcessing.getProducerAndConsumerManager() 18 | .addProducer(producerOne) 19 | .addProducer(producerTwo) 20 | .addConsumer(one) 21 | .addConsumer(two) 22 | .addConsumer(three) 23 | .start(); 24 | 25 | new Thread(()->{ 26 | while (true){ 27 | 28 | try { 29 | System.out.println("taskCount1, 1p:"+one.getProducerTaskCount(producerOne.getId()) +", 2p:"+one.getProducerTaskCount(producerTwo.getId())); 30 | System.out.println("taskCount2, 1p:"+two.getProducerTaskCount(producerOne.getId()) +", 2p:"+two.getProducerTaskCount(producerTwo.getId())); 31 | System.out.println("taskCount3, 1p:"+three.getProducerTaskCount(producerOne.getId()) +", 2p:"+three.getProducerTaskCount(producerTwo.getId())); 32 | System.out.println("----------------------------------------"); 33 | Thread.sleep(1000); 34 | } catch (Exception e){ 35 | e.printStackTrace(); 36 | } 37 | } 38 | }).start(); 39 | 40 | while (true){ 41 | Thread.sleep(10000000000L); 42 | } 43 | 44 | } 45 | } 46 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/properties/MagicPropertiesDemo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.properties; 2 | 3 | import com.magic.properties.MagicProperties; 4 | import com.magic.properties.enums.ReadMode; 5 | 6 | public class MagicPropertiesDemo { 7 | 8 | public static void main(String[] args) { 9 | try { 10 | MagicProperties.load("/home/yuye/test.properties", ReadMode.LOCAL, "UTF-8"); 11 | 12 | MagicProperties.forEach((key, value)->{ 13 | System.out.println(key); 14 | System.out.println(value); 15 | }); 16 | } catch (Exception e){ 17 | e.printStackTrace(); 18 | } 19 | } 20 | } 21 | --------------------------------------------------------------------------------