├── src ├── main │ └── java │ │ └── com │ │ └── magic │ │ ├── properties │ │ ├── load │ │ │ ├── PropertiesEach.java │ │ │ └── LoadProperties.java │ │ ├── enums │ │ │ └── ReadMode.java │ │ ├── cache │ │ │ └── PropertiesCacheManager.java │ │ └── MagicProperties.java │ │ ├── processing │ │ ├── commons │ │ │ ├── enums │ │ │ │ ├── ConcurrentTaskResultEnum.java │ │ │ │ └── ProducerAndConsumerEnum.java │ │ │ └── helper │ │ │ │ └── ProcessingHelper.java │ │ ├── concurrent │ │ │ ├── map │ │ │ │ ├── ConcurrentMapRunner.java │ │ │ │ ├── ConcurrentMapGroupRunner.java │ │ │ │ ├── ConcurrentMapAsync.java │ │ │ │ └── ConcurrentMapSync.java │ │ │ ├── collection │ │ │ │ ├── ConcurrentCollectionRunner.java │ │ │ │ ├── ConcurrentCollectionGroupRunner.java │ │ │ │ ├── ConcurrentCollectionAsync.java │ │ │ │ └── ConcurrentCollectionSync.java │ │ │ └── task │ │ │ │ └── ConcurrentTaskSync.java │ │ ├── pac │ │ │ ├── TaskData.java │ │ │ ├── MagicProducerAndConsumerManager.java │ │ │ ├── MagicProducer.java │ │ │ └── MagicConsumer.java │ │ └── MagicDataProcessing.java │ │ ├── db │ │ ├── model │ │ │ ├── SqlBuilderModel.java │ │ │ ├── Condition.java │ │ │ ├── PageParamModel.java │ │ │ └── PageModel.java │ │ ├── conversion │ │ │ ├── ConditionBuilder.java │ │ │ ├── SqlBuilder.java │ │ │ └── SqlConversion.java │ │ ├── MagicDBUtils.java │ │ ├── CustomSqlUtils.java │ │ └── SingleTableUtils.java │ │ └── util │ │ ├── StringUtils.java │ │ ├── CollectionUtils.java │ │ ├── MapsUtil.java │ │ ├── DBParamUtil.java │ │ └── JSONUtil.java └── test │ └── java │ └── com │ └── magic │ └── demo │ ├── processing │ ├── pac │ │ ├── DemoProducerOne.java │ │ ├── DemoProducerTwo.java │ │ ├── DemoConsumerTwo.java │ │ ├── DemoConsumerThree.java │ │ ├── DemoConsumerOne.java │ │ └── ProducerAndConsumerDemo.java │ └── concurrent │ │ ├── map │ │ ├── DemoAsyncProcessingMap.java │ │ └── DemoSyncProcessingMap.java │ │ ├── task │ │ └── DemoConcurrentTaskSync.java │ │ └── collcetion │ │ ├── DemoSyncProcessingCollection.java │ │ └── DemoAsyncProcessingCollection.java │ ├── properties │ └── MagicPropertiesDemo.java │ ├── json │ ├── TestJsonUtil.java │ ├── TestEntity2.java │ └── TestEntity.java │ └── db │ └── SqlBuilderTest.java ├── .gitignore ├── .github └── FUNDING.yml ├── LICENSE ├── pom.xml ├── README.md └── Document.md /src/main/java/com/magic/properties/load/PropertiesEach.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.load; 2 | 3 | public interface PropertiesEach { 4 | 5 | void each(String key, String value); 6 | } 7 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/commons/enums/ConcurrentTaskResultEnum.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.commons.enums; 2 | 3 | /** 4 | * 异步执行任务，处理结果的枚举类 5 | */ 6 | public enum ConcurrentTaskResultEnum { 7 | 8 | SUCCESS, // 成功 9 | FAIL; // 失败 10 | } 11 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | /** 4 | * 执行器，每次执行一条数据 5 | */ 6 | public interface ConcurrentMapRunner { 7 | 8 | void run(K key, V value) throws Throwable; 9 | } 10 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/commons/enums/ProducerAndConsumerEnum.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.commons.enums; 2 | 3 | /** 4 | * 生产者与消费者枚举类 5 | */ 6 | public enum ProducerAndConsumerEnum { 7 | CONSUMER, // 消费者 8 | PRODUCER, // 生产者 9 | ALL; // 所有 10 | } 11 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | /** 4 | * 执行器，每次执行一条数据 5 | * @param 6 | */ 7 | public interface ConcurrentCollectionRunner { 8 | 9 | void run(T t) throws Throwable; 10 | } 11 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/enums/ReadMode.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.enums; 2 | 3 | /** 4 | * 加载properties文件的模式 5 | * 6 | * RESOURCE: 读取resource目录下的文件 7 | * LOCAL: 读取本机目录下的文件 8 | * REMOTE: 读取远程文件（http协议） 9 | */ 10 | public enum ReadMode { 11 | 12 | RESOURCE, LOCAL, REMOTE 13 | } 14 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapGroupRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | import java.util.Map; 4 | 5 | /** 6 | * 执行器，每次执行一组数据 7 | * @param 8 | */ 9 | public interface ConcurrentMapGroupRunner { 10 | 11 | void run(Map item) throws Throwable; 12 | } 13 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionGroupRunner.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | 4 | import java.util.Collection; 5 | 6 | /** 7 | * 执行器，每次执行一组数据 8 | * @param 9 | */ 10 | public interface ConcurrentCollectionGroupRunner { 11 | 12 | void run(Collection t) throws Throwable; 13 | } 14 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoProducerOne.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.pac.MagicProducer; 5 | 6 | public class DemoProducerOne extends MagicProducer { 7 | 8 | @Override 9 | public void producer() { 10 | for (int i = 0; i < 20; i++) { 11 | try { 12 | this.publish("000" + i); 13 | } catch (Exception e) { 14 | e.printStackTrace(); 15 | } 16 | } 17 | } 18 | } 19 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoProducerTwo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.pac.MagicProducer; 5 | 6 | import java.util.ArrayList; 7 | 8 | public class DemoProducerTwo extends MagicProducer { 9 | 10 | @Override 11 | public void producer() { 12 | for (int i = 0; i < 20; i++) { 13 | try { 14 | this.publish(new ArrayList<>()); 15 | } catch (Exception e) { 16 | e.printStackTrace(); 17 | } 18 | } 19 | } 20 | } 21 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/SqlBuilderModel.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | /** 4 | * 处理完SQL里的占位符和参数以后，返回的对象 5 | */ 6 | public class SqlBuilderModel { 7 | 8 | private String sql; 9 | 10 | private Object[] params; 11 | 12 | public String getSql() { 13 | return sql; 14 | } 15 | 16 | public void setSql(String sql) { 17 | this.sql = sql; 18 | } 19 | 20 | public Object[] getParams() { 21 | return params; 22 | } 23 | 24 | public void setParams(Object[] params) { 25 | this.params = params; 26 | } 27 | } 28 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/StringUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | /** 4 | * 字符串工具类 5 | */ 6 | public class StringUtils { 7 | 8 | /** 9 | * 判断是否为空 10 | * @param s 11 | * @return 12 | */ 13 | public static boolean isEmpty(String s){ 14 | if(s == null || s.trim().equals("")){ 15 | return true; 16 | } 17 | return false; 18 | } 19 | 20 | /** 21 | * 判断是否不为空 22 | * @param s 23 | * @return 24 | */ 25 | public static boolean isNotEmpty(String s){ 26 | return isEmpty(s) == false; 27 | } 28 | } 29 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/cache/PropertiesCacheManager.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.cache; 2 | 3 | import java.util.Map; 4 | import java.util.concurrent.ConcurrentHashMap; 5 | 6 | /** 7 | * 本地缓存管理 8 | */ 9 | public class PropertiesCacheManager { 10 | 11 | /** 12 | * 本地缓存数据 13 | */ 14 | private static Map propertiesMap = new ConcurrentHashMap<>(); 15 | 16 | public static Map getPropertiesMap() { 17 | return propertiesMap; 18 | } 19 | 20 | public static void add(String key, String value){ 21 | propertiesMap.put(key, value); 22 | } 23 | } 24 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/properties/MagicPropertiesDemo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.properties; 2 | 3 | import com.magic.properties.MagicProperties; 4 | import com.magic.properties.enums.ReadMode; 5 | 6 | public class MagicPropertiesDemo { 7 | 8 | public static void main(String[] args) { 9 | try { 10 | MagicProperties.load("/home/yuye/test.properties", ReadMode.LOCAL, "UTF-8"); 11 | 12 | MagicProperties.forEach((key, value)->{ 13 | System.out.println(key); 14 | System.out.println(value); 15 | }); 16 | } catch (Exception e){ 17 | e.printStackTrace(); 18 | } 19 | } 20 | } 21 | -------------------------------------------------------------------------------- /.gitignore: -------------------------------------------------------------------------------- 1 | target/ 2 | !.mvn/wrapper/maven-wrapper.jar 3 | !**/src/main/**/target/ 4 | !**/src/test/**/target/ 5 | 6 | ### IntelliJ IDEA ### 7 | .idea/modules.xml 8 | .idea/jarRepositories.xml 9 | .idea/compiler.xml 10 | .idea/libraries/ 11 | *.iws 12 | *.iml 13 | *.ipr 14 | 15 | ### Eclipse ### 16 | .apt_generated 17 | .classpath 18 | .factorypath 19 | .project 20 | .settings 21 | .springBeans 22 | .sts4-cache 23 | 24 | ### NetBeans ### 25 | /nbproject/private/ 26 | /nbbuild/ 27 | /dist/ 28 | /nbdist/ 29 | /.nb-gradle/ 30 | build/ 31 | !**/src/main/**/build/ 32 | !**/src/test/**/build/ 33 | 34 | ### VS Code ### 35 | .vscode/ 36 | 37 | ### Mac OS ### 38 | .DS_Store 39 | 40 | .idea 41 | .idea/ -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoConsumerTwo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | import com.magic.processing.pac.MagicConsumer; 4 | 5 | public class DemoConsumerTwo extends MagicConsumer { 6 | 7 | @Override 8 | public void doRunner(Object data) { 9 | try { 10 | Thread.sleep(1000); 11 | 12 | System.out.println("dataType2: " + data + "_" + data.getClass().getSimpleName()); 13 | System.out.println("taskCount2: " + this.getTaskCount()); 14 | System.out.println("data2:" + data); 15 | System.out.println("2------------------------------------------------"); 16 | } catch (Exception e) { 17 | e.printStackTrace(); 18 | } 19 | } 20 | } 21 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoConsumerThree.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | import com.magic.processing.pac.MagicConsumer; 4 | 5 | public class DemoConsumerThree extends MagicConsumer { 6 | 7 | @Override 8 | public void doRunner(Object data) { 9 | try { 10 | Thread.sleep(10000); 11 | 12 | System.out.println("dataType3: " + data + "_" + data.getClass().getSimpleName()); 13 | System.out.println("taskCount3: " + this.getTaskCount()); 14 | System.out.println("data3:" + data); 15 | System.out.println("3------------------------------------------------"); 16 | } catch (Exception e) { 17 | e.printStackTrace(); 18 | } 19 | } 20 | } 21 | -------------------------------------------------------------------------------- /.github/FUNDING.yml: -------------------------------------------------------------------------------- 1 | # These are supported funding model platforms 2 | 3 | github: # Replace with up to 4 GitHub Sponsors-enabled usernames e.g., [user1, user2] 4 | patreon: # yuyenews 5 | open_collective: # Replace with a single Open Collective username 6 | ko_fi: # Replace with a single Ko-fi username 7 | tidelift: # Replace with a single Tidelift platform-name/package-name e.g., npm/babel 8 | community_bridge: # Replace with a single Community Bridge project-name e.g., cloud-foundry 9 | liberapay: # Replace with a single Liberapay username 10 | issuehunt: # Replace with a single IssueHunt username 11 | otechie: # Replace with a single Otechie username 12 | custom: ['https://afdian.com/a/magicianio','https://magician-io.com/sponsor/sponsor.html','https://www.paypal.me/yuye666'] 13 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/json/TestJsonUtil.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.json; 2 | 3 | import com.magic.util.JSONUtil; 4 | 5 | import java.math.BigDecimal; 6 | import java.util.Date; 7 | import java.util.Map; 8 | 9 | public class TestJsonUtil { 10 | 11 | public static void main(String[] args) { 12 | TestEntity testEntity = new TestEntity(); 13 | testEntity.setA("!"); 14 | testEntity.setB(22); 15 | testEntity.setC(new Date()); 16 | testEntity.setD(BigDecimal.ONE); 17 | 18 | String s = JSONUtil.toJSONString(testEntity); 19 | 20 | Map map = JSONUtil.toMap(testEntity); 21 | 22 | TestEntity2 testEntity2 = JSONUtil.toJavaObject(map, TestEntity2.class); 23 | 24 | System.out.println("ok"); 25 | } 26 | } 27 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/map/DemoAsyncProcessingMap.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.map; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | 6 | import java.util.HashMap; 7 | import java.util.Map; 8 | 9 | public class DemoAsyncProcessingMap { 10 | 11 | public static void main(String[] args) { 12 | Map dataMap = new HashMap<>(); 13 | dataMap.put("a", "aa"); 14 | 15 | MagicDataProcessing.getConcurrentMapAsync().asyncRunner(dataMap, (key, value) -> { 16 | System.out.println(key + "-" + value); 17 | }).start(); 18 | 19 | MagicDataProcessing.getConcurrentMapAsync().asyncGroupRunner(dataMap, data -> { 20 | System.out.println(data); 21 | }).start(); 22 | } 23 | } 24 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/task/DemoConcurrentTaskSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.task; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | 6 | import java.util.concurrent.TimeUnit; 7 | 8 | public class DemoConcurrentTaskSync { 9 | 10 | public static void main(String[] args) { 11 | MagicDataProcessing.getConcurrentTaskSync() 12 | .setTimeout(1000) // 超时时间 13 | .setTimeUnit(TimeUnit.MILLISECONDS) // 超时时间的单位 14 | .add(() -> { // 添加一个任务 15 | 16 | System.out.println("1"); 17 | 18 | }) 19 | .add(() -> { // 添加一个任务 20 | 21 | System.out.println("2"); 22 | }) 23 | .start(); 24 | } 25 | } 26 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/TaskData.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | /** 4 | * 任务对象 5 | */ 6 | public class TaskData { 7 | 8 | /** 9 | * 生产者ID 10 | */ 11 | private String producerId; 12 | 13 | /** 14 | * 需要被消费者处理的任务数据 15 | */ 16 | private Object data; 17 | 18 | public TaskData(String producerId, Object data){ 19 | this.producerId = producerId; 20 | this.data = data; 21 | } 22 | 23 | public String getProducerId() { 24 | return producerId; 25 | } 26 | 27 | public void setProducerId(String producerId) { 28 | this.producerId = producerId; 29 | } 30 | 31 | public Object getData() { 32 | return data; 33 | } 34 | 35 | public void setData(Object data) { 36 | this.data = data; 37 | } 38 | } 39 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/DemoConsumerOne.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.pac.MagicConsumer; 5 | 6 | public class DemoConsumerOne extends MagicConsumer { 7 | 8 | @Override 9 | public long getExecFrequencyLimit() { 10 | return 500; 11 | } 12 | 13 | @Override 14 | public void doRunner(Object data) { 15 | try { 16 | Thread.sleep(1000); 17 | 18 | System.out.println("dataType: " + data + "_" + data.getClass().getSimpleName()); 19 | System.out.println("taskCount: " + this.getTaskCount()); 20 | System.out.println("data:" + data); 21 | System.out.println("------------------------------------------------"); 22 | } catch (Exception e) { 23 | e.printStackTrace(); 24 | } 25 | } 26 | } 27 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/Condition.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | /** 4 | * 条件对象 5 | */ 6 | public class Condition { 7 | 8 | private String key; 9 | 10 | private Object[] val; 11 | 12 | public static final String NOT_WHERE = "6ca6d99a-2ca3-4734-921d-f3718bb7e179"; 13 | 14 | public String getKey() { 15 | return key; 16 | } 17 | 18 | public void setKey(String key) { 19 | this.key = key; 20 | } 21 | 22 | public Object[] getVal() { 23 | return val; 24 | } 25 | 26 | public void setVal(Object[] val) { 27 | this.val = val; 28 | } 29 | 30 | /** 31 | * 创建并获取一个条件对象 32 | * @param key 33 | * @param val 34 | * @return 35 | */ 36 | public static Condition get(String key, Object... val){ 37 | Condition condition = new Condition(); 38 | condition.setKey(key); 39 | condition.setVal(val); 40 | return condition; 41 | } 42 | } 43 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/json/TestEntity2.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.json; 2 | 3 | import com.alibaba.fastjson2.annotation.JSONField; 4 | 5 | import java.math.BigDecimal; 6 | import java.util.Date; 7 | 8 | public class TestEntity2 { 9 | 10 | @JSONField(name = "aa") 11 | private String a; 12 | 13 | private int b; 14 | 15 | private Date c; 16 | 17 | private BigDecimal d; 18 | 19 | public String getA() { 20 | return a; 21 | } 22 | 23 | public void setA(String a) { 24 | this.a = a; 25 | } 26 | 27 | public int getB() { 28 | return b; 29 | } 30 | 31 | public void setB(int b) { 32 | this.b = b; 33 | } 34 | 35 | public Date getC() { 36 | return c; 37 | } 38 | 39 | public void setC(Date c) { 40 | this.c = c; 41 | } 42 | 43 | public BigDecimal getD() { 44 | return d; 45 | } 46 | 47 | public void setD(BigDecimal d) { 48 | this.d = d; 49 | } 50 | } 51 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/map/DemoSyncProcessingMap.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.map; 2 | 3 | import com.magic.processing.MagicDataProcessing; 4 | 5 | import java.util.HashMap; 6 | import java.util.Map; 7 | 8 | public class DemoSyncProcessingMap { 9 | 10 | public static void main(String[] args) { 11 | Map dataMap = new HashMap<>(); 12 | dataMap.put("a", "aa"); 13 | 14 | MagicDataProcessing.getConcurrentMapSync().syncRunner(dataMap, (key, value) -> { 15 | System.out.println(key + "-" + value); 16 | }); 17 | 18 | MagicDataProcessing.getConcurrentMapSync().syncGroupRunner(dataMap, data -> { 19 | // 这里是每一组Map 20 | for(Map.Entry entry : data.entrySet()){ 21 | // 这里可以拿到Map里的每一个元素 22 | System.out.println(entry.getKey()); 23 | System.out.println(entry.getValue()); 24 | } 25 | }); 26 | } 27 | } 28 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/json/TestEntity.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.json; 2 | 3 | import com.alibaba.fastjson2.annotation.JSONField; 4 | 5 | import java.math.BigDecimal; 6 | import java.util.Date; 7 | 8 | public class TestEntity { 9 | 10 | @JSONField(name = "aa") 11 | private String a; 12 | 13 | private int b; 14 | 15 | @JSONField(format = "yyyy-MM-dd HH:mm:ss") 16 | private Date c; 17 | 18 | private BigDecimal d; 19 | 20 | public String getA() { 21 | return a; 22 | } 23 | 24 | public void setA(String a) { 25 | this.a = a; 26 | } 27 | 28 | public int getB() { 29 | return b; 30 | } 31 | 32 | public void setB(int b) { 33 | this.b = b; 34 | } 35 | 36 | public Date getC() { 37 | return c; 38 | } 39 | 40 | public void setC(Date c) { 41 | this.c = c; 42 | } 43 | 44 | public BigDecimal getD() { 45 | return d; 46 | } 47 | 48 | public void setD(BigDecimal d) { 49 | this.d = d; 50 | } 51 | } 52 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/conversion/ConditionBuilder.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.conversion; 2 | 3 | import com.magic.db.model.Condition; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | 8 | /** 9 | * 条件构造器 10 | */ 11 | public class ConditionBuilder { 12 | 13 | /** 14 | * 条件集合 15 | */ 16 | private List conditionList; 17 | 18 | /** 19 | * 创建一个条件构造器对象 20 | * @return 21 | */ 22 | public static ConditionBuilder createCondition(){ 23 | ConditionBuilder conditionBuilder = new ConditionBuilder(); 24 | conditionBuilder.conditionList = new ArrayList<>(); 25 | return conditionBuilder; 26 | } 27 | 28 | /** 29 | * 添加一个条件 30 | * @param key 31 | * @param val 32 | * @return 33 | */ 34 | public ConditionBuilder add(String key, Object... val){ 35 | conditionList.add(Condition.get(key, val)); 36 | return this; 37 | } 38 | 39 | /** 40 | * 获取条件集合 41 | * @return 42 | */ 43 | public List build(){ 44 | return conditionList; 45 | } 46 | } 47 | -------------------------------------------------------------------------------- /LICENSE: -------------------------------------------------------------------------------- 1 | The MIT License (MIT) 2 | 3 | Copyright 2024, Yuye 4 | 5 | Permission is hereby granted, free of charge, to any person obtaining a copy 6 | of this software and associated documentation files (the "Software"), to deal 7 | in the Software without restriction, including without limitation the rights 8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 9 | copies of the Software, and to permit persons to whom the Software is 10 | furnished to do so, subject to the following conditions: 11 | 12 | The above copyright notice and this permission notice shall be included in 13 | all copies or substantial portions of the Software. 14 | 15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN 21 | THE SOFTWARE. -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/collcetion/DemoSyncProcessingCollection.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.collcetion; 2 | 3 | import com.magic.processing.MagicDataProcessing; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | import java.util.concurrent.TimeUnit; 8 | 9 | public class DemoSyncProcessingCollection { 10 | 11 | public static void main(String[] args) { 12 | // 假如有一个List需要并发处理里面的元素 13 | List dataList = new ArrayList<>(); 14 | dataList.add("b"); 15 | 16 | // 只需要将他传入syncRunner方法即可，每个参数的具体含义可以参考文档 17 | MagicDataProcessing.getConcurrentCollectionSync().syncRunner(dataList, data -> { 18 | 19 | // 这里可以拿到List里的元素，进行处理 20 | System.out.println(data); 21 | 22 | }, 10, 1, TimeUnit.MINUTES); 23 | 24 | // 也可以用syncGroupRunner方法，每个参数的具体含义可以参考文档 25 | MagicDataProcessing.getConcurrentCollectionSync().syncGroupRunner(dataList, data -> { 26 | 27 | // 这里是每一组List 28 | for(String item : data){ 29 | // 这里可以拿到List里的元素，进行处理 30 | System.out.println(item); 31 | } 32 | 33 | }, 10, 1, TimeUnit.MINUTES); 34 | } 35 | } 36 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/concurrent/collcetion/DemoAsyncProcessingCollection.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.concurrent.collcetion; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | 6 | import java.util.ArrayList; 7 | import java.util.List; 8 | import java.util.concurrent.TimeUnit; 9 | 10 | public class DemoAsyncProcessingCollection { 11 | 12 | public static void main(String[] args) { 13 | 14 | // 假如有一个List需要并发处理里面的元素 15 | List dataList = new ArrayList<>(); 16 | dataList.add("a"); 17 | 18 | // 只需要将他传入syncRunner方法即可，每个参数的具体含义可以参考文档 19 | MagicDataProcessing.getConcurrentCollectionAsync() 20 | .asyncRunner(dataList, data -> { 21 | 22 | // 这里可以拿到List里的元素，进行处理 23 | System.out.println(data); 24 | 25 | }, 10, 1, TimeUnit.MINUTES) 26 | .start(); 27 | 28 | 29 | // 也可以用syncGroupRunner方法，每个参数的具体含义可以参考文档 30 | MagicDataProcessing.getConcurrentCollectionAsync() 31 | .asyncGroupRunner(dataList, data -> { 32 | 33 | // 这里可以拿到List里的元素，进行处理 34 | System.out.println(data); 35 | 36 | }, 10, 1, TimeUnit.MINUTES) 37 | .start(); 38 | 39 | System.out.println(1); 40 | } 41 | } 42 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/commons/helper/ProcessingHelper.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.commons.helper; 2 | 3 | import com.magic.util.CollectionUtils; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.List; 8 | import java.util.concurrent.CountDownLatch; 9 | import java.util.concurrent.TimeUnit; 10 | 11 | /** 12 | * 处理任务的帮助类 13 | */ 14 | public class ProcessingHelper { 15 | 16 | private static Logger logger = LoggerFactory.getLogger(ProcessingHelper.class); 17 | 18 | /** 19 | * 等待线程执行结束 20 | * 21 | * @param timeout 每一组的超时时间，单位由unit参数设置 22 | * @param unit 超时时间单位 23 | * @param count 24 | */ 25 | public static void runnerAwait(long timeout, TimeUnit unit, CountDownLatch count) { 26 | try { 27 | if (timeout <= 0) { 28 | // 如果没有设置超时时间，则一直等待，直到线程全部完成为止 29 | count.await(); 30 | } else { 31 | // 如果设置了等待时间，则等待相应的时间 32 | count.await(timeout, unit); 33 | } 34 | } catch (Exception e) { 35 | logger.error("Concurrent await error", e); 36 | } 37 | } 38 | 39 | /** 40 | * 执行所有线程 41 | * @param runnableList 42 | */ 43 | public static void start(List runnableList){ 44 | if(CollectionUtils.isEmpty(runnableList)){ 45 | throw new NullPointerException("runnableList is empty"); 46 | } 47 | try { 48 | for(Runnable runnable : runnableList){ 49 | new Thread(runnable).start(); 50 | } 51 | } catch (Exception e){ 52 | throw e; 53 | } 54 | } 55 | } 56 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/db/SqlBuilderTest.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.db; 2 | 3 | import com.magic.db.conversion.SqlBuilder; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | 8 | public class SqlBuilderTest { 9 | 10 | public static void main(String[] args) { 11 | 12 | ParamPO paramPO = new ParamPO(); 13 | paramPO.setAge(10); 14 | paramPO.setHeight(1); 15 | 16 | List params = new ArrayList<>(); 17 | 18 | SqlBuilder sqlBuilder = SqlBuilder.builder() 19 | .init("select * from user_info where 1=1") 20 | .append("and age > {age}", paramPO.getAge() > 0, ()->{ 21 | params.add("123"); 22 | }) 23 | .append("and name = {name}", paramPO.getName() != null) 24 | .append("and height > {height}", paramPO.getHeight() != null); 25 | 26 | System.out.println(sqlBuilder.toString()); 27 | System.out.println(params); 28 | } 29 | 30 | static class ParamPO { 31 | private String name; 32 | private int age; 33 | private Integer height; 34 | 35 | public String getName() { 36 | return name; 37 | } 38 | 39 | public void setName(String name) { 40 | this.name = name; 41 | } 42 | 43 | public int getAge() { 44 | return age; 45 | } 46 | 47 | public void setAge(int age) { 48 | this.age = age; 49 | } 50 | 51 | public Integer getHeight() { 52 | return height; 53 | } 54 | 55 | public void setHeight(Integer height) { 56 | this.height = height; 57 | } 58 | } 59 | } 60 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/CollectionUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | import java.util.ArrayList; 4 | import java.util.Collection; 5 | 6 | /** 7 | * 集合工具类 8 | */ 9 | public class CollectionUtils { 10 | 11 | /** 12 | * 判断是否为空 13 | * @param collection 14 | * @return 15 | */ 16 | public static boolean isEmpty(Collection collection){ 17 | if(collection == null || collection.size() == 0){ 18 | return true; 19 | } 20 | return false; 21 | } 22 | 23 | /** 24 | * 判断是否不是空 25 | * @param collection 26 | * @return 27 | */ 28 | public static boolean isNotEmpty(Collection collection){ 29 | return isEmpty(collection) == false; 30 | } 31 | 32 | /** 33 | * 将list分成若干组，每组size条 34 | * 35 | * @param list 需要分组的集合 36 | * @param size 每组分多少条 37 | * @return 38 | * @param 39 | */ 40 | public static Collection> partition(Collection list, int size) { 41 | if(isEmpty(list)){ 42 | throw new NullPointerException("list is null"); 43 | } 44 | 45 | if(size <= 0){ 46 | throw new IllegalArgumentException("size cannot <= 0"); 47 | } 48 | Collection> array = new ArrayList<>(); 49 | 50 | Collection groupItem = new ArrayList<>(); 51 | for(T t : list){ 52 | if(groupItem.size() < size){ 53 | groupItem.add(t); 54 | continue; 55 | } 56 | array.add(groupItem); 57 | 58 | groupItem = new ArrayList<>(); 59 | groupItem.add(t); 60 | } 61 | 62 | if(groupItem.size() > 0){ 63 | array.add(groupItem); 64 | } 65 | 66 | return array; 67 | } 68 | } 69 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/PageParamModel.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | import com.magic.util.DBParamUtil; 4 | 5 | import java.util.HashMap; 6 | import java.util.Map; 7 | 8 | /** 9 | * 分页查询参数 10 | */ 11 | public class PageParamModel { 12 | 13 | /** 14 | * 查询参数 15 | */ 16 | private Map param; 17 | 18 | /** 19 | * 查询第几页 20 | */ 21 | private int currentPage; 22 | 23 | /** 24 | * 每页大小 25 | */ 26 | private int pageSize; 27 | 28 | /** 29 | * 创建并获取一个PageParamModel对象 30 | * @param page 31 | * @param pageSize 32 | * @return 33 | */ 34 | public static PageParamModel getPageParamModel(Integer page,Integer pageSize){ 35 | PageParamModel pageParamModel = new PageParamModel(); 36 | pageParamModel.setCurrentPage(page); 37 | pageParamModel.setPageSize(pageSize); 38 | return pageParamModel; 39 | } 40 | 41 | public Map getParam() { 42 | if(param == null){ 43 | param = new HashMap<>(); 44 | } 45 | return param; 46 | } 47 | 48 | public PageParamModel setParam(Object param) throws IllegalAccessException { 49 | if(param == null){ 50 | return this; 51 | } 52 | this.param = DBParamUtil.getParamMap(param); 53 | return this; 54 | } 55 | 56 | public int getCurrentPage() { 57 | return currentPage; 58 | } 59 | 60 | public PageParamModel setCurrentPage(int currentPage) { 61 | this.currentPage = currentPage; 62 | return this; 63 | } 64 | 65 | public int getPageSize() { 66 | return pageSize; 67 | } 68 | 69 | public PageParamModel setPageSize(int pageSize) { 70 | this.pageSize = pageSize; 71 | return this; 72 | } 73 | } 74 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/model/PageModel.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.model; 2 | 3 | import java.io.Serializable; 4 | import java.util.List; 5 | 6 | /** 7 | * 分页查询的返回对象 8 | * @param 9 | */ 10 | public class PageModel implements Serializable { 11 | 12 | /** 13 | * 当前页 14 | */ 15 | private Integer currentPage; 16 | 17 | /** 18 | * 每页大小 19 | */ 20 | private Integer pageSize; 21 | 22 | /** 23 | * 总数据条数 24 | */ 25 | private Long total; 26 | 27 | /** 28 | * 总页数 29 | */ 30 | private Long pageTotal; 31 | 32 | /** 33 | * 分页标识（业务流转中可以携带附加参数） 34 | */ 35 | private String pageTag; 36 | 37 | /** 38 | * 当前页的数据 39 | */ 40 | private List dataList; 41 | 42 | public Integer getCurrentPage() { 43 | return currentPage; 44 | } 45 | 46 | public void setCurrentPage(Integer currentPage) { 47 | this.currentPage = currentPage; 48 | } 49 | 50 | public Integer getPageSize() { 51 | return pageSize; 52 | } 53 | 54 | public void setPageSize(Integer pageSize) { 55 | this.pageSize = pageSize; 56 | } 57 | 58 | public Long getTotal() { 59 | return total; 60 | } 61 | 62 | public void setTotal(Long total) { 63 | this.total = total; 64 | } 65 | 66 | public Long getPageTotal() { 67 | return pageTotal; 68 | } 69 | 70 | public void setPageTotal(Long pageTotal) { 71 | this.pageTotal = pageTotal; 72 | } 73 | 74 | public List getDataList() { 75 | return dataList; 76 | } 77 | 78 | public void setDataList(List dataList) { 79 | this.dataList = dataList; 80 | } 81 | 82 | public String getPageTag() { 83 | return pageTag; 84 | } 85 | 86 | public void setPageTag(String pageTag) { 87 | this.pageTag = pageTag; 88 | } 89 | } 90 | -------------------------------------------------------------------------------- /src/test/java/com/magic/demo/processing/pac/ProducerAndConsumerDemo.java: -------------------------------------------------------------------------------- 1 | package com.magic.demo.processing.pac; 2 | 3 | 4 | import com.magic.processing.MagicDataProcessing; 5 | 6 | public class ProducerAndConsumerDemo { 7 | 8 | public static void main(String[] args) throws Exception { 9 | 10 | DemoProducerOne producerOne = new DemoProducerOne(); 11 | DemoProducerTwo producerTwo = new DemoProducerTwo(); 12 | 13 | DemoConsumerOne one = new DemoConsumerOne(); 14 | DemoConsumerTwo two = new DemoConsumerTwo(); 15 | DemoConsumerThree three = new DemoConsumerThree(); 16 | 17 | MagicDataProcessing.getProducerAndConsumerManager() 18 | .addProducer(producerOne) 19 | .addProducer(producerTwo) 20 | .addConsumer(one) 21 | .addConsumer(two) 22 | .addConsumer(three) 23 | .start(); 24 | 25 | new Thread(()->{ 26 | while (true){ 27 | 28 | try { 29 | System.out.println("taskCount1, 1p:"+one.getProducerTaskCount(producerOne.getId()) +", 2p:"+one.getProducerTaskCount(producerTwo.getId())); 30 | System.out.println("taskCount2, 1p:"+two.getProducerTaskCount(producerOne.getId()) +", 2p:"+two.getProducerTaskCount(producerTwo.getId())); 31 | System.out.println("taskCount3, 1p:"+three.getProducerTaskCount(producerOne.getId()) +", 2p:"+three.getProducerTaskCount(producerTwo.getId())); 32 | System.out.println("----------------------------------------"); 33 | Thread.sleep(1000); 34 | } catch (Exception e){ 35 | e.printStackTrace(); 36 | } 37 | } 38 | }).start(); 39 | 40 | while (true){ 41 | Thread.sleep(10000000000L); 42 | } 43 | 44 | } 45 | } 46 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/MagicDataProcessing.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing; 2 | 3 | 4 | import com.magic.processing.concurrent.task.ConcurrentTaskSync; 5 | import com.magic.processing.concurrent.collection.ConcurrentCollectionAsync; 6 | import com.magic.processing.concurrent.collection.ConcurrentCollectionSync; 7 | import com.magic.processing.concurrent.map.ConcurrentMapAsync; 8 | import com.magic.processing.concurrent.map.ConcurrentMapSync; 9 | import com.magic.processing.pac.MagicProducerAndConsumerManager; 10 | 11 | /** 12 | * 项目入口 13 | * 从这里，你可以创建本项目的任意对象 14 | */ 15 | public class MagicDataProcessing { 16 | 17 | /** 18 | * 创建Collection并发执行对象（同步） 19 | * @return 20 | */ 21 | public static ConcurrentCollectionSync getConcurrentCollectionSync() { 22 | return new ConcurrentCollectionSync(); 23 | } 24 | 25 | /** 26 | * 创建Collection并发执行对象（异步） 27 | * @return 28 | */ 29 | public static ConcurrentCollectionAsync getConcurrentCollectionAsync() { 30 | return new ConcurrentCollectionAsync(); 31 | } 32 | 33 | /** 34 | * 创建Map并发执行对象（同步） 35 | * @return 36 | */ 37 | public static ConcurrentMapSync getConcurrentMapSync(){ 38 | return new ConcurrentMapSync(); 39 | } 40 | 41 | /** 42 | * 创建Map并发执行对象（异步） 43 | * @return 44 | */ 45 | public static ConcurrentMapAsync getConcurrentMapAsync() { 46 | return new ConcurrentMapAsync(); 47 | } 48 | 49 | /** 50 | * 创建任务并发执行对象（同步） 51 | * @return 52 | */ 53 | public static ConcurrentTaskSync getConcurrentTaskSync(){ 54 | return new ConcurrentTaskSync(); 55 | } 56 | 57 | /** 58 | * 创建任务生产者、消费者模型对象 59 | * @return 60 | */ 61 | public static MagicProducerAndConsumerManager getProducerAndConsumerManager(){ 62 | return new MagicProducerAndConsumerManager(); 63 | } 64 | 65 | } 66 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/MapsUtil.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | import java.util.ArrayList; 4 | import java.util.HashMap; 5 | import java.util.List; 6 | import java.util.Map; 7 | 8 | /** 9 | * Map工具类 10 | */ 11 | public class MapsUtil { 12 | 13 | /** 14 | * 判断是否为空 15 | * @param dataMap 16 | * @return 17 | */ 18 | public static boolean isEmpty(Map dataMap){ 19 | if(dataMap == null || dataMap.size() == 0){ 20 | return true; 21 | } 22 | 23 | return false; 24 | } 25 | 26 | /** 27 | * 判断是否不为空 28 | * @param dataMap 29 | * @return 30 | */ 31 | public static boolean isNotEmpty(Map dataMap){ 32 | return isEmpty(dataMap) == false; 33 | } 34 | 35 | /** 36 | * 将dataMap 分成 若干组，每组size条 37 | * @param dataMap 需要分组的Map 38 | * @param size 每组分多少条 39 | * @return 40 | * @param 41 | * @param 42 | */ 43 | public static List> partition(Map dataMap, int size) { 44 | if(isEmpty(dataMap)){ 45 | throw new NullPointerException("dataMap is empty"); 46 | } 47 | if(size <= 0){ 48 | throw new IllegalArgumentException("size cannot <= 0"); 49 | } 50 | 51 | List> dataList = new ArrayList<>(); 52 | 53 | Map mapGroup = new HashMap<>(); 54 | 55 | for(Map.Entry entry : dataMap.entrySet()){ 56 | if(mapGroup.size() < size){ 57 | mapGroup.put(entry.getKey(), entry.getValue()); 58 | continue; 59 | } 60 | 61 | dataList.add(mapGroup); 62 | 63 | mapGroup = new HashMap<>(); 64 | mapGroup.put(entry.getKey(), entry.getValue()); 65 | } 66 | 67 | if(mapGroup.size() > 0){ 68 | dataList.add(mapGroup); 69 | } 70 | 71 | return dataList; 72 | } 73 | } 74 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/DBParamUtil.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | import com.alibaba.fastjson2.annotation.JSONField; 4 | 5 | import java.lang.reflect.Field; 6 | import java.util.HashMap; 7 | import java.util.Map; 8 | 9 | /** 10 | * 数据库参数工具类 11 | */ 12 | public class DBParamUtil { 13 | 14 | /** 15 | * 将参数转化成Map，统一处理 16 | * @param data 17 | * @return 18 | * @throws IllegalAccessException 19 | */ 20 | public static Map getParamMap(Object data) throws IllegalAccessException { 21 | if(data instanceof Map){ 22 | return (Map) data; 23 | } 24 | 25 | Map paramMap = new HashMap<>(); 26 | 27 | Class cls = data.getClass(); 28 | 29 | while (!cls.equals(Object.class)){ 30 | paramMap.putAll(getMap(cls, data)); 31 | cls = cls.getSuperclass(); 32 | 33 | if(cls == null){ 34 | break; 35 | } 36 | } 37 | 38 | return paramMap; 39 | } 40 | 41 | /** 42 | * 根据class和它的对象创建一个map 43 | * @param cls 44 | * @param obj 45 | * @return 46 | * @throws IllegalAccessException 47 | */ 48 | private static Map getMap(Class cls, Object obj) throws IllegalAccessException { 49 | Map paramMap = new HashMap<>(); 50 | 51 | for (Field field : cls.getDeclaredFields()) { 52 | field.setAccessible(true); 53 | Object value = field.get(obj); 54 | if (value == null) { 55 | continue; 56 | } 57 | 58 | String fieldName = field.getName(); 59 | 60 | JSONField jsonField = field.getAnnotation(JSONField.class); 61 | if(jsonField != null && StringUtils.isNotEmpty(jsonField.name())){ 62 | fieldName = jsonField.name(); 63 | } 64 | 65 | paramMap.put(fieldName, value); 66 | } 67 | 68 | return paramMap; 69 | } 70 | } 71 | -------------------------------------------------------------------------------- /src/main/java/com/magic/util/JSONUtil.java: -------------------------------------------------------------------------------- 1 | package com.magic.util; 2 | 3 | import com.alibaba.fastjson2.JSON; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.HashMap; 8 | import java.util.Map; 9 | 10 | /** 11 | * JSON 工具类 12 | */ 13 | public class JSONUtil { 14 | 15 | private static Logger logger = LoggerFactory.getLogger(JSONUtil.class); 16 | 17 | /** 18 | * 将JSON字符串或者一个实体对象转化成指定类型的实体对象 19 | * @param obj 20 | * @param cls 21 | * @param 22 | * @return 23 | */ 24 | public static T toJavaObject(Object obj, Class cls) { 25 | if(obj == null){ 26 | return null; 27 | } 28 | try { 29 | if(obj instanceof String){ 30 | return JSON.parseObject(obj.toString(), cls); 31 | } else { 32 | return JSON.parseObject(JSON.toJSONString(obj), cls); 33 | } 34 | } catch (Exception e){ 35 | logger.error("JSONUtil toJavaObject error", e); 36 | return null; 37 | } 38 | } 39 | 40 | /** 41 | * 将JSON字符串或者一个实体对象转化成Map集合 42 | * @param obj 43 | * @return 44 | */ 45 | public static Map toMap(Object obj) { 46 | if(obj instanceof Map){ 47 | return (Map) obj; 48 | } 49 | Map map = toJavaObject(obj, HashMap.class); 50 | if(map == null){ 51 | return new HashMap<>(); 52 | } 53 | return map; 54 | } 55 | 56 | /** 57 | * 将任意对象转化成JSON字符串 58 | * @param obj 59 | * @return 60 | */ 61 | public static String toJSONString(Object obj) { 62 | if(obj == null){ 63 | return ""; 64 | } 65 | try { 66 | if(obj instanceof String){ 67 | return obj.toString(); 68 | } else { 69 | return JSON.toJSONString(obj); 70 | } 71 | } catch (Exception e){ 72 | logger.error("Convert object to JSON string exception", e); 73 | return ""; 74 | } 75 | } 76 | } 77 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/conversion/SqlBuilder.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.conversion; 2 | 3 | 4 | /** 5 | * sql构造器 6 | */ 7 | public class SqlBuilder { 8 | 9 | /** 10 | * sql语句 11 | */ 12 | private StringBuilder stringBuilder; 13 | 14 | /** 15 | * 创建一个sql构造器对象 16 | * @return 17 | */ 18 | public static SqlBuilder builder(){ 19 | SqlBuilder sqlBuilder = new SqlBuilder(); 20 | sqlBuilder.stringBuilder = new StringBuilder(); 21 | return sqlBuilder; 22 | } 23 | 24 | /** 25 | * 传入sql主体 26 | * @param sql 27 | * @return 28 | */ 29 | public SqlBuilder init(String sql){ 30 | stringBuilder.append(sql); 31 | return this; 32 | } 33 | 34 | /** 35 | * 添加where条件 36 | * @param sql 37 | * @param needAppend 38 | * @return 39 | */ 40 | public SqlBuilder append(String sql, boolean needAppend){ 41 | if(needAppend){ 42 | stringBuilder.append(" "); 43 | stringBuilder.append(sql); 44 | } 45 | return this; 46 | } 47 | 48 | /** 49 | * 添加where条件 50 | * @param sql 51 | * @param needAppend 52 | * @param callBack 53 | * @return 54 | */ 55 | public SqlBuilder append(String sql, boolean needAppend, CallBack callBack){ 56 | append(sql, needAppend); 57 | if(needAppend){ 58 | callBack.call(); 59 | } 60 | return this; 61 | } 62 | 63 | /** 64 | * 添加where条件 65 | * @param sql 66 | * @return 67 | */ 68 | public SqlBuilder append(String sql){ 69 | return append(sql, true); 70 | } 71 | 72 | /** 73 | * 添加where条件 74 | * @param sql 75 | * @param callBack 76 | * @return 77 | */ 78 | public SqlBuilder append(String sql, CallBack callBack){ 79 | return append(sql, true, callBack); 80 | } 81 | 82 | /** 83 | * 获取完整的sql 84 | * @return 85 | */ 86 | @Override 87 | public String toString(){ 88 | return stringBuilder.toString(); 89 | } 90 | 91 | /** 92 | * 回调函数 93 | */ 94 | public interface CallBack { 95 | void call(); 96 | } 97 | } 98 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/MagicProperties.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties; 2 | 3 | import com.magic.util.MapsUtil; 4 | import com.magic.properties.cache.PropertiesCacheManager; 5 | import com.magic.properties.enums.ReadMode; 6 | import com.magic.properties.load.LoadProperties; 7 | import com.magic.properties.load.PropertiesEach; 8 | 9 | import java.util.Map; 10 | 11 | /** 12 | * 模块入口 13 | * 从这里，从这里你可以轻松加载和读取properties文件 14 | */ 15 | public class MagicProperties { 16 | 17 | /** 18 | * 默认的文件编码 19 | */ 20 | private static final String CHARSET_NAME = "UTF-8"; 21 | 22 | /** 23 | * 加载properties文件类 24 | */ 25 | private static LoadProperties loadProperties = new LoadProperties(); 26 | 27 | /** 28 | * 根据key获取value，如果文件里没有，会自动去环境变量里找 29 | * @param key 30 | * @return 31 | */ 32 | public static String get(String key){ 33 | String value = PropertiesCacheManager.getPropertiesMap().get(key); 34 | if(value == null){ 35 | value = System.getenv(key); 36 | } 37 | return value; 38 | } 39 | 40 | /** 41 | * 加载properties文件到本地缓存 42 | * @param path 43 | * @param readMode 44 | * @throws Exception 45 | */ 46 | public static void load(String path, ReadMode readMode) throws Exception { 47 | loadProperties.load(path, readMode, CHARSET_NAME); 48 | } 49 | 50 | /** 51 | * 加载properties文件里的键值对到本地缓存中 52 | * @param path 53 | * @param readMode 54 | * @param charset 55 | * @throws Exception 56 | */ 57 | public static void load(String path, ReadMode readMode, String charset) throws Exception { 58 | loadProperties.load(path, readMode, charset); 59 | } 60 | 61 | /** 62 | * 遍历properties里的键值对 63 | * @param propertiesEach 64 | */ 65 | public static void forEach(PropertiesEach propertiesEach){ 66 | if(MapsUtil.isEmpty(PropertiesCacheManager.getPropertiesMap())){ 67 | throw new NullPointerException("propertiesMap is empty"); 68 | } 69 | 70 | for(Map.Entry entry : PropertiesCacheManager.getPropertiesMap().entrySet()){ 71 | propertiesEach.each(entry.getKey(), entry.getValue()); 72 | } 73 | } 74 | } 75 | -------------------------------------------------------------------------------- /src/main/java/com/magic/properties/load/LoadProperties.java: -------------------------------------------------------------------------------- 1 | package com.magic.properties.load; 2 | 3 | import com.magic.properties.cache.PropertiesCacheManager; 4 | import com.magic.properties.enums.ReadMode; 5 | 6 | import java.io.FileInputStream; 7 | import java.io.InputStream; 8 | import java.io.InputStreamReader; 9 | import java.net.URL; 10 | import java.util.Properties; 11 | 12 | /** 13 | * 读取properties文件类 14 | */ 15 | public class LoadProperties { 16 | 17 | /** 18 | * 加载properties文件里的键值对到本地缓存中 19 | * @param path 20 | * @param readMode 21 | * @param charset 22 | * @throws Exception 23 | */ 24 | public void load(String path, ReadMode readMode, String charset) throws Exception { 25 | InputStream inputStream = null; 26 | InputStreamReader inputStreamReader = null; 27 | try { 28 | inputStream = getFileContent(path, readMode); 29 | inputStreamReader = new InputStreamReader(inputStream, charset); 30 | 31 | Properties p = new Properties(); 32 | p.load(inputStreamReader); 33 | 34 | for(Object key : p.keySet()){ 35 | String keyStr = key.toString(); 36 | String value = p.getProperty(keyStr); 37 | PropertiesCacheManager.add(keyStr, value); 38 | } 39 | } catch (Exception e) { 40 | throw e; 41 | } finally { 42 | if(inputStreamReader != null){ 43 | inputStreamReader.close(); 44 | } 45 | if(inputStream != null){ 46 | inputStream.close(); 47 | } 48 | } 49 | } 50 | 51 | /** 52 | * 将properties文件读取到InputStream 53 | * @param path 54 | * @param readMode 55 | * @return 56 | * @throws Exception 57 | */ 58 | private InputStream getFileContent(String path, ReadMode readMode) throws Exception { 59 | switch (readMode) { 60 | case RESOURCE: 61 | return LoadProperties.class.getResourceAsStream(path); 62 | case LOCAL: 63 | return new FileInputStream(path); 64 | case REMOTE: 65 | return new URL(path).openConnection().getInputStream(); 66 | } 67 | return null; 68 | } 69 | } 70 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/task/ConcurrentTaskSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.task; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | import com.magic.util.CollectionUtils; 5 | import org.slf4j.Logger; 6 | import org.slf4j.LoggerFactory; 7 | 8 | import java.util.ArrayList; 9 | import java.util.List; 10 | import java.util.concurrent.CountDownLatch; 11 | import java.util.concurrent.TimeUnit; 12 | 13 | /** 14 | * 并发处理调用者指定的任务 15 | */ 16 | public class ConcurrentTaskSync { 17 | 18 | private Logger logger = LoggerFactory.getLogger(ConcurrentTaskSync.class); 19 | 20 | /** 21 | * 任务集合 22 | */ 23 | private List concurrentTaskList = new ArrayList<>(); 24 | 25 | /** 26 | * 超时时间 27 | */ 28 | private long timeout; 29 | 30 | /** 31 | * 超时时间的单位 32 | */ 33 | private TimeUnit timeUnit; 34 | 35 | public ConcurrentTaskSync() { 36 | this.timeout = 1; 37 | this.timeUnit = TimeUnit.MINUTES; 38 | } 39 | 40 | /** 41 | * 添加一个需要任务 42 | * 43 | * @param runnable 任务 44 | * @return 45 | */ 46 | public ConcurrentTaskSync add(Runnable runnable) { 47 | concurrentTaskList.add(runnable); 48 | return this; 49 | } 50 | 51 | /** 52 | * 设置超时时间 53 | * 54 | * @param timeout 55 | * @return 56 | */ 57 | public ConcurrentTaskSync setTimeout(long timeout) { 58 | this.timeout = timeout; 59 | return this; 60 | } 61 | 62 | /** 63 | * 设置超时时间的单位 64 | * 65 | * @param timeUnit 66 | * @return 67 | */ 68 | public ConcurrentTaskSync setTimeUnit(TimeUnit timeUnit) { 69 | this.timeUnit = timeUnit; 70 | return this; 71 | } 72 | 73 | /** 74 | * 开始执行任务 75 | */ 76 | public void start() { 77 | // 如果任务为空就抛出异常 78 | if (CollectionUtils.isEmpty(concurrentTaskList)) { 79 | throw new NullPointerException("ConcurrentTaskSync concurrentTaskList is empty"); 80 | } 81 | 82 | CountDownLatch count = new CountDownLatch(concurrentTaskList.size()); 83 | 84 | // 将集合里的任务全部添加到线程池 85 | for (Runnable runnable : concurrentTaskList) { 86 | new Thread(() -> { 87 | try { 88 | runnable.run(); 89 | } catch (Throwable e) { 90 | logger.error("ConcurrentTaskSync error, className:{}", runnable.getClass().getName(), e); 91 | } finally { 92 | count.countDown(); 93 | } 94 | }).start(); 95 | } 96 | 97 | // 等所有线程执行结束后，或者超时后，再跳出此方法 98 | ProcessingHelper.runnerAwait(timeout, timeUnit, count); 99 | } 100 | } 101 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/conversion/SqlConversion.java: -------------------------------------------------------------------------------- 1 | package com.magic.db.conversion; 2 | 3 | 4 | import com.magic.db.model.Condition; 5 | import com.magic.db.model.SqlBuilderModel; 6 | import com.magic.util.DBParamUtil; 7 | 8 | import java.util.*; 9 | import java.util.regex.Matcher; 10 | import java.util.regex.Pattern; 11 | 12 | /** 13 | * SQL转化器 14 | */ 15 | public class SqlConversion { 16 | 17 | /** 18 | * 根据条件构造器生成sql和参数 19 | * 20 | * @param sql 21 | * @param conditions 22 | * @return 23 | */ 24 | public static SqlBuilderModel getSql(StringBuffer sql, List conditions) { 25 | SqlBuilderModel sqlBuilderModel = new SqlBuilderModel(); 26 | List params = new ArrayList<>(); 27 | for (Condition condition : conditions) { 28 | if (condition.getVal() == null) { 29 | continue; 30 | } 31 | sql.append(" "); 32 | sql.append(condition.getKey()); 33 | 34 | if (isNotWhere(condition.getVal())) { 35 | continue; 36 | } 37 | for (Object arg : condition.getVal()) { 38 | params.add(arg); 39 | } 40 | } 41 | 42 | sqlBuilderModel.setSql(sql.toString()); 43 | sqlBuilderModel.setParams(params.toArray()); 44 | return sqlBuilderModel; 45 | } 46 | 47 | /** 48 | * 是否是WHERE条件 49 | * 50 | * @param val 51 | * @return 52 | */ 53 | private static boolean isNotWhere(Object[] val) { 54 | if (val.length == 1 && val[0].equals(Condition.NOT_WHERE)) { 55 | return true; 56 | } 57 | return false; 58 | } 59 | 60 | /** 61 | * 根据实体类型的参数生成sql和参数 62 | * 里面会将{}占位符替换成?，将实体类型的参数转化成Object[] 63 | * 64 | * @param sql 65 | * @param param 66 | * @return 67 | * @throws Exception 68 | */ 69 | public static SqlBuilderModel builderSql(String sql, Object param) throws Exception { 70 | 71 | SqlBuilderModel sqlBuilderModel = new SqlBuilderModel(); 72 | 73 | if (param == null) { 74 | throw new NullPointerException("param cannot null"); 75 | } 76 | 77 | if (param instanceof Object[]) { 78 | sqlBuilderModel.setSql(sql); 79 | sqlBuilderModel.setParams((Object[]) param); 80 | return sqlBuilderModel; 81 | } 82 | 83 | Map jsonObject = DBParamUtil.getParamMap(param); 84 | 85 | List params = new ArrayList<>(); 86 | 87 | sql = formatMatcher(sql, params, jsonObject); 88 | 89 | sqlBuilderModel.setSql(sql); 90 | sqlBuilderModel.setParams(params.toArray()); 91 | 92 | return sqlBuilderModel; 93 | } 94 | 95 | /** 96 | * 将SQL里的{}占位符替换成? 97 | * 98 | * @param sql 99 | * @param params 100 | * @param jsonObject 101 | * @return 102 | */ 103 | private static String formatMatcher(String sql, List params, Map jsonObject) { 104 | Pattern pattern = Pattern.compile("(\\{((?!}).)*\\})"); 105 | Matcher matcher = pattern.matcher(sql); 106 | while (matcher.find()) { 107 | String matcherName = matcher.group(); 108 | sql = sql.replace(matcherName, "?"); 109 | String filedName = matcherName.replace("{", "").replace("}", ""); 110 | params.add(jsonObject.get(filedName)); 111 | } 112 | return sql; 113 | } 114 | } 115 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/MagicProducerAndConsumerManager.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | import com.magic.util.StringUtils; 4 | import com.magic.processing.commons.enums.ProducerAndConsumerEnum; 5 | 6 | import java.util.ArrayList; 7 | import java.util.HashMap; 8 | import java.util.List; 9 | import java.util.Map; 10 | import java.util.concurrent.LinkedBlockingQueue; 11 | import java.util.concurrent.ThreadPoolExecutor; 12 | import java.util.concurrent.TimeUnit; 13 | 14 | /** 15 | * 任务管理器 16 | */ 17 | public class MagicProducerAndConsumerManager { 18 | 19 | /** 20 | * 消费者集合 21 | */ 22 | private List consumers = new ArrayList<>(); 23 | 24 | /** 25 | * 生产者集合 26 | */ 27 | private List producers = new ArrayList<>(); 28 | 29 | /** 30 | * 生产者线程池 31 | */ 32 | private ThreadPoolExecutor producersPoolExecutor; 33 | 34 | /** 35 | * 消费者线程池 36 | */ 37 | private ThreadPoolExecutor consumersPoolExecutor; 38 | 39 | /** 40 | * 添加一个消费者 41 | * @param consumer 42 | * @return 43 | */ 44 | public MagicProducerAndConsumerManager addConsumer(MagicConsumer consumer) { 45 | consumers.add(consumer); 46 | return this; 47 | } 48 | 49 | /** 50 | * 添加一个生产者 51 | * @param producer 52 | * @return 53 | */ 54 | public MagicProducerAndConsumerManager addProducer(MagicProducer producer) { 55 | producers.add(producer); 56 | return this; 57 | } 58 | 59 | /** 60 | * 执行 61 | * @throws Exception 62 | */ 63 | public void start() throws Exception { 64 | // 初始化生产者线程池 65 | producersPoolExecutor = new ThreadPoolExecutor(producers.size(), 66 | producers.size(), 67 | 1, 68 | TimeUnit.MINUTES, 69 | new LinkedBlockingQueue<>()); 70 | 71 | // 初始化消费者线程池 72 | consumersPoolExecutor = new ThreadPoolExecutor(consumers.size(), 73 | consumers.size(), 74 | 1, 75 | TimeUnit.MINUTES, 76 | new LinkedBlockingQueue<>()); 77 | 78 | // 开启消费者线程 79 | Map idMap = new HashMap<>(); 80 | for (MagicConsumer consumer : consumers) { 81 | checkId(idMap, consumer.getId()); 82 | 83 | consumersPoolExecutor.submit(consumer); 84 | } 85 | 86 | // 开启生产者线程 87 | idMap = new HashMap<>(); 88 | for (MagicProducer producer : producers) { 89 | 90 | checkId(idMap, producer.getId()); 91 | 92 | producer.addConsumer(consumers); 93 | producersPoolExecutor.submit(producer); 94 | } 95 | } 96 | 97 | /** 98 | * 校验ID，避免出现相同的ID 99 | * @param idMap 100 | * @param id 101 | * @throws Exception 102 | */ 103 | private void checkId(Map idMap, String id) throws Exception { 104 | // 这里做了一个校验，避免出现相同的ID 105 | if(idMap.get(id) != null){ 106 | throw new Exception("duplicate producer id exists"); 107 | } 108 | idMap.put(id, true); 109 | } 110 | 111 | /** 112 | * 立刻关闭生产者或消费者线程池 113 | * @param producerAndConsumerEnum 114 | */ 115 | public void shutdown(ProducerAndConsumerEnum producerAndConsumerEnum) { 116 | if (ProducerAndConsumerEnum.CONSUMER.equals(producerAndConsumerEnum)) { 117 | shutdownAllConsumer(); 118 | } else if (ProducerAndConsumerEnum.PRODUCER.equals(producerAndConsumerEnum)) { 119 | shutdownAllProducer(); 120 | } else if (ProducerAndConsumerEnum.ALL.equals(producerAndConsumerEnum)) { 121 | shutdownAllProducer(); 122 | shutdownAllConsumer(); 123 | } 124 | } 125 | 126 | /** 127 | * 停止所有生产者 128 | */ 129 | public void shutdownAllProducer(){ 130 | shutdownProducer(null); 131 | } 132 | 133 | /** 134 | * 停止所有消费者 135 | */ 136 | public void shutdownAllConsumer(){ 137 | shutdownConsumer(null); 138 | } 139 | 140 | /** 141 | * 停止指定的生产者 142 | * @param id 143 | */ 144 | public void shutdownProducer(String id){ 145 | for(MagicProducer producer : producers){ 146 | if(StringUtils.isEmpty(id) || id.equals(producer.getId())){ 147 | producer.shutDownNow(); 148 | } 149 | } 150 | 151 | producersPoolExecutor.shutdownNow(); 152 | } 153 | 154 | /** 155 | * 停止指定的消费者 156 | * @param id 157 | */ 158 | public void shutdownConsumer(String id){ 159 | for(MagicConsumer consumer : consumers){ 160 | if(StringUtils.isEmpty(id) || id.equals(consumer.getId())){ 161 | consumer.shutDownNow(); 162 | } 163 | } 164 | 165 | consumersPoolExecutor.shutdownNow(); 166 | } 167 | } 168 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/MagicProducer.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | import com.magic.util.StringUtils; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.ArrayList; 8 | import java.util.List; 9 | 10 | /** 11 | * 生产者线程 12 | */ 13 | public abstract class MagicProducer implements Runnable { 14 | 15 | private Logger logger = LoggerFactory.getLogger(MagicProducer.class); 16 | 17 | /** 18 | * ID 19 | */ 20 | private String id; 21 | 22 | /** 23 | * 它所对应的消费者 24 | */ 25 | private List consumers; 26 | 27 | /** 28 | * 他所对应的空闲消费者 29 | */ 30 | private List freeConsumers; 31 | 32 | /** 33 | * 是否要停止 34 | */ 35 | private boolean shutdown; 36 | 37 | /** 38 | * 是否等所有消费者都空了以后，才进行下一轮 39 | * 这个配置是跟loop配合使用的，如果loop为fale，那么这个配置将没有意义 40 | */ 41 | private boolean allFree; 42 | 43 | /** 44 | * 是否持续生产 45 | * 如果设置为false，那么producer方法只会执行一次，完成后本线程将直接结束 46 | * 如果设置为true，那么producer方法会一直循环执行 47 | */ 48 | private boolean loop; 49 | 50 | public MagicProducer(){ 51 | this.shutdown = false; 52 | this.loop = getLoop(); 53 | this.allFree = getAllFree(); 54 | this.id = getId(); 55 | if(StringUtils.isEmpty(this.id)){ 56 | throw new NullPointerException("producer id cannot empty"); 57 | } 58 | } 59 | 60 | /** 61 | * 添加消费者 62 | * @param consumers 63 | */ 64 | public void addConsumer(List consumers){ 65 | this.consumers = consumers; 66 | for(MagicConsumer consumer : this.consumers){ 67 | consumer.initProducerTaskCount(id); 68 | } 69 | } 70 | 71 | /** 72 | * 给消费者投喂任务 73 | * @param t 74 | */ 75 | public void publish(Object t){ 76 | if(freeConsumers == null || freeConsumers.size() == 0){ 77 | throw new NullPointerException(""); 78 | } 79 | for(MagicConsumer consumer : freeConsumers){ 80 | consumer.addTask(new TaskData(id, t)); 81 | } 82 | } 83 | 84 | /** 85 | * 生产数据 86 | */ 87 | @Override 88 | public void run(){ 89 | freeConsumers = consumers; 90 | 91 | while (shutdown == false){ 92 | try { 93 | // 生产数据，并投喂给消费者 94 | producer(); 95 | 96 | // 如果loop设置为false，代表只执行一次，所以直接跳出run方法 97 | if(loop == false){ 98 | return; 99 | } 100 | 101 | // 一轮投喂结束后，检测有没有空闲消费者，如果没有就阻塞在这，直到有空闲消费者出现 102 | await(); 103 | } catch (Exception e){ 104 | logger.error("DataProducer run error, id:{}", id, e); 105 | } 106 | } 107 | } 108 | 109 | /** 110 | * 检测有没有空闲消费者，如果没有就阻塞在这，直到有空闲消费者出现 111 | */ 112 | private void await(){ 113 | while (true) { 114 | try { 115 | // 检测有没有空闲消费者 116 | freeConsumers = new ArrayList<>(); 117 | for (MagicConsumer consumer : consumers) { 118 | if (consumer.isPending(id)) { 119 | freeConsumers.add(consumer); 120 | } else if (allFree) { 121 | // 如果allFree设置为true，那么只要发现了不空闲的消费者就会继续等待 122 | // 直到所有消费者都空闲了才进行下一轮 123 | freeConsumers = new ArrayList<>(); 124 | break; 125 | } 126 | } 127 | 128 | // 如果这里能拿到空闲的消费者，就直接进行下一轮 129 | // 而且生产者发布的数据只会推送到这几个消费者里面 130 | // 这是为了照顾消费者的消费能力，如果不管不顾随便投喂，会导致队列积压，造成内存溢出 131 | if (freeConsumers.size() > 0) { 132 | break; 133 | } 134 | 135 | // 没有就阻塞100毫秒，然后再检测一次 136 | Thread.sleep(100); 137 | logger.info("DataProducer execProducer awaiting, id:{}......", id); 138 | } catch (Exception e){ 139 | logger.error("DataProducer execProducer await error, id:{}", id, e); 140 | } 141 | } 142 | } 143 | 144 | /** 145 | * 停止数据生产 146 | */ 147 | public void shutDownNow(){ 148 | this.shutdown = true; 149 | } 150 | 151 | /** 152 | * 获取ID 153 | * @return 154 | */ 155 | public String getId(){ 156 | return this.getClass().getName(); 157 | } 158 | 159 | /** 160 | * 生产数据 161 | */ 162 | public abstract void producer(); 163 | 164 | /** 165 | * 是否持续生产 166 | * 如果设置为false，那么producer方法只会执行一次，完成后本线程将直接结束 167 | * 如果设置为true，那么producer方法会一直循环执行 168 | */ 169 | public boolean getLoop(){ 170 | return true; 171 | } 172 | 173 | /** 174 | * 是否等所有消费者都空了以后，才进行下一轮 175 | * 这个配置是跟loop配合使用的，如果loop为fale，那么这个配置将没有意义 176 | * @return 177 | */ 178 | public boolean getAllFree(){ 179 | return false; 180 | } 181 | } 182 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapAsync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | 5 | import java.util.ArrayList; 6 | import java.util.List; 7 | import java.util.Map; 8 | import java.util.concurrent.*; 9 | 10 | /** 11 | * 并发处理Map里的元素（异步） 12 | */ 13 | public class ConcurrentMapAsync { 14 | 15 | /** 16 | * 异步任务集合 17 | */ 18 | private List runnableList; 19 | 20 | public ConcurrentMapAsync() { 21 | runnableList = new ArrayList<>(); 22 | } 23 | 24 | /** 25 | * 并发执行器 26 | */ 27 | private ConcurrentMapSync concurrentMapSync = new ConcurrentMapSync(); 28 | 29 | /** 30 | * 将一个Map分成若干组，排队执行，每组内部并发执行 31 | * 同步执行 32 | * 默认分成10组，超时时间10分钟 33 | * 34 | * @param dataMap 数据集 35 | * @param concurrentMapRunner 执行器 36 | * @param 37 | */ 38 | public ConcurrentMapAsync asyncRunner(Map dataMap, 39 | ConcurrentMapRunner concurrentMapRunner) { 40 | return asyncRunner(dataMap, concurrentMapRunner, 10, 10, TimeUnit.MINUTES); 41 | } 42 | 43 | /** 44 | * 将一个Map分成若干组，排队执行，每组内部并发执行 45 | * 同步执行 46 | * 默认超时时间10分钟 47 | * 48 | * @param dataMap 数据集 49 | * @param concurrentMapRunner 执行器 50 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 51 | * @param 52 | */ 53 | public ConcurrentMapAsync asyncRunner(Map dataMap, 54 | ConcurrentMapRunner concurrentMapRunner, 55 | int groupSize) { 56 | return asyncRunner(dataMap, concurrentMapRunner, groupSize, 10, TimeUnit.MINUTES); 57 | } 58 | 59 | /** 60 | * 将一个Map分成若干组，每一组分别用一个线程执行 61 | * 同步执行 62 | * 默认分成10组，超时时间10分钟 63 | * 64 | * @param dataMap 数据集 65 | * @param concurrentMapGroupRunner 执行器 66 | * @param 67 | */ 68 | public ConcurrentMapAsync asyncGroupRunner(Map dataMap, 69 | ConcurrentMapGroupRunner concurrentMapGroupRunner) { 70 | return asyncGroupRunner(dataMap, concurrentMapGroupRunner, 10, 10, TimeUnit.MINUTES); 71 | } 72 | 73 | /** 74 | * 将一个Map分成若干组，每一组分别用一个线程执行 75 | * 同步执行 76 | * 默认超时时间10分钟 77 | * 78 | * @param dataMap 数据集 79 | * @param concurrentMapGroupRunner 执行器 80 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 81 | * @param 82 | */ 83 | public ConcurrentMapAsync asyncGroupRunner(Map dataMap, 84 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 85 | int groupSize) { 86 | return asyncGroupRunner(dataMap, concurrentMapGroupRunner, groupSize, 10, TimeUnit.MINUTES); 87 | } 88 | 89 | /** 90 | * 将一个Map分成若干组，每一组分别用一个线程执行 91 | * 同步执行 92 | * 93 | * @param dataMap 数据集 94 | * @param concurrentMapGroupRunner 执行器 95 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 96 | * @param timeout 每一组的超时时间，单位由unit参数设置 97 | * @param unit 超时时间单位 98 | * @param 99 | */ 100 | public ConcurrentMapAsync asyncGroupRunner(Map dataMap, 101 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 102 | int groupSize, 103 | long timeout, 104 | TimeUnit unit) { 105 | runnableList.add(() -> { 106 | concurrentMapSync.syncGroupRunner(dataMap, concurrentMapGroupRunner, groupSize, timeout, unit); 107 | }); 108 | 109 | return this; 110 | } 111 | 112 | 113 | /** 114 | * 将一个Map分成若干组，排队执行，每组内部并发执行 115 | * 同步执行 116 | * 117 | * @param dataMap 数据集 118 | * @param concurrentMapRunner 执行器 119 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 120 | * @param timeout 每一组的超时时间，单位由unit参数设置 121 | * @param unit 超时时间单位 122 | * @param 123 | */ 124 | public ConcurrentMapAsync asyncRunner(Map dataMap, 125 | ConcurrentMapRunner concurrentMapRunner, 126 | int groupSize, 127 | long timeout, 128 | TimeUnit unit) { 129 | runnableList.add(() -> { 130 | concurrentMapSync.syncRunner(dataMap, concurrentMapRunner, groupSize, timeout, unit); 131 | }); 132 | 133 | return this; 134 | } 135 | 136 | /** 137 | * 启动所有异步任务 138 | */ 139 | public void start(){ 140 | ProcessingHelper.start(runnableList); 141 | } 142 | } 143 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionAsync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | 5 | import java.util.ArrayList; 6 | import java.util.Collection; 7 | import java.util.List; 8 | import java.util.concurrent.*; 9 | 10 | /** 11 | * 并发处理Collection里的元素（异步） 12 | */ 13 | public class ConcurrentCollectionAsync { 14 | 15 | /** 16 | * 异步任务集合 17 | */ 18 | private List runnableList; 19 | 20 | public ConcurrentCollectionAsync() { 21 | runnableList = new ArrayList<>(); 22 | } 23 | 24 | /** 25 | * 并发执行器 26 | */ 27 | private ConcurrentCollectionSync concurrentCollectionSync = new ConcurrentCollectionSync(); 28 | 29 | /** 30 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 31 | * 异步执行 32 | * 默认分成10组，超时时间10分钟 33 | * 34 | * @param dataList 数据集 35 | * @param concurrentCollectionRunner 执行器 36 | * @param 37 | */ 38 | public ConcurrentCollectionAsync asyncRunner(Collection dataList, 39 | ConcurrentCollectionRunner concurrentCollectionRunner) { 40 | return asyncRunner(dataList, concurrentCollectionRunner, 10, 10, TimeUnit.MINUTES); 41 | } 42 | 43 | /** 44 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 45 | * 异步执行 46 | * 默认超时时间10分钟 47 | * 48 | * @param dataList 数据集 49 | * @param concurrentCollectionRunner 执行器 50 | * @param 51 | */ 52 | public ConcurrentCollectionAsync asyncRunner(Collection dataList, 53 | ConcurrentCollectionRunner concurrentCollectionRunner, 54 | int groupSize) { 55 | return asyncRunner(dataList, concurrentCollectionRunner, groupSize, 10, TimeUnit.MINUTES); 56 | } 57 | 58 | /** 59 | * 将一个Collection分成若干组，每一组分别用一个线程执行 60 | * 异步执行 61 | * 默认分成10组，超时时间10分钟 62 | * 63 | * @param dataList 数据集 64 | * @param concurrentCollectionGroupRunner 执行器 65 | * @param 66 | */ 67 | public ConcurrentCollectionAsync asyncGroupRunner(Collection dataList, 68 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner) { 69 | return asyncGroupRunner(dataList, concurrentCollectionGroupRunner, 10, 10, TimeUnit.MINUTES); 70 | } 71 | 72 | /** 73 | * 将一个Collection分成若干组，每一组分别用一个线程执行 74 | * 异步执行 75 | * 默超时时间10分钟 76 | * 77 | * @param dataList 数据集 78 | * @param concurrentCollectionGroupRunner 执行器 79 | * @param 80 | */ 81 | public ConcurrentCollectionAsync asyncGroupRunner(Collection dataList, 82 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 83 | int groupSize) { 84 | return asyncGroupRunner(dataList, concurrentCollectionGroupRunner, groupSize, 10, TimeUnit.MINUTES); 85 | } 86 | 87 | /** 88 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 89 | * 异步执行 90 | * 91 | * @param dataList 数据集 92 | * @param concurrentCollectionRunner 执行器 93 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 94 | * @param timeout 每一组的超时时间，单位由unit参数设置 95 | * @param unit 超时时间单位 96 | * @param 97 | */ 98 | public ConcurrentCollectionAsync asyncRunner(Collection dataList, 99 | ConcurrentCollectionRunner concurrentCollectionRunner, 100 | int groupSize, 101 | long timeout, 102 | TimeUnit unit) { 103 | 104 | runnableList.add(() -> { 105 | concurrentCollectionSync.syncRunner(dataList, concurrentCollectionRunner, groupSize, timeout, unit); 106 | }); 107 | 108 | return this; 109 | } 110 | 111 | /** 112 | * 将一个Collection分成若干组，每一组分别用一个线程执行 113 | * 异步执行 114 | * 115 | * @param dataList 数据集 116 | * @param concurrentCollectionGroupRunner 执行器 117 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 118 | * @param timeout 每一组的超时时间，单位由unit参数设置 119 | * @param unit 超时时间单位 120 | * @param 121 | */ 122 | public ConcurrentCollectionAsync asyncGroupRunner(Collection dataList, 123 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 124 | int groupSize, 125 | long timeout, 126 | TimeUnit unit) { 127 | 128 | runnableList.add(() -> { 129 | concurrentCollectionSync.syncGroupRunner(dataList, concurrentCollectionGroupRunner, groupSize, timeout, unit); 130 | }); 131 | 132 | return this; 133 | } 134 | 135 | /** 136 | * 启动所有异步任务 137 | */ 138 | public void start(){ 139 | ProcessingHelper.start(runnableList); 140 | } 141 | } 142 | -------------------------------------------------------------------------------- /pom.xml: -------------------------------------------------------------------------------- 1 | 2 | 5 | 4.0.0 6 | com.github.yuyenews 7 | Magic 8 | 1.0.5 9 | 10 | 11 | 17 12 | 17 13 | 17 14 | 17 15 | UTF-8 16 | UTF-8 17 | UTF-8 18 | 19 | 20 | 21 | 22 | org.slf4j 23 | slf4j-api 24 | 1.7.30 25 | 26 | 27 | com.alibaba.fastjson2 28 | fastjson2 29 | 2.0.53 30 | 31 | 32 | 33 | org.springframework 34 | spring-jdbc 35 | 6.1.13 36 | true 37 | 38 | 39 | 40 | Magic 41 | Magic是Magician旗下的一个工具包，支持并发处理、生产者与消费者模型、数据库操作等 42 | https://github.com/JMagician/Magic 43 | 44 | 45 | 俞晔 46 | https://github.com/JMagician/Magic 47 | yuyemail@163.com 48 | 49 | 50 | 51 | scm:git:https://github.com/JMagician/Magic.git 52 | scm:https://github.com/JMagician/Magic.git 53 | https://github.com/JMagician/Magic 54 | HEAD 55 | 56 | 57 | 58 | The MIT License (MIT) 59 | https://opensource.org/licenses/mit-license.php 60 | repo 61 | 62 | 63 | 64 | 65 | central 66 | Central Repository 67 | https://central.sonatype.com/api/v1/publisher 68 | 69 | 70 | 71 | 72 | 73 | 74 | org.apache.maven.plugins 75 | maven-javadoc-plugin 76 | 3.6.3 77 | 78 | 79 | attach-javadocs 80 | package 81 | 82 | jar 83 | 84 | 85 | 86 | none 87 | 88 | UTF-8 89 | UTF-8 90 | UTF-8 91 | 92 | 93 | 94 | 95 | 96 | org.apache.maven.plugins 97 | maven-source-plugin 98 | 3.3.1 99 | 100 | 101 | attach-sources 102 | verify 103 | 104 | jar-no-fork 105 | 106 | 107 | 108 | 109 | 110 | org.apache.maven.plugins 111 | maven-gpg-plugin 112 | 3.2.8 113 | 114 | 115 | sign-artifacts 116 | verify 117 | 118 | sign 119 | 120 | 121 | 122 | 123 | 124 | org.sonatype.central 125 | central-publishing-maven-plugin 126 | 0.9.0 127 | true 128 | 129 | central 130 | 131 | 132 | 133 | 134 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/pac/MagicConsumer.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.pac; 2 | 3 | import com.magic.util.StringUtils; 4 | import org.slf4j.Logger; 5 | import org.slf4j.LoggerFactory; 6 | 7 | import java.util.Map; 8 | import java.util.concurrent.ConcurrentHashMap; 9 | import java.util.concurrent.LinkedBlockingQueue; 10 | import java.util.concurrent.atomic.AtomicLong; 11 | 12 | /** 13 | * 消费者线程 14 | */ 15 | public abstract class MagicConsumer implements Runnable { 16 | 17 | private static Logger logger = LoggerFactory.getLogger(MagicConsumer.class); 18 | 19 | /** 20 | * 任务队列 21 | */ 22 | private LinkedBlockingQueue blockingQueue; 23 | 24 | /** 25 | * ID 26 | */ 27 | private String id; 28 | 29 | /** 30 | * 频率限制，run方法里有详细说明 31 | */ 32 | private long execFrequencyLimit; 33 | 34 | /** 35 | * 是否要停止 36 | */ 37 | private boolean shutdown; 38 | 39 | /** 40 | * 每个生产者投喂进来的任务数量（剩余量） 41 | */ 42 | private Map producerTaskCount; 43 | 44 | public MagicConsumer(){ 45 | this.blockingQueue = new LinkedBlockingQueue<>(); 46 | this.producerTaskCount = new ConcurrentHashMap<>(); 47 | this.shutdown = false; 48 | this.execFrequencyLimit = getExecFrequencyLimit(); 49 | if(this.execFrequencyLimit < 0){ 50 | this.execFrequencyLimit = 0; 51 | } 52 | 53 | this.id = getId(); 54 | if(StringUtils.isEmpty(this.id)){ 55 | throw new NullPointerException("consumer id cannot empty"); 56 | } 57 | } 58 | 59 | /** 60 | * 初始化生产者投喂的任务剩余量 61 | * @param producerId 62 | */ 63 | public void initProducerTaskCount(String producerId){ 64 | this.producerTaskCount.put(producerId, new AtomicLong(0)); 65 | } 66 | 67 | /** 68 | * 获取总任务量剩余数 69 | * @return 70 | */ 71 | public int getTaskCount(){ 72 | return blockingQueue.size(); 73 | } 74 | 75 | /** 76 | * 添加任务 77 | * @param taskData 78 | */ 79 | public void addTask(TaskData taskData){ 80 | this.blockingQueue.add(taskData); 81 | this.producerTaskCount.get(taskData.getProducerId()).incrementAndGet(); 82 | } 83 | 84 | /** 85 | * 检测producerId对应的生产者，是否可以对其投喂任务 86 | * @param producerId 87 | * @return 88 | */ 89 | public boolean isPending(String producerId){ 90 | return this.blockingQueue.size() == 0 || this.producerTaskCount.get(producerId).get() <= 0; 91 | } 92 | 93 | /** 94 | * 获取producerId对应的生产者，投喂的任务量剩余数 95 | * @param producerId 96 | * @return 97 | */ 98 | public Long getProducerTaskCount(String producerId){ 99 | return this.producerTaskCount.get(producerId).get(); 100 | } 101 | 102 | /** 103 | * 消费任务队列 104 | */ 105 | @Override 106 | public void run() { 107 | while (shutdown == false){ 108 | try { 109 | // 发送心跳通知 110 | pulse(this.id); 111 | 112 | // take一个任务 113 | TaskData task = blockingQueue.take(); 114 | if(task == null){ 115 | continue; 116 | } 117 | 118 | /* *********** 开始执行任务 ********** */ 119 | 120 | // 记录任务执行开始时间 121 | long startTime = System.currentTimeMillis(); 122 | 123 | // 执行任务 124 | execTask(task); 125 | 126 | /* 127 | * 如果任务执行的耗时小于execFrequencyLimit，则等待execFrequencyLimit毫秒后再消费下一个任务 128 | * 129 | * 首先这是一个生产者和消费者多对多的模型结构，我们以一个生产者对多个消费者来举例 130 | * 生产者生产的数据只有一份，但是他会投喂给多个消费者 131 | * 而我们之所以要配置多个消费者，是因为需要他们执行不同的业务逻辑 132 | * 多个消费者执行的业务逻辑不同，也就意味着他们需要的数据大概率会不同 133 | * 134 | * 比如消费者A需要处理男性的数据，消费者B需要处理女性的数据 135 | * 如果生产者刚好连续投喂了几批男性的数据，那么这会导致消费者B筛选不到女性数据，那么他就不会处理业务逻辑了 136 | * 这么一来，消费者B的执行速度会非常快，而他的快意味着execTask(task)会快速结束 137 | * 这个速度如果过快，会导致本while循环过快，从而引起CPU占用率过大，所以必须加以限制 138 | * 139 | * 千万不要小看这个问题，本人曾经在实战中亲测过，做不做这个限制，CPU的占有率会达到10倍的差距 140 | * 当然了，这跟消费者的业务逻辑还是有一定关系的，具体情况具体看待 141 | * 142 | */ 143 | if(execFrequencyLimit > 0 && (System.currentTimeMillis() - startTime) < execFrequencyLimit){ 144 | Thread.sleep(execFrequencyLimit); 145 | } 146 | } catch (Exception e){ 147 | logger.error("DataConsumer run error", e); 148 | } 149 | } 150 | } 151 | 152 | /** 153 | * 执行任务 154 | * @param taskData 155 | */ 156 | private void execTask(TaskData taskData){ 157 | // 本任务对应的生产者，投喂到这里面的任务剩余量，减少一个 158 | AtomicLong taskCount = producerTaskCount.get(taskData.getProducerId()); 159 | if(taskCount.get() > 0){ 160 | taskCount.decrementAndGet(); 161 | logger.info("MagicianConsumer take one, producerId:{}", taskData.getProducerId()); 162 | } 163 | 164 | // 执行任务 165 | doRunner(taskData.getData()); 166 | } 167 | 168 | /** 169 | * 停止本消费者 170 | */ 171 | public void shutDownNow(){ 172 | this.shutdown = true; 173 | } 174 | 175 | /** 176 | * 获取ID 177 | * @return 178 | */ 179 | public String getId(){ 180 | return this.getClass().getName(); 181 | } 182 | 183 | /** 184 | * 心跳 185 | * @param id 186 | */ 187 | public void pulse(String id){}; 188 | 189 | /** 190 | * 获取执行频率 191 | * @return 192 | */ 193 | public long getExecFrequencyLimit(){ 194 | return 10; 195 | } 196 | 197 | /** 198 | * 执行任务 199 | * @param data 200 | */ 201 | public abstract void doRunner(Object data); 202 | } 203 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 |

2 | Magic · 3 | 4 | 5 | 6 | 7 |

8 | 9 | Magic是Magician旗下的一个工具包，支持并发处理、生产者与消费者模型、数据库操作等 10 | 11 | ## 运行环境 12 | 13 | JDK17 14 | 15 | ## 文档 16 | 17 | [https://github.com/JMagician/Magic/blob/dev/Document.md](https://github.com/JMagician/Magic/blob/dev/Document.md) 18 | 19 | ## 示例 20 | 21 | ### 01 导入依赖 22 | ```xml 23 | 24 | com.github.yuyenews 25 | Magic 26 | 1.0.5 27 | 28 | ``` 29 | 30 | ### 02 数据库操作 31 | 32 | #### 首先需要创建一个Spring的JdbcTemplate对象 33 | 34 | ```java 35 | @Resource 36 | private JdbcTemplate jdbcTemplate; 37 | ``` 38 | 39 | #### 单表查询 40 | 41 | ```java 42 | // 创建查询条件 43 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 44 | .add("age = ?", "300") 45 | .add(" order by age desc", Condition.NOT_WHERE); 46 | 47 | // 执行查询操作 48 | List demoPOS = MagicDBUtils.get(jdbcTemplate) 49 | .select("m_user_info", conditionBuilder, DemoPO.class); 50 | ``` 51 | 52 | #### 单表插入 53 | 54 | ```java 55 | // 创建要插入的对象和值 56 | DemoPO demoPO = DemoPO.builder() 57 | .id(UUID.randomUUID().toString()) 58 | .age(18) 59 | .content("哈哈哈") 60 | .amount(new BigDecimal("10000")) 61 | .length(new BigInteger("10000000000")) 62 | .createTime(new Date()) 63 | .updateTime(new Date()) 64 | .build(); 65 | 66 | // 执行插入操作 67 | MagicDBUtils.get(jdbcTemplate).insert("m_user_info", demoPO); 68 | ``` 69 | 70 | #### 单表更新 71 | 72 | ```java 73 | // 创建修改条件 74 | ConditionBuilder = conditionBuilder = ConditionBuilder.createCondition() 75 | .add("id = ? and age = ?", "00df4362-d7ad-48d2-8bcb-05cf859b7e64", 500); 76 | 77 | // 需要修改的字段和对应的值 78 | DemoPO demoPO = DemoPO.builder() 79 | .age(122) 80 | .content("嘿嘿嘿") 81 | .amount(new BigDecimal("100002.33")) 82 | .length(new BigInteger("100000000002")) 83 | .createTime(new Date()) 84 | .updateTime(new Date()) 85 | .build(); 86 | 87 | // 执行修改操作 88 | MagicDBUtils.get(jdbcTemplate).update("m_user_info", demoPO, conditionBuilder); 89 | ``` 90 | 91 | #### 单表删除 92 | 93 | ```java 94 | // 创建删除条件 95 | ConditionBuilder = conditionBuilder = ConditionBuilder.createCondition() 96 | .add("id = ?", "00df4362-d7ad-48d2-8bcb-05cf859b7e64"); 97 | // 执行删除操作 98 | MagicDBUtils.get(jdbcTemplate).delete("m_user_info", conditionBuilder); 99 | ``` 100 | 101 | #### 自定义SQL查询 102 | 103 | ```java 104 | DemoPO demoPO = DemoPO.builder() 105 | .age(122) 106 | .build(); 107 | 108 | MagicDBUtils.get(jdbcTemplate).selectList("select * from m_user_info where age > {age}", demoPO, DemoPO.class); 109 | ``` 110 | 111 | #### 自定义SQL分页 112 | 113 | ```java 114 | // 查询参数 115 | PageParamModel pageParamModel = PageParamModel 116 | .getPageParamModel(1, 10) 117 | .setParam( 118 | DemoPO.builder() 119 | .age(10) 120 | .build() 121 | ); 122 | 123 | // 执行查询操作 124 | PageModel pageModel = MagicDBUtils.get(jdbcTemplate).selectPage("select * from m_user_info where age > {age}", pageParamModel, DemoPO.class); 125 | ``` 126 | 127 | ### 03 并发处理任务 128 | 129 | ```java 130 | MagicDataProcessing.getConcurrentTaskSync() 131 | .setTimeout(1000) // 超时时间 132 | .setTimeUnit(TimeUnit.MILLISECONDS) // 超时时间的单位 133 | .add(() -> { // 添加一个任务 134 | 135 | // 在这里可以写上任务的业务逻辑 136 | 137 | }) 138 | .add(() -> { // 添加一个任务 139 | 140 | // 在这里可以写上任务的业务逻辑 141 | 142 | }) 143 | .start(); 144 | ``` 145 | 146 | ### 04 并发处理List，Set等所有Collection类集合里的元素 147 | 148 | ```java 149 | // 假如有一个List需要并发处理里面的元素 150 | List dataList = new ArrayList<>(); 151 | 152 | // 只需要将他传入syncRunner方法即可，每个参数的具体含义可以参考文档 153 | MagicDataProcessing.getConcurrentCollectionSync() 154 | .syncRunner(dataList, data -> { 155 | 156 | // 这里可以拿到List里的元素，进行处理 157 | System.out.println(data); 158 | 159 | }, 10, 1, TimeUnit.MINUTES); 160 | 161 | // 也可以用syncGroupRunner方法，每个参数的具体含义可以参考文档 162 | MagicDataProcessing.getConcurrentCollectionSync() 163 | .syncGroupRunner(dataList, data -> { 164 | 165 | // 这里是每一组List 166 | for(String item : data){ 167 | // 这里可以拿到List里的元素，进行处理 168 | System.out.println(data); 169 | } 170 | 171 | }, 10, 1, TimeUnit.MINUTES); 172 | ``` 173 | 174 | ### 05 生产者与消费者 175 | 176 | ```java 177 | // 创建一组生产者与消费者，支持多对多 178 | MagicDataProcessing.getProducerAndConsumerManager() 179 | .addProducer(new MagicianProducer() { // 添加一个生产者（可以添加多个） 180 | 181 | @Override 182 | public void producer() { 183 | // 查询这张表里符合条件的数据 184 | List dataList = selectList(); 185 | 186 | // 然后将他推送给消费者 187 | this.publish(dataList); 188 | } 189 | 190 | }).addConsumer(new MagicianConsumer() { // 添加一个消费者（可以添加多个） 191 | 192 | @Override 193 | public void doRunner(Object data) { 194 | // 处理生产者发来的数据 195 | System.out.println(data); 196 | } 197 | 198 | }).start(); 199 | ``` -------------------------------------------------------------------------------- /src/main/java/com/magic/db/MagicDBUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.db; 2 | 3 | import com.magic.db.conversion.ConditionBuilder; 4 | import com.magic.db.model.PageModel; 5 | import com.magic.db.model.PageParamModel; 6 | import org.springframework.jdbc.core.JdbcTemplate; 7 | 8 | import java.util.List; 9 | 10 | /** 11 | * 数据库操作工具类 12 | */ 13 | public class MagicDBUtils { 14 | 15 | private JdbcTemplate jdbcTemplate; 16 | 17 | public static MagicDBUtils get(JdbcTemplate jdbcTemplate) { 18 | MagicDBUtils MagicDBUtils = new MagicDBUtils(); 19 | MagicDBUtils.jdbcTemplate = jdbcTemplate; 20 | return MagicDBUtils; 21 | } 22 | 23 | /* -------------------------------------- 单表不需要写SQL的操作 ------------------------------------------ */ 24 | 25 | /** 26 | * 不需要写SQL，单表查询 27 | * 28 | * @param tableName 29 | * @param conditionBuilder 30 | * @param cls 31 | * @param 32 | * @return 33 | * @throws Exception 34 | */ 35 | public List select(String tableName, ConditionBuilder conditionBuilder, Class cls) { 36 | return SingleTableUtils.select(jdbcTemplate, tableName, conditionBuilder, cls); 37 | } 38 | 39 | /** 40 | * 不需要写SQL，单表查询 41 | * 42 | * @param tableName 43 | * @param conditionBuilder 44 | * @param cls 45 | * @param 46 | * @return 47 | * @throws Exception 48 | */ 49 | public T selectFirst(String tableName, ConditionBuilder conditionBuilder, Class cls) throws Exception { 50 | List list = SingleTableUtils.select(jdbcTemplate, tableName, conditionBuilder, cls); 51 | if (list == null || list.size() == 0) { 52 | return null; 53 | } 54 | 55 | if (list.size() > 1) { 56 | throw new Exception("more than one data"); 57 | } 58 | 59 | return list.get(0); 60 | } 61 | 62 | /** 63 | * 不需要写SQL，单表更新 64 | * 65 | * @param tableName 66 | * @param data 67 | * @param conditionBuilder 68 | * @return 69 | * @throws Exception 70 | */ 71 | public int update(String tableName, Object data, ConditionBuilder conditionBuilder) throws Exception { 72 | return SingleTableUtils.update(jdbcTemplate, tableName, data, conditionBuilder); 73 | } 74 | 75 | /** 76 | * 不需要写SQL，单表删除 77 | * 78 | * @param tableName 79 | * @param conditionBuilder 80 | * @return 81 | * @throws Exception 82 | */ 83 | public int delete(String tableName, ConditionBuilder conditionBuilder) throws Exception { 84 | return SingleTableUtils.delete(jdbcTemplate, tableName, conditionBuilder); 85 | } 86 | 87 | /** 88 | * 不需要写SQL，单表插入 89 | * 90 | * @param tableName 91 | * @param data 92 | * @return 93 | * @throws Exception 94 | */ 95 | public int insert(String tableName, Object data) throws Exception { 96 | return SingleTableUtils.insert(jdbcTemplate, tableName, data); 97 | } 98 | 99 | /* -------------------------------------- 自定义SQL操作 ------------------------------------------ */ 100 | 101 | /** 102 | * 查询列表 103 | * 104 | * @param sql 105 | * @param param 106 | * @param cls 107 | * @param 108 | * @return 109 | * @throws Exception 110 | */ 111 | public List selectList(String sql, Object param, Class cls) throws Exception { 112 | return CustomSqlUtils.selectList(jdbcTemplate, sql, param, cls); 113 | } 114 | 115 | /** 116 | * 查询列表，无参数 117 | * 118 | * @param sql 119 | * @param cls 120 | * @param 121 | * @return 122 | * @throws Exception 123 | */ 124 | public List selectList(String sql, Class cls) throws Exception { 125 | return CustomSqlUtils.selectList(jdbcTemplate, sql, cls); 126 | } 127 | 128 | /** 129 | * 查询一条数据 130 | * 131 | * @param sql 132 | * @param cls 133 | * @param 134 | * @return 135 | * @throws Exception 136 | */ 137 | public T selectOne(String sql, Object param, Class cls) throws Exception { 138 | return CustomSqlUtils.selectOne(jdbcTemplate, sql, param, cls); 139 | } 140 | 141 | /** 142 | * 查询一条数据，无参数 143 | * 144 | * @param sql 145 | * @param cls 146 | * @param 147 | * @return 148 | * @throws Exception 149 | */ 150 | public T selectOne(String sql, Class cls) throws Exception { 151 | return CustomSqlUtils.selectOne(jdbcTemplate, sql, cls); 152 | } 153 | 154 | /** 155 | * 增、删、改 156 | * 157 | * @param sql 158 | * @param param 159 | * @return 160 | */ 161 | public int exec(String sql, Object param) throws Exception { 162 | return CustomSqlUtils.exec(jdbcTemplate, sql, param); 163 | } 164 | 165 | /** 166 | * 增、删、改，无参数 167 | * 168 | * @param sql 169 | * @return 170 | */ 171 | public int exec(String sql) throws Exception { 172 | return CustomSqlUtils.exec(jdbcTemplate, sql); 173 | } 174 | 175 | /* -------------------------------------- 分页查询 ------------------------------------------ */ 176 | 177 | /** 178 | * 使用默认的count sql 分页查询 179 | * 180 | * @param sql 181 | * @param pageParamModel 182 | * @param cls 183 | * @param 184 | * @return 185 | * @throws Exception 186 | */ 187 | public PageModel selectPage(String sql, PageParamModel pageParamModel, Class cls) throws Exception { 188 | return CustomSqlUtils.selectPage(jdbcTemplate, sql, pageParamModel, cls); 189 | } 190 | 191 | /** 192 | * 使用自定义的count sql 分页查询 193 | * 194 | * @param sql 195 | * @param countSql 196 | * @param pageParamModel 197 | * @param cls 198 | * @param 199 | * @return 200 | * @throws Exception 201 | */ 202 | public PageModel selectPageCustomCountSql(String sql, String countSql, PageParamModel pageParamModel, Class cls) throws Exception { 203 | return CustomSqlUtils.selectPageCustomCountSql(jdbcTemplate, sql, countSql, pageParamModel, cls); 204 | } 205 | } 206 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/map/ConcurrentMapSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.map; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | import com.magic.util.MapsUtil; 5 | import org.slf4j.Logger; 6 | import org.slf4j.LoggerFactory; 7 | 8 | import java.util.List; 9 | import java.util.Map; 10 | import java.util.concurrent.CountDownLatch; 11 | import java.util.concurrent.TimeUnit; 12 | 13 | /** 14 | * 并发处理Map里的元素（同步） 15 | */ 16 | public class ConcurrentMapSync { 17 | 18 | private Logger logger = LoggerFactory.getLogger(ConcurrentMapSync.class); 19 | 20 | /** 21 | * 将一个Map分成若干组，排队执行，每组内部并发执行 22 | * 同步执行 23 | * 默认分成10组，超时时间10分钟 24 | * 25 | * @param dataMap 数据集 26 | * @param concurrentMapRunner 执行器 27 | * @param 28 | */ 29 | public void syncRunner(Map dataMap, 30 | ConcurrentMapRunner concurrentMapRunner) { 31 | syncRunner(dataMap, concurrentMapRunner, 10, 10, TimeUnit.MINUTES); 32 | } 33 | 34 | /** 35 | * 将一个Map分成若干组，排队执行，每组内部并发执行 36 | * 同步执行 37 | * 默认超时时间10分钟 38 | * 39 | * @param dataMap 数据集 40 | * @param concurrentMapRunner 执行器 41 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 42 | * @param 43 | */ 44 | public void syncRunner(Map dataMap, 45 | ConcurrentMapRunner concurrentMapRunner, 46 | int groupSize) { 47 | syncRunner(dataMap, concurrentMapRunner, groupSize, 10, TimeUnit.MINUTES); 48 | } 49 | 50 | /** 51 | * 将一个Map分成若干组，每一组分别用一个线程执行 52 | * 同步执行 53 | * 默认分成10组，超时时间10分钟 54 | * 55 | * @param dataMap 数据集 56 | * @param concurrentMapGroupRunner 执行器 57 | * @param 58 | */ 59 | public void syncGroupRunner(Map dataMap, 60 | ConcurrentMapGroupRunner concurrentMapGroupRunner) { 61 | syncGroupRunner(dataMap, concurrentMapGroupRunner, 10, 10, TimeUnit.MINUTES); 62 | } 63 | 64 | /** 65 | * 将一个Map分成若干组，每一组分别用一个线程执行 66 | * 同步执行 67 | * 默认超时时间10分钟 68 | * 69 | * @param dataMap 数据集 70 | * @param concurrentMapGroupRunner 执行器 71 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 72 | * @param 73 | */ 74 | public void syncGroupRunner(Map dataMap, 75 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 76 | int groupSize) { 77 | syncGroupRunner(dataMap, concurrentMapGroupRunner, groupSize, 10, TimeUnit.MINUTES); 78 | } 79 | 80 | /** 81 | * 将一个Map分成若干组，每一组分别用一个线程执行 82 | * 同步执行 83 | * 84 | * @param dataMap 数据集 85 | * @param concurrentMapGroupRunner 执行器 86 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 87 | * @param timeout 每一组的超时时间，单位由unit参数设置 88 | * @param unit 超时时间单位 89 | * @param 90 | */ 91 | public void syncGroupRunner(Map dataMap, 92 | ConcurrentMapGroupRunner concurrentMapGroupRunner, 93 | int groupSize, 94 | long timeout, 95 | TimeUnit unit) { 96 | try { 97 | List> dataGroup = MapsUtil.partition(dataMap, groupSize); 98 | 99 | CountDownLatch count = new CountDownLatch(dataGroup.size()); 100 | 101 | // 给每一组都开一个线程，并发执行 102 | for (Map dataItem : dataGroup) { 103 | new Thread(() -> { 104 | try { 105 | concurrentMapGroupRunner.run(dataItem); 106 | } catch (Throwable e) { 107 | logger.error("ConcurrentMapSync syncGroupRunner error", e); 108 | } finally { 109 | count.countDown(); 110 | } 111 | }).start(); 112 | } 113 | 114 | // 等所有线程执行结束后，或者超时后，再跳出此方法 115 | ProcessingHelper.runnerAwait(timeout, unit, count); 116 | 117 | } catch (Exception e) { 118 | logger.error("ConcurrentMapSync syncGroupRunner error", e); 119 | throw e; 120 | } 121 | } 122 | 123 | 124 | /** 125 | * 将一个Map分成若干组，排队执行，每组内部并发执行 126 | * 同步执行 127 | * 128 | * @param dataMap 数据集 129 | * @param concurrentMapRunner 执行器 130 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 131 | * @param timeout 每一组的超时时间，单位由unit参数设置 132 | * @param unit 超时时间单位 133 | * @param 134 | */ 135 | public void syncRunner(Map dataMap, 136 | ConcurrentMapRunner concurrentMapRunner, 137 | int groupSize, 138 | long timeout, 139 | TimeUnit unit) { 140 | 141 | try { 142 | List> dataGroup = MapsUtil.partition(dataMap, groupSize); 143 | 144 | 145 | for (Map dataItem : dataGroup) { 146 | 147 | CountDownLatch count = new CountDownLatch(dataItem.size()); 148 | 149 | // 给组内的每一个元素都开一个线程，并发执行 150 | for (Map.Entry entry : dataItem.entrySet()) { 151 | new Thread(() -> { 152 | try { 153 | concurrentMapRunner.run(entry.getKey(), entry.getValue()); 154 | } catch (Throwable e) { 155 | logger.error("ConcurrentMapSync syncRunner error", e); 156 | } finally { 157 | count.countDown(); 158 | } 159 | }).start(); 160 | } 161 | 162 | // 等所有线程执行结束后，或者超时后，再执行下一组 163 | ProcessingHelper.runnerAwait(timeout, unit, count); 164 | } 165 | } catch (Exception e) { 166 | logger.error("ConcurrentMapSync syncRunner error", e); 167 | throw e; 168 | } 169 | } 170 | } 171 | -------------------------------------------------------------------------------- /src/main/java/com/magic/processing/concurrent/collection/ConcurrentCollectionSync.java: -------------------------------------------------------------------------------- 1 | package com.magic.processing.concurrent.collection; 2 | 3 | import com.magic.processing.commons.helper.ProcessingHelper; 4 | import com.magic.util.CollectionUtils; 5 | import org.slf4j.Logger; 6 | import org.slf4j.LoggerFactory; 7 | 8 | import java.util.Collection; 9 | import java.util.concurrent.CountDownLatch; 10 | import java.util.concurrent.TimeUnit; 11 | 12 | /** 13 | * 并发处理Collection里的元素（同步） 14 | */ 15 | public class ConcurrentCollectionSync { 16 | 17 | private Logger logger = LoggerFactory.getLogger(ConcurrentCollectionSync.class); 18 | 19 | /** 20 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 21 | * 同步执行 22 | * 默认分成10组，超时时间10分钟 23 | * 24 | * @param dataList 数据集 25 | * @param concurrentCollectionRunner 执行器 26 | * @param 27 | */ 28 | public void syncRunner(Collection dataList, 29 | ConcurrentCollectionRunner concurrentCollectionRunner) { 30 | syncRunner(dataList, concurrentCollectionRunner, 10, 10, TimeUnit.MINUTES); 31 | } 32 | 33 | /** 34 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 35 | * 同步执行 36 | * 默认超时时间10分钟 37 | * 38 | * @param dataList 数据集 39 | * @param concurrentCollectionRunner 执行器 40 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 41 | * @param 42 | */ 43 | public void syncRunner(Collection dataList, 44 | ConcurrentCollectionRunner concurrentCollectionRunner, 45 | int groupSize) { 46 | syncRunner(dataList, concurrentCollectionRunner, groupSize, 10, TimeUnit.MINUTES); 47 | } 48 | 49 | /** 50 | * 将一个Collection分成若干组，每一组分别用一个线程执行 51 | * 同步执行 52 | * 默认分成10组，超时时间10分钟 53 | * 54 | * @param dataList 数据集 55 | * @param concurrentCollectionGroupRunner 执行器 56 | * @param 57 | */ 58 | public void syncGroupRunner(Collection dataList, 59 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner) { 60 | syncGroupRunner(dataList, concurrentCollectionGroupRunner, 10, 10, TimeUnit.MINUTES); 61 | } 62 | 63 | /** 64 | * 将一个Collection分成若干组，每一组分别用一个线程执行 65 | * 同步执行 66 | * 默认超时时间10分钟 67 | * 68 | * @param dataList 数据集 69 | * @param concurrentCollectionGroupRunner 执行器 70 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 71 | * @param 72 | */ 73 | public void syncGroupRunner(Collection dataList, 74 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 75 | int groupSize) { 76 | syncGroupRunner(dataList, concurrentCollectionGroupRunner, groupSize, 10, TimeUnit.MINUTES); 77 | } 78 | 79 | /** 80 | * 将一个Collection分成若干组，每一组分别用一个线程执行 81 | * 同步执行 82 | * 83 | * @param dataList 数据集 84 | * @param concurrentCollectionGroupRunner 执行器 85 | * @param groupSize 每组多少条，它关系到能分成多少组，而组数就决定了会同时开几个线程 86 | * @param timeout 每一组的超时时间，单位由unit参数设置 87 | * @param unit 超时时间单位 88 | * @param 89 | */ 90 | public void syncGroupRunner(Collection dataList, 91 | ConcurrentCollectionGroupRunner concurrentCollectionGroupRunner, 92 | int groupSize, 93 | long timeout, 94 | TimeUnit unit) { 95 | 96 | try { 97 | // 将集合分成若干组，每组元素由调用者指定 98 | Collection> dataGroup = CollectionUtils.partition(dataList, groupSize); 99 | 100 | 101 | CountDownLatch count = new CountDownLatch(dataGroup.size()); 102 | 103 | // 给每一组都开一个线程，并发执行 104 | for (Collection dataItem : dataGroup) { 105 | new Thread(() -> { 106 | try { 107 | concurrentCollectionGroupRunner.run(dataItem); 108 | } catch (Throwable e) { 109 | logger.error("ConcurrentProcessing syncGroupRunner error", e); 110 | } finally { 111 | count.countDown(); 112 | } 113 | }).start(); 114 | } 115 | 116 | // 等所有线程执行结束后，或者超时后，再跳出此方法 117 | ProcessingHelper.runnerAwait(timeout, unit, count); 118 | } catch (Exception e) { 119 | logger.error("ConcurrentProcessingSync syncGroupRunner error", e); 120 | throw e; 121 | } 122 | } 123 | 124 | /** 125 | * 将一个Collection分成若干组，排队执行，每组内部并发执行 126 | * 同步执行 127 | * 128 | * @param dataList 数据集 129 | * @param concurrentCollectionRunner 执行器 130 | * @param groupSize 每组大小，这个大小就决定了会同时开几个线程 131 | * @param timeout 每一组的超时时间，单位由unit参数设置 132 | * @param unit 超时时间单位 133 | * @param 134 | */ 135 | public void syncRunner(Collection dataList, 136 | ConcurrentCollectionRunner concurrentCollectionRunner, 137 | int groupSize, 138 | long timeout, 139 | TimeUnit unit) { 140 | 141 | try { 142 | // 将集合分成若干组，每组大小由调用者指定 143 | Collection> dataGroup = CollectionUtils.partition(dataList, groupSize); 144 | 145 | for (Collection dataItem : dataGroup) { 146 | 147 | CountDownLatch count = new CountDownLatch(dataItem.size()); 148 | 149 | // 给组内的每一个元素都开一个线程，并发执行 150 | for (T item : dataItem) { 151 | new Thread(() -> { 152 | try { 153 | concurrentCollectionRunner.run(item); 154 | } catch (Throwable e) { 155 | logger.error("ConcurrentProcessing syncRunner error", e); 156 | } finally { 157 | count.countDown(); 158 | } 159 | }).start(); 160 | } 161 | 162 | // 等所有线程执行结束后，或者超时后，再执行下一组 163 | ProcessingHelper.runnerAwait(timeout, unit, count); 164 | } 165 | } catch (Exception e) { 166 | logger.error("ConcurrentProcessingSync syncRunner error", e); 167 | throw e; 168 | } 169 | } 170 | } 171 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/CustomSqlUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.db; 2 | 3 | import com.magic.db.conversion.SqlConversion; 4 | import com.magic.db.model.PageModel; 5 | import com.magic.db.model.PageParamModel; 6 | import com.magic.db.model.SqlBuilderModel; 7 | import com.magic.util.JSONUtil; 8 | import org.slf4j.Logger; 9 | import org.slf4j.LoggerFactory; 10 | import org.springframework.jdbc.core.JdbcTemplate; 11 | 12 | import java.util.ArrayList; 13 | import java.util.List; 14 | import java.util.Map; 15 | 16 | /** 17 | * 用自定义SQL 操作数据库的工具类 18 | */ 19 | public class CustomSqlUtils { 20 | 21 | private static Logger logger = LoggerFactory.getLogger(CustomSqlUtils.class); 22 | 23 | /** 24 | * 查询列表 25 | * 26 | * @param sql 27 | * @param param 28 | * @param cls 29 | * @param 30 | * @return 31 | * @throws Exception 32 | */ 33 | public static List selectList(JdbcTemplate jdbcTemplate, String sql, Object param, Class cls) throws Exception { 34 | try { 35 | SqlBuilderModel sqlBuilderModel = SqlConversion.builderSql(sql, param); 36 | 37 | if(logger.isDebugEnabled()){ 38 | logger.debug("selectList, sql:{}, params:{}", sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 39 | } 40 | 41 | List> result = jdbcTemplate.queryForList(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 42 | 43 | List resultList = new ArrayList<>(); 44 | for (Map item : result) { 45 | resultList.add(JSONUtil.toJavaObject(item, cls)); 46 | } 47 | return resultList; 48 | 49 | } catch (Exception e) { 50 | throw e; 51 | } 52 | } 53 | 54 | /** 55 | * 查询列表，无参数 56 | * 57 | * @param sql 58 | * @param cls 59 | * @param 60 | * @return 61 | * @throws Exception 62 | */ 63 | public static List selectList(JdbcTemplate jdbcTemplate, String sql, Class cls) throws Exception { 64 | return selectList(jdbcTemplate, sql, new Object[0], cls); 65 | } 66 | 67 | /** 68 | * 查询一条数据 69 | * 70 | * @param sql 71 | * @param cls 72 | * @param 73 | * @return 74 | * @throws Exception 75 | */ 76 | public static T selectOne(JdbcTemplate jdbcTemplate, String sql, Object param, Class cls) throws Exception { 77 | List resultList = selectList(jdbcTemplate, sql, param, cls); 78 | if (resultList != null && resultList.size() > 1) { 79 | throw new Exception("more than one data"); 80 | } 81 | if (resultList != null && resultList.size() < 1) { 82 | return null; 83 | } 84 | return resultList.get(0); 85 | } 86 | 87 | /** 88 | * 查询一条数据，无参数 89 | * 90 | * @param sql 91 | * @param cls 92 | * @param 93 | * @return 94 | * @throws Exception 95 | */ 96 | public static T selectOne(JdbcTemplate jdbcTemplate, String sql, Class cls) throws Exception { 97 | return selectOne(jdbcTemplate, sql, new Object[0], cls); 98 | } 99 | 100 | /** 101 | * 增、删、改 102 | * 103 | * @param sql 104 | * @param param 105 | * @return 106 | */ 107 | public static int exec(JdbcTemplate jdbcTemplate, String sql, Object param) throws Exception { 108 | try { 109 | SqlBuilderModel sqlBuilderModel = SqlConversion.builderSql(sql, param); 110 | 111 | if(logger.isDebugEnabled()){ 112 | logger.debug("exec, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(sqlBuilderModel.getParams())); 113 | } 114 | 115 | return jdbcTemplate.update(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 116 | } catch (Exception e) { 117 | throw e; 118 | } 119 | } 120 | 121 | /** 122 | * 增、删、改，无参数 123 | * 124 | * @param sql 125 | * @return 126 | */ 127 | public static int exec(JdbcTemplate jdbcTemplate, String sql) throws Exception { 128 | return exec(jdbcTemplate, sql, new Object[0]); 129 | } 130 | 131 | /* -------------------------------------- 分页查询 ------------------------------------------ */ 132 | 133 | /** 134 | * 使用默认的count sql 分页查询 135 | * 136 | * @param sql 137 | * @param pageParamModel 138 | * @param cls 139 | * @param 140 | * @return 141 | * @throws Exception 142 | */ 143 | public static PageModel selectPage(JdbcTemplate jdbcTemplate, String sql, PageParamModel pageParamModel, Class cls) throws Exception { 144 | String countSql = "select count(0) total from(" + sql + ") tbl"; 145 | return selectPageCustomCountSql(jdbcTemplate, sql, countSql, pageParamModel, cls); 146 | } 147 | 148 | /** 149 | * 使用自定义的count sql 分页查询 150 | * 151 | * @param sql 152 | * @param countSql 153 | * @param pageParamModel 154 | * @param cls 155 | * @param 156 | * @return 157 | * @throws Exception 158 | */ 159 | public static PageModel selectPageCustomCountSql(JdbcTemplate jdbcTemplate, String sql, String countSql, PageParamModel pageParamModel, Class cls) throws Exception { 160 | 161 | Map result = selectOne(jdbcTemplate, countSql, pageParamModel.getParam(), Map.class); 162 | Object totalObj = result.get("total"); 163 | if (totalObj == null || "".equals(totalObj)) { 164 | totalObj = 0; 165 | } 166 | 167 | pageParamModel.getParam().put("pageStart", (pageParamModel.getCurrentPage() - 1) * pageParamModel.getPageSize()); 168 | pageParamModel.getParam().put("pageSize", pageParamModel.getPageSize()); 169 | 170 | StringBuffer stringBuffer = new StringBuffer(); 171 | stringBuffer.append(sql); 172 | stringBuffer.append(" limit {pageSize} offset {pageStart}"); 173 | 174 | List resultList = selectList(jdbcTemplate, stringBuffer.toString(), pageParamModel.getParam(), cls); 175 | 176 | PageModel pageModel = new PageModel<>(); 177 | pageModel.setTotal(Long.parseLong(totalObj.toString())); 178 | pageModel.setCurrentPage(pageParamModel.getCurrentPage()); 179 | pageModel.setPageSize(pageParamModel.getPageSize()); 180 | pageModel.setPageTotal(getPageTotal(pageModel)); 181 | pageModel.setDataList(resultList); 182 | return pageModel; 183 | } 184 | 185 | /** 186 | * 计算总页数 187 | * 188 | * @param pageModel 189 | * @return 190 | */ 191 | private static Long getPageTotal(PageModel pageModel) { 192 | if(pageModel.getPageSize() == 0){ 193 | return 0L; 194 | } 195 | 196 | if (pageModel.getTotal() % pageModel.getPageSize() == 0) { 197 | return pageModel.getTotal() / pageModel.getPageSize(); 198 | } else { 199 | return pageModel.getTotal() / pageModel.getPageSize() + 1; 200 | } 201 | } 202 | } 203 | -------------------------------------------------------------------------------- /src/main/java/com/magic/db/SingleTableUtils.java: -------------------------------------------------------------------------------- 1 | package com.magic.db; 2 | 3 | import com.magic.db.conversion.ConditionBuilder; 4 | import com.magic.db.conversion.SqlConversion; 5 | import com.magic.db.model.Condition; 6 | import com.magic.db.model.SqlBuilderModel; 7 | import com.magic.util.DBParamUtil; 8 | import com.magic.util.JSONUtil; 9 | import org.slf4j.Logger; 10 | import org.slf4j.LoggerFactory; 11 | import org.springframework.jdbc.core.JdbcTemplate; 12 | 13 | import java.util.ArrayList; 14 | import java.util.List; 15 | import java.util.Map; 16 | 17 | /** 18 | * 操作数据库单表的工具类 19 | */ 20 | public class SingleTableUtils { 21 | 22 | private static Logger logger = LoggerFactory.getLogger(SingleTableUtils.class); 23 | 24 | /** 25 | * 不需要写SQL，单表查询 26 | * 27 | * @param tableName 28 | * @param conditionBuilder 29 | * @param cls 30 | * @param 31 | * @return 32 | * @throws Exception 33 | */ 34 | public static List select(JdbcTemplate jdbcTemplate, String tableName, ConditionBuilder conditionBuilder, Class cls) { 35 | try { 36 | StringBuffer sql = new StringBuffer(); 37 | sql.append("select * from "); 38 | sql.append(tableName); 39 | 40 | List> result = null; 41 | 42 | List conditions = conditionBuilder.build(); 43 | if (conditions != null && conditions.size() > 0) { 44 | sql.append(" where "); 45 | SqlBuilderModel sqlBuilderModel = SqlConversion.getSql(sql, conditions); 46 | 47 | if (logger.isDebugEnabled()) { 48 | logger.debug("select, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(sqlBuilderModel.getParams())); 49 | } 50 | result = jdbcTemplate.queryForList(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 51 | } else { 52 | if (logger.isDebugEnabled()) { 53 | logger.debug("select, sql:{}", sql); 54 | } 55 | result = jdbcTemplate.queryForList(sql.toString()); 56 | } 57 | 58 | List resultList = new ArrayList<>(); 59 | for (Map item : result) { 60 | resultList.add(JSONUtil.toJavaObject(item, cls)); 61 | } 62 | return resultList; 63 | 64 | } catch (Exception e) { 65 | throw e; 66 | } 67 | } 68 | 69 | /** 70 | * 不需要写SQL，单表更新 71 | * 72 | * @param tableName 73 | * @param data 74 | * @param conditionBuilder 75 | * @return 76 | * @throws Exception 77 | */ 78 | public static int update(JdbcTemplate jdbcTemplate, String tableName, Object data, ConditionBuilder conditionBuilder) throws Exception { 79 | List conditions = conditionBuilder.build(); 80 | if (conditions == null || conditions.size() < 1) { 81 | throw new Exception("For the sake of safety, please write sql for unconditional modification operations."); 82 | } 83 | try { 84 | Map paramMap = DBParamUtil.getParamMap(data); 85 | 86 | StringBuffer sql = new StringBuffer(); 87 | sql.append("update "); 88 | sql.append(tableName); 89 | sql.append(" set "); 90 | 91 | List paramList = new ArrayList<>(); 92 | 93 | Boolean first = false; 94 | for (Map.Entry item : paramMap.entrySet()) { 95 | if (item.getValue() == null) { 96 | continue; 97 | } 98 | if (first) { 99 | sql.append(","); 100 | } 101 | sql.append(item.getKey()); 102 | sql.append(" = ?"); 103 | paramList.add(item.getValue()); 104 | 105 | first = true; 106 | } 107 | sql.append(" where "); 108 | SqlBuilderModel sqlBuilderModel = SqlConversion.getSql(sql, conditions); 109 | for (Object item : sqlBuilderModel.getParams()) { 110 | paramList.add(item); 111 | } 112 | 113 | if (logger.isDebugEnabled()) { 114 | logger.debug("select, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(paramList.toArray())); 115 | } 116 | 117 | return jdbcTemplate.update(sqlBuilderModel.getSql(), paramList.toArray()); 118 | } catch (Exception e) { 119 | throw e; 120 | } 121 | } 122 | 123 | /** 124 | * 不需要写SQL，单表删除 125 | * 126 | * @param tableName 127 | * @param conditionBuilder 128 | * @return 129 | * @throws Exception 130 | */ 131 | public static int delete(JdbcTemplate jdbcTemplate, String tableName, ConditionBuilder conditionBuilder) throws Exception { 132 | List conditions = conditionBuilder.build(); 133 | if (conditions == null || conditions.size() < 1) { 134 | throw new Exception("For the sake of safety, please write sql for unconditional delete operations."); 135 | } 136 | try { 137 | StringBuffer sql = new StringBuffer(); 138 | sql.append("delete from "); 139 | sql.append(tableName); 140 | sql.append(" where "); 141 | SqlBuilderModel sqlBuilderModel = SqlConversion.getSql(sql, conditions); 142 | 143 | if (logger.isDebugEnabled()) { 144 | logger.debug("select, sql:{}, params:{}", sqlBuilderModel.getSql(), JSONUtil.toJSONString(sqlBuilderModel.getParams())); 145 | } 146 | 147 | return jdbcTemplate.update(sqlBuilderModel.getSql(), sqlBuilderModel.getParams()); 148 | } catch (Exception e) { 149 | throw e; 150 | } 151 | } 152 | 153 | /** 154 | * 不需要写SQL，单表插入 155 | * 156 | * @param tableName 157 | * @param data 158 | * @return 159 | * @throws Exception 160 | */ 161 | public static int insert(JdbcTemplate jdbcTemplate, String tableName, Object data) throws Exception { 162 | try { 163 | StringBuffer sql = new StringBuffer(); 164 | sql.append("insert into "); 165 | sql.append(tableName); 166 | sql.append(" ("); 167 | 168 | StringBuffer values = new StringBuffer(); 169 | values.append(") values ("); 170 | 171 | Map paramMap = DBParamUtil.getParamMap(data); 172 | 173 | List paramList = new ArrayList<>(); 174 | 175 | Boolean first = false; 176 | for (Map.Entry item : paramMap.entrySet()) { 177 | if (item.getValue() == null) { 178 | continue; 179 | } 180 | if (first) { 181 | sql.append(","); 182 | values.append(","); 183 | } 184 | sql.append(item.getKey()); 185 | values.append("?"); 186 | paramList.add(item.getValue()); 187 | 188 | first = true; 189 | } 190 | 191 | sql.append(values); 192 | sql.append(")"); 193 | 194 | if (logger.isDebugEnabled()) { 195 | logger.debug("select, sql:{}, params:{}", sql, JSONUtil.toJSONString(paramList)); 196 | } 197 | 198 | return jdbcTemplate.update(sql.toString(), paramList.toArray()); 199 | } catch (Exception e) { 200 | throw e; 201 | } 202 | } 203 | } 204 | -------------------------------------------------------------------------------- /Document.md: -------------------------------------------------------------------------------- 1 | # Magic 2 | 3 | ## 运行环境 4 | 5 | JDK17+ 6 | 7 | ## 初始化配置 8 | 9 | ### 导入依赖 10 | 11 | ```xml 12 | 13 | com.github.yuyenews 14 | Magic 15 | 1.0.5 16 | 17 | ``` 18 | 19 | ## 并发处理任务 20 | 21 | ```java 22 | MagicDataProcessing.getConcurrentTaskSync() 23 | .setTimeout(1000) // 超时时间 24 | .setTimeUnit(TimeUnit.MILLISECONDS) // 超时时间的单位 25 | .add(() -> { // 添加一个任务 26 | 27 | // 在这里可以写上任务的业务逻辑 28 | 29 | }) 30 | .add(() -> { // 添加一个任务 31 | 32 | // 在这里可以写上任务的业务逻辑 33 | 34 | }) 35 | .start(); 36 | ``` 37 | 38 | 添加进去的任务会并发执行，但是在它们执行完之前，这整个代码块会同步等待在这，一直等到所有任务执行完或者超时才会继续往下走。 39 | 40 | 这里面的超时时间就是用来设置同步等待多久的。 41 | 42 | - 如果设置为0表示一直等到所有任务完成为止 43 | - 设置为大于0的时候，表示只等待这么久 44 | 45 | 46 | 47 | ## 并发处理List，Set等所有Collection类的集合里的元素 48 | 49 | ### 同步执行 50 | 51 | 假如有一个List需要并发处理里面的元素 52 | 53 | ```java 54 | List dataList = new ArrayList<>(); 55 | ``` 56 | 57 | 只需要将他传入syncRunner方法即可 58 | 59 | ```java 60 | MagicDataProcessing.getConcurrentCollectionSync() 61 | .syncRunner(dataList, data -> { 62 | 63 | // 这里可以拿到List里的元素，进行处理 64 | // List里的元素是什么类型，这个data就是什么类型 65 | System.out.println(data); 66 | 67 | }, 68 | 10, // 每组多少条元素 69 | 1, // 每组之间同步等待多久 70 | TimeUnit.MINUTES // 等待的时间单位 71 | ); 72 | ``` 73 | 74 | 这个方法会将传进去的集合分成若干组，每组的大小由参数指定。 75 | 76 | 这些组会排队执行，但是每一组在执行的时候都是并发的，里面的每一个元素都会由单独的线程去处理。 77 | 78 | 需要等一组处理完了，才会处理下一组，但是有时候我们不想这么死板的等待，所以可以设置一个超时时间，超过了这个期限就不等了，直接进行下一组，所以这里的最后两个参数就是用来设置这个期限的。 79 | 80 | #### 也可以让每一组单独占一个线程 81 | 82 | ```java 83 | // 也可以用syncGroupRunner方法 84 | MagicDataProcessing.getConcurrentCollectionSync() 85 | .syncGroupRunner(dataList, data -> { 86 | 87 | // 这里是每一组List 88 | for(String item : data){ 89 | // 这里可以拿到List里的元素，进行处理 90 | System.out.println(data); 91 | } 92 | 93 | }, 94 | 10, // 每组多少条元素 95 | 1, // 每组之间同步等待多久 96 | TimeUnit.MINUTES // 等待的时间单位 97 | ); 98 | ``` 99 | 100 | 这个方法会将传进去的集合分成若干组，每组的大小由参数指定。 101 | 102 | 每一组由单独的线程处理。 103 | 104 | 会一直同步等待在这里，直到所有组都处理完了才会进行下一步，但是有时候我们不想这么死板的等待，所以可以设置一个超时时间，超过了这个期限就不等了，直接执行下一步。所以这里的最后两个参数就是用来设置这个期限的。 105 | 106 | ### 异步执行 107 | 108 | 其实就是将上面【同步执行】的代码放到了一个线程里，内部处理依然是上面【同步执行】的逻辑，但是这整个代码块将会异步执行，不需要等在这。所以个别相同的参数就不再重复解释了。 109 | 110 | ```java 111 | // 假如有一个List需要并发处理里面的元素 112 | List dataList = new ArrayList<>(); 113 | ``` 114 | 115 | #### 每个元素并发执行 116 | 117 | ```java 118 | // 只需要将他传入asyncRunner方法即可 119 | MagicDataProcessing.ConcurrentCollectionAsync().asyncRunner(dataList, data -> { 120 | 121 | // 这里可以拿到List里的元素，进行处理 122 | System.out.println(data); 123 | 124 | }, 125 | 10, // 每组多少条元素 126 | 1, // 每组之间同步等待多久 127 | TimeUnit.MINUTES // 等待的时间单位 128 | ) 129 | .start();// 注意，异步执行需要调用start方法 130 | ``` 131 | 132 | 还可以这样写 133 | 134 | ```java 135 | MagicDataProcessing.ConcurrentCollectionAsync().asyncRunner(dataList, data -> { 136 | 137 | // 这里是每一组List 138 | for(String item : data){ 139 | // 这里可以拿到List里的元素，进行处理 140 | System.out.println(data); 141 | } 142 | 143 | }, 144 | 10, // 每组多少条元素 145 | 1, // 每组之间同步等待多久 146 | TimeUnit.MINUTES // 等待的时间单位 147 | ).asyncRunner(dataList2, data -> { 148 | 149 | // 这里可以拿到List里的元素，进行处理 150 | System.out.println(data); 151 | 152 | }, 153 | 10, // 每组多少条元素 154 | 1, // 每组之间同步等待多久 155 | TimeUnit.MINUTES // 等待的时间单位 156 | ).asyncRunner(dataList3, data -> { 157 | 158 | // 这里可以拿到List里的元素，进行处理 159 | System.out.println(data); 160 | 161 | }, 162 | 10, // 每组多少条元素 163 | 1, // 每组之间同步等待多久 164 | TimeUnit.MINUTES // 等待的时间单位 165 | ) 166 | .start(); // 一样要调用start方法 167 | ``` 168 | 169 | #### 每一组并发执行 170 | 171 | ```java 172 | // 也可以用asyncGroupRunner方法，每个参数的具体含义可以参考文档 173 | MagicDataProcessing.ConcurrentCollectionAsync().asyncGroupRunner(dataList, data -> { 174 | 175 | // 这里是每一组List 176 | for(String item : data){ 177 | // 这里可以拿到List里的元素，进行处理 178 | System.out.println(data); 179 | } 180 | 181 | }, 182 | 10, // 每组多少条元素 183 | 1, // 每组之间同步等待多久 184 | TimeUnit.MINUTES // 等待的时间单位 185 | ) 186 | .start(); // 一样要调用start方法 187 | ``` 188 | 189 | 同上 190 | 191 | ## 并发处理所有Map类的集合里的元素 192 | 193 | Map的逻辑跟Collection一模一样，只不过是传入的集合变成了Map，就不再累述了，感谢理解。 194 | 195 | ### 同步执行 196 | 197 | #### 每个元素并发执行 198 | 199 | ```java 200 | // 假如有一个Map需要并发处理里面的元素 201 | Map dataMap = new HashMap<>(); 202 | 203 | // 只需要将他传入syncRunner方法即可 204 | MagicDataProcessing.getConcurrentMapSync() 205 | .syncRunner(dataMap, (key, value) -> { 206 | 207 | // 这里可以拿到Map里的元素，进行处理 208 | System.out.println(key); 209 | System.out.println(value); 210 | 211 | }, 10, 1, TimeUnit.MINUTES); 212 | ``` 213 | 214 | #### 每一组并发执行 215 | 216 | ```java 217 | // 也可以用syncGroupRunner方法 218 | MagicDataProcessing.getConcurrentMapSync() 219 | .syncGroupRunner(dataMap, data -> { 220 | 221 | // 这里是每一组Map 222 | for(Map.Entry entry : data.entrySet()){ 223 | // 这里可以拿到Map里的每一个元素 224 | System.out.println(entry.getKey()); 225 | System.out.println(entry.getValue()); 226 | } 227 | 228 | }, 10, 1, TimeUnit.MINUTES); 229 | ``` 230 | 231 | ### 异步执行 232 | 233 | #### 每个元素并发执行 234 | 235 | ```java 236 | // 假如有一个Map需要并发处理里面的元素 237 | Map dataMap = new HashMap<>(); 238 | 239 | // 只需要将他传入asyncRunner方法即可 240 | MagicDataProcessing.getConcurrentMapAsync().asyncRunner(dataMap, (key, value) -> { 241 | 242 | // 这里可以拿到Map里的元素，进行处理 243 | System.out.println(key); 244 | System.out.println(value); 245 | 246 | }, 247 | 10, 248 | 1, 249 | TimeUnit.MINUTES 250 | ) 251 | .start(); // 一样要调用start方法 252 | ``` 253 | 254 | #### 每一组并发执行 255 | 256 | ```java 257 | // 也可以用asyncGroupRunner方法 258 | MagicDataProcessing.getConcurrentMapAsync().asyncGroupRunner(dataMap, data -> { 259 | 260 | // 这里是每一组Map 261 | for(Map.Entry entry : data.entrySet()){ 262 | // 这里可以拿到Map里的每一个元素 263 | System.out.println(entry.getKey()); 264 | System.out.println(entry.getValue()); 265 | } 266 | 267 | }, 268 | 10, 269 | 1, 270 | TimeUnit.MINUTES 271 | ) 272 | .start(); // 一样要调用start方法; 273 | ``` 274 | 275 | ## 生产者与消费者 276 | 277 | 这是一个多对多的模型，多个生产者可以给多个消费者推送不同类型的数据， 278 | 279 | ### 我们先创建一个生产者 280 | ```java 281 | public class DemoProducer extends MagicProducer { 282 | 283 | /** 284 | * 设置ID，必须全局唯一，默认是当前类的全名 285 | * 如果采用默认值，可以不重写这个方法 286 | * @return 287 | */ 288 | @Override 289 | public String getId() { 290 | return super.getId(); 291 | } 292 | 293 | /** 294 | * 设置producer方法是否重复执行，默认重复 295 | * 如果采用默认值，可以不重写这个方法 296 | * @return 297 | */ 298 | @Override 299 | public boolean getLoop() { 300 | return super.getLoop(); 301 | } 302 | 303 | /** 304 | * 设置 是否等消费者全部空闲了才继续生产下一轮数据，默认false 305 | * 如果采用默认值，可以不重写这个方法 306 | * @return 307 | */ 308 | @Override 309 | public boolean getAllFree() { 310 | return super.getAllFree(); 311 | } 312 | 313 | /** 314 | * 当生产者启动后，会自动执行这个方法，我们可以在这个方法里生产数据，并通过publish方法发布给消费者 315 | * 316 | * 这边举一个例子 317 | * 假如我们需要不断地扫描某张表，根据里面的数据状态去执行一些业务逻辑 318 | * 那么我们可以在这个方法里写一个查询的逻辑，然后将查询到数据发送给消费者 319 | */ 320 | @Override 321 | public void producer() { 322 | // 根据上面的例子，我们可以查询这张表里符合条件的数据 323 | List dataList = selectList(); 324 | 325 | // 然后将他推送给消费者 326 | // 可以推送任意类型的数据 327 | this.publish(dataList); 328 | 329 | /* 330 | * 如果你只需要执行一次，那么到此就结束了，这个生产者也可以被回收掉了 331 | * 332 | * 但是如果你需要不断地执行上述操作，来维护这张表里的数据，这个时候你有两种做法 333 | * 第一种：加一个while循环 334 | * 但是这种方式有个问题，如果消费者的消费速度跟不上，那么就很容易造成消费者队列积压，出现内存问题。 335 | * 而数据积压太久又会影响时效性，可能你推送给消费者的时候，这条数据需要处理，但是等到被消费的时候又不需要处理了，这样容易出现数据错乱的问题。 336 | * 337 | * 第二种：等消费者把你推给他的数据消费完了，再推送下一轮，而我们就是采用的这种 338 | * 如果你想用这种方式，那么你不需要再写其他的任何逻辑，只需要将上面提到的getLoop方法重写一下，并返回true即可 339 | * 当你设置为true以后，生产者在推送完一轮后会不断地监视消费者，当发现了空闲的消费者才会生产和推送下一轮数据，并且数据只会推送给这几个空闲的消费者 340 | * 341 | * 如果你想等所有消费者都空闲了以后再推送下一轮，而不是发现一个空闲的就推送一轮 342 | * 那么你可以重写上面提到的getAllFree方法，返回true即可 343 | */ 344 | 345 | } 346 | } 347 | ``` 348 | 349 | ### 再创建一个消费者 350 | ```java 351 | public class DemoConsumer extends MagicConsumer { 352 | /** 353 | * 设置ID，必须全局唯一，默认是当前类的全名 354 | * 如果采用默认值，可以不重写这个方法 355 | * @return 356 | */ 357 | @Override 358 | public String getId() { 359 | return super.getId(); 360 | } 361 | 362 | /** 363 | * 心跳通知，消费者每消费一个任务，都会触发一下这个方法 364 | * 我们可以根据他触发的频率来判断这个消费者的活跃度 365 | * 366 | * 注意！！！ 367 | * 这个方法里不可以有耗时的操作，不然会将消费者阻塞的 368 | * 如果一定要加耗时的操作，那么务必在新线程里搞 369 | * @param id 370 | */ 371 | @Override 372 | public void pulse(String id) { 373 | new Thread(()->{ 374 | // 如果你需要在这个方法里搞一些耗时的操作，那么务必要像这样开启一个新线程 375 | // 不然消费者会被阻塞的 376 | }).start(); 377 | } 378 | 379 | /** 380 | * 消费频率限制，默认10毫秒，取值范围：0 - long的最大值，单位：毫秒 381 | * 382 | * 如果任务执行的耗时小于execFrequencyLimit，则等待execFrequencyLimit毫秒后再消费下一个任务 383 | * 384 | * 首先这是一个生产者和消费者多对多的模型结构，我们以一个生产者对多个消费者来举例 385 | * 生产者生产的数据只有一份，但是他会推送给多个消费者 386 | * 而我们之所以要配置多个消费者，是因为需要他们执行不同的业务逻辑 387 | * 多个消费者执行的业务逻辑不同，也就意味着他们需要的数据大概率会不同 388 | * 389 | * 比如消费者A需要处理男性的数据，消费者B需要处理女性的数据 390 | * 如果生产者刚好连续推送了几批男性的数据，那么这会导致消费者B筛选不到女性数据，那么他就不会处理业务逻辑了 391 | * 这么一来，消费者B就会无限接近空转，而空转会引起CPU占用率过大，所以必须加以限制 392 | * 393 | * 千万不要小看这个问题，本人曾经在实战中亲测过，做不做这个限制，CPU的占有率会达到10倍的差距 394 | * 当然了，这跟消费者的业务逻辑还是有一定关系的，具体情况具体看待 395 | * 如果你的消费者几乎不会出现空转，那么这里可以设置为0 396 | * 397 | */ 398 | @Override 399 | public long getExecFrequencyLimit() { 400 | return super.getExecFrequencyLimit(); 401 | } 402 | 403 | /** 404 | * 这个方法会接收到生产者推送过来的数据 405 | * 在里面执行相应的业务逻辑即可 406 | * @param data 407 | */ 408 | @Override 409 | public void doRunner(Object data) { 410 | // data 可以是任何类型 411 | // 因为能给他推送数据的消费者是固定的，所以data有可能收到的类型也是固定的 412 | // 所以我们可以在这里自己判断，然后转化即可 413 | // 为什么不用泛型？这是为了兼容多个生产者，因为他们推送的数据类型可能会不同 414 | } 415 | } 416 | ``` 417 | 418 | ### 然后将他们添加到同一个组内 419 | ```java 420 | // 创建一组生产者与消费者，而这样组可以创建无限个 421 | // 每一组的生产者都只会把数据推送给同一组的消费者 422 | MagicDataProcessing.getProducerAndConsumerManager() 423 | .addProducer(new DemoProducer()) // 添加一个生产者（可以添加多个） 424 | .addConsumer(new DemoConsumer()) // 添加一个消费者（可以添加多个） 425 | .start(); 426 | ``` 427 | 428 | ## 数据库操作 429 | 430 | 此组件重度依赖于SpringBoot，底层是基于JdbcTemplate的扩展，做到了单表操作不需要写SQL，天然支持MySql和PostgreSQL分页查询，支持在SQL中写入{属性名}占位符。 431 | 432 | ### 添加依赖 433 | 434 | ```xml 435 | 436 | 437 | mysql 438 | mysql-connector-java 439 | 8.0.20 440 | 441 | 442 | 443 | 444 | com.alibaba 445 | druid 446 | 1.2.5 447 | 448 | ``` 449 | 450 | ### 创建一个Spring的JdbcTemplate对象 451 | 452 | ```java 453 | @Resource 454 | private JdbcTemplate jdbcTemplate; 455 | ``` 456 | 457 | ### 单表无SQL操作 458 | 459 | #### 插入数据 460 | 461 | ```java 462 | ParamPO paramPO = new ParamPO(); 463 | paramPO.setUserName("a"); 464 | paramPO.setUserEmail("test@qq.com"); 465 | 466 | int result = MagicDBUtils.get(jdbcTemplate).insert("表名", paramPO); 467 | ``` 468 | 469 | ### 修改数据 470 | 471 | ```java 472 | // 构建修改条件 473 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 474 | .add("id = ?", 10) 475 | .add("and name = ?", "bee"); 476 | 477 | // 构建修改数据 478 | ParamPO paramPO = new ParamPO(); 479 | paramPO.setUserName("a"); 480 | paramPO.setUserEmail("test@qq.com"); 481 | 482 | // 执行修改 483 | int result = MagicDBUtils.get(jdbcTemplate).update("表名", paramPO, conditionBuilder); 484 | ``` 485 | 486 | ### 删除数据 487 | 488 | ```java 489 | // 构建删除条件 490 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 491 | .add("id = ?", 10); 492 | 493 | // 执行删除 494 | int result = MagicDBUtils.get(jdbcTemplate).delete("表名", conditionBuilder); 495 | ``` 496 | 497 | ### 查询数据 498 | 499 | ```java 500 | // 构建查询条件 501 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 502 | .add("id > ?", 10) 503 | .add("and (name = ? or age > ?)", "bee", 10) 504 | .add("order by create_time", Condition.NOT_WHERE); 505 | 506 | // 执行查询 507 | List result = MagicDBUtils.get(jdbcTemplate).select("表名", conditionBuilder, ParamPO.class); 508 | ``` 509 | 510 | ### 条件构造器说明 511 | 512 | 内部结构如下 513 | 514 | ```java 515 | public class Condition { 516 | // 条件，可以是 where， order by， group by 等任意条件 517 | private String key; 518 | // 如果条件设置的是where条件，那么这个属性就需要设置成 条件的值 519 | private Object[] val; 520 | 521 | // 如果条件不是where，那么val就必须设置成这个常量 522 | public static final String NOT_WHERE = "notWhere"; 523 | } 524 | ``` 525 | 526 | 可以看如下示例 527 | 528 | ```java 529 | ConditionBuilder conditionBuilder = ConditionBuilder.createCondition() 530 | // 这里key 设置成了where条件，所以val 就设置成了 where的值，也就是查询 id > 10 的数据 531 | .add("id > ?", 10) 532 | // 这里也一样的，是where条件，但是因为他是第二个条件，所以需要 在最前面加上and，or 等连接符 533 | .add("and (name = ? or age > ?)", "bee", 10) 534 | // 这是排序，所以 val需要设置成 Condition.NOT_WHERE 535 | .add("order by create_time", Condition.NOT_WHERE); 536 | ``` 537 | 538 | 注：条件构造器只支持 ? 占位符 539 | 540 | ## 自定义sql 541 | 542 | ### 增删改 543 | 544 | ```java 545 | ParamPO paramPO = new ParamPO(); 546 | paramPO.setUserName("testTx222"); 547 | paramPO.setUserEmail("testTx222@qq.com"); 548 | paramPO.setId(4); 549 | 550 | // 采用{}占位符的写法 551 | int result = MagicDBUtils.get(jdbcTemplate).exec("update xt_message_board set user_name = {user_name} , user_email = {user_email} where id = {id}", paramPO); 552 | 553 | // 采用 ? 占位符的写法 554 | int result = MagicDBUtils.get(jdbcTemplate).exec("update xt_message_board set user_name = ? , user_email = ? where id = ?", new Object[]{"testTx222","testTx222@qq.com", 4}); 555 | ``` 556 | 557 | ### 查询数据 558 | 559 | ```java 560 | ParamPO paramPO = new ParamPO(); 561 | paramPO.setId(5); 562 | paramPO.setUserName("a"); 563 | 564 | // 采用{}占位符的写法 565 | List result = MagicDBUtils.get(jdbcTemplate).selectList("select * from xt_message_board where id > {id} and user_name != {user_name}", paramPO, ParamPO.class); 566 | 567 | // 采用 ? 占位符的写法 568 | List result = MagicDBUtils.get(jdbcTemplate).selectList("select * from xt_message_board where id > ? and user_name != ?", new Object[]{5, "a"}, ParamPO.class); 569 | ``` 570 | 571 | ### 分页查询 572 | 573 | ```java 574 | // 查询条件 575 | ParamPO paramPO = new ParamPO(); 576 | paramPO.setId(5); 577 | paramPO.setUserName("a"); 578 | 579 | // 查询参数 580 | PageParamModel pageParamModel = new PageParamModel(); 581 | pageParamModel.setCurrentPage(1); 582 | pageParamModel.setPageSize(10); 583 | pageParamModel.setParam(paramPO); 584 | 585 | // 使用默认countSql查询 586 | PageModel pageModel = MagicDBUtils.get(jdbcTemplate).selectPage("select * from xt_message_board where id > {id} and user_name != {user_name}", pageParamModel, ParamPO.class); 587 | 588 | // 使用自定义countSql查询 589 | String countSql = "自己定义countSql"; 590 | 591 | PageModel pageModel = MagicDBUtils.get(jdbcTemplate).selectPageCustomCountSql("select * from xt_message_board where id > {id} and user_name != {user_name}", countSql, pageParamModel, ParamPO.class); 592 | 593 | ``` 594 | 595 | ### SQL构造器 596 | 597 | 其实就是把StringBuilder封装了一层，目的是为了减少大量的if，让判断+拼接的过程缩短在一行上，以及在拼接时不再需要注意空格了 598 | 599 | 以实体对象作为参数的示例 600 | ```java 601 | ParamPO paramPO = new ParamPO(); 602 | paramPO.setAge(10); 603 | paramPO.setHeight(1); 604 | 605 | SqlBuilder sqlBuilder = SqlBuilder.builder() 606 | .init("select * from user_info where 1=1") // 这里传入sql主体 607 | .append("and age > {age}", paramPO.getAge() > 0) // 第一个参数传入要拼接的where条件，第二个参数传入是否要拼接的判断条件，也就是说第二个参数的等式成立才会将第一个参数拼接到sql上去，下面都是一样的 608 | .append("and name = {name}", paramPO.getName() != null) 609 | .append("and height > {height}", paramPO.getHeight() != null); 610 | 611 | // 直接toString 可以获取到拼接后的完整sql 612 | String sql = sqlBuilder.toString(); 613 | 614 | // 查询数据 615 | List result = MagicDBUtils.get(jdbcTemplate).selectList(sql, paramPO, ParamPO.class); 616 | ``` 617 | 618 | 以数组作为参数的示例 619 | ```java 620 | List params = new ArrayList<>(); 621 | 622 | SqlBuilder sqlBuilder = SqlBuilder.builder() 623 | .init("select * from user_info where 1=1") // 这里传入sql主体 624 | 625 | // 这里为了偷懒，还是用到了paramPO对象，反正大家懂那个意思就行了 626 | // 第一个参数传入要拼接的where条件，第二个参数传入是否要拼接的判断条件 627 | // 也就是说第二个参数的等式成立才会将第一个参数拼接到sql上去，下面都是一样的 628 | // 第三个参数是一个回调函数，用来往params里添加数据的 629 | .append("and age > ?", paramPO.getAge() > 0, ()->{params.add(paramPO.getAge());}) 630 | .append("and name = ?", paramPO.getName() != null, ()->{params.add(paramPO.getName());}) 631 | .append("and height > ?", paramPO.getHeight() != null, ()->{params.add(paramPO.getHeight());}); 632 | 633 | // 直接toString 可以获取到拼接后的完整sql 634 | String sql = sqlBuilder.toString(); 635 | 636 | // 查询数据，注意看第二个参数 637 | List result = MagicDBUtils.get(jdbcTemplate).selectList(sql, params.toArray(), ParamPO.class); 638 | ``` 639 | 640 | ## 实体映射 641 | 642 | 完全用的是fastjson2的那一套的注解 643 | 644 | ```java 645 | public class TestPO{ 646 | 647 | @JSONField(name = "数据库里的name字段名") 648 | private String name; 649 | @JSONField(name = "数据库里的age字段名") 650 | private String age; 651 | @JSONField(name = "数据库里的id字段名") 652 | private int id; 653 | 654 | @JSONField(name = "create_time", format = "yyyy-MM-dd HH:mm:ss") 655 | private Date createTime; 656 | 657 | } 658 | ``` 659 | 660 | ## 属性文件读取 661 | 662 | ### 加载配置文件 663 | 664 | 目前只支持 properties文件，你可以在任意目录下创建，然后使用以下方式将文件加载到项目中 665 | 666 | 从本机任意目录加载 667 | ```java 668 | // 必须写文件的绝对路径 669 | MagicProperties.load("/home/xxx/application.properties", ReadMode.LOCAL, "UTF-8"); 670 | ``` 671 | 672 | 从当前项目的资源目录下加载 673 | 674 | ```java 675 | // 类资源下的文件的路径 676 | MagicProperties.load("/application.properties", ReadMode.RESOURCE, "UTF-8"); 677 | ``` 678 | 679 | 从远程目录加载 680 | 681 | ```java 682 | // 远程文件路径, 只支持http协议 683 | MagicProperties.load("https://www.test.com/application.properties", ReadMode.REMOTE, "UTF-8"); 684 | ``` 685 | 686 | ### 根据key获取value 687 | 688 | ```java 689 | // 如果配置文件里有userName这个key，那么就会直接使用，如果没有 那么会去环境变量读取 690 | String userName = MagicProperties.get("userName"); 691 | ``` 692 | 693 | ### 遍历所有的key -> value 694 | 695 | 此法只能遍历文件有的配置项，获取不到环境变量 696 | 697 | ```java 698 | MagicProperties.forEach((key, value)->{ 699 | System.out.println(key); 700 | System.out.println(value); 701 | }); 702 | ``` --------------------------------------------------------------------------------