您现在的位置是:亿华云 > IT科技类资讯
几种简单实用的分布式定时任务!
亿华云2025-10-09 03:43:57【IT科技类资讯】5人已围观
简介单点定时任务JDK 原生自从 JDK1.5 之后,提供了 ScheduledExecutorService 代替 TimerTask 来执行定时任务,提供了不错的可靠性。public class So
单点定时任务
JDK 原生自从 JDK1.5 之后,种简提供了 ScheduledExecutorService 代替 TimerTask 来执行定时任务,单实提供了不错的分布可靠性。
public class SomeScheduledExecutorService {
public static void main(String[] args) {
// 创建任务队列,式定时任共 10 个线程
ScheduledExecutorService scheduledExecutorService =
Executors.newScheduledThreadPool(10);
// 执行任务: 1秒 后开始执行,种简每 30秒 执行一次
scheduledExecutorService.scheduleAtFixedRate(() -> {
System.out.println("执行任务:" + new Date());
},单实 10, 30, TimeUnit.SECONDS);
}
}
Spring TaskSpring Framework 自带定时任务,提供了 cron 表达式来实现丰富定时任务配置。分布新手推荐使用 https://img.ydisp.cn/news/20220902/mx35d4id2hp 这个网站来匹配你的式定时任 cron 表达式。
@Configuration
@EnableScheduling
public class SomeJob {
private static final Logger LOGGER = LoggerFactory.getLogger(SomeJob.class);
/
*** 每分钟执行一次(例:18:01:00,种简18:02:00)
* 秒 分钟 小时 日 月 星期 年
*/
@Scheduled(cron = "0 0/1 * * * ?单实 *")
public void someTask() {
//...
}
}
单点的定时服务在目前微服务的大环境下,应用场景越来越局限,分布所以尝鲜一下分布式定时任务吧。式定时任
基于 Redis 实现相较于之前两种方式,种简这种基于 Redis 的单实实现可以通过多点来增加定时任务,多点消费。分布但是要做好防范重复消费的准备。
通过 ZSet 的方式:将定时任务存放到 ZSet 集合中,并且将过期时间存储到 ZSet 的 Score 字段中,然后通过一个循环来判断当前时间内是否有需要执行的定时任务,如果有则进行执行。
具体实现代码如下:
/
*** Description: 基于Redis的ZSet的定时任务 .
** @author mxy
* @Date 2020/8/25 11:54
*/
@Configuration
@EnableScheduling
public class RedisJob {
public static final String JOB_KEY = "redis.job.task";
private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class);
@Autowired private StringRedisTemplate stringRedisTemplate;
/
*** 添加任务.
** @param task
*/
public void addTask(String task, Instant instant) {
stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond());
}
/
*** 定时任务队列消费
* 每分钟消费一次(可以缩短间隔到1s)
*/
@Scheduled(cron = "0 0/1 * * * ? *")
public void doDelayQueue() {
long nowSecond = Instant.now().getEpochSecond();
// 查询当前时间的高防服务器所有任务
Set
for (String task : strings) {
// 开始消费 task
LOGGER.info("执行任务:{ }", task);
}
// 删除已经执行的任务
stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond);
}
}
适用场景如下:
订单下单之后 15 分钟后,用户如果没有付钱,系统需要自动取消订单红包 24 小时未被查收,需要延迟执退还业务某个活动指定在某个时间内生效&失效优势是:
省去了 MySQL 的查询操作,而使用性能更高的 Redis 做为代替不会因为停机等原因,遗漏要执行的任务键空间通知的方式:我们可以通过 Redis 的键空间通知来实现定时任务,它的实现思路是给所有的定时任务设置一个过期时间,等到了过期之后,我们通过订阅过期消息就能感知到定时任务需要被执行了,此时我们执行定时任务即可。
默认情况下 Redis 是不开启键空间通知的,需要我们通过 config set notify-keyspace-events Ex 的命令手动开启。
开启之后定时任务的代码如下:
自定义监听器:
/
*** 自定义监听器.
*/
public class KeyExpiredListener extends KeyExpirationEventMessageListener {
public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
super(listenerContainer);
}
@Override
public void onMessage(Message message, byte[] pattern) {
// channel
String channel = new String(message.getChannel(), StandardCharsets.UTF_8);
// 过期的key
String key = new String(message.getBody(), StandardCharsets.UTF_8);
// todo 你的处理
}
}
设置该监听器:
/** * Description: 通过订阅Redis的过期通知来实现定时任务 .
/
*** Description: 通过订阅Redis的过期通知来实现定时任务 .
** @author mxy
* @Date 2020/8/25 12:07
*/
@Configuration
public class RedisExJob {
@Autowired private RedisConnectionFactory redisConnectionFactory;
@Bean
public RedisMessageListenerContainer redisMessageListenerContainer() {
RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer();
redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory);
return redisMessageListenerContainer;
}
@Bean
public KeyExpiredListener keyExpiredListener() {
return new KeyExpiredListener(this.redisMessageListenerContainer());
}
}
Spring 会监听符合以下格式的 Redis 消息:
private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*");
基于 Redis 的定时任务能够适用的服务器托管场景也比较有限,但实现上相对简单,但对于功能幂等有很大要求。从使用场景上来说,更应该叫做延时任务。
场景举例:
订单下单之后 15 分钟后,用户如果没有付钱,系统需要自动取消订单
红包 24 小时未被查收,需要延迟执退还业务
优劣势是:
被动触发,对于服务的资源消耗更小Redis 的 Pub/Sub 不可靠,没有 ACK 机制等,但是一般情况可以容忍键空间通知功能会耗费一些 CPU分布式定时任务
引入分布式定时任务组件 or 中间件:将定时任务作为单独的服务,遏制了重复消费,独立的服务也有利于扩展和维护。
quartz依赖于 MySQL,使用相对简单,可多节点部署,通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面,使用相对麻烦。
elastic-job-lite依赖于 Zookeeper,通过 Zookeeper 的注册与发现,可以动态的添加服务器。
多种作业模式失效转移运行状态收集多线程处理数据幂等性容错处理支持spring命名空间有图形化管理页面LTS依赖于 Zookeeper,集群部署,可以动态的站群服务器添加服务器。可以手动增加定时任务,启动和暂停任务。
业务日志记录器SPI 扩展支持故障转移节点监控多样化任务执行结果支持FailStore 容错动态扩容对 spring 相对友好有监控和管理图形化界面xxl-job国产,依赖于 MySQL,基于竞争数据库锁保证只有一个节点执行任务,支持水平扩容。可以手动增加定时任务,启动和暂停任务。
弹性扩容分片广播故障转移Rolling实时日志GLUE(支持在线编辑代码,免发布)任务进度监控任务依赖数据加密邮件报警运行报表优雅停机国际化(中文友好)总结
微服务下,推荐使用 xxl-job 这一类组件服务将定时任务合理有效的管理起来。而单点的定时任务有其局限性,适用于规模较小、对未来扩展要求不高的服务。
相对而言,基于 Spring Task 的定时任务最简单快捷,而 xxl-job 的难度主要体现在集成和调试上。
无论是什么样的定时任务,你都需要确保:
任务不会因为集群部署而被多次执行
任务发生异常得到有效的处理
任务的处理过慢导致大量积压
任务应该在预期的时间点执行
中间件可以将服务解耦,但增加了复杂度。
很赞哦!(9893)
相关文章
- 个人域名转为公司需要什么条件?个人域名转为公司该怎么做?
- 五分钟教你用NodeJS手写一个Mock数据服务器
- C 语言系列教程:使用 malloc() 函数创建二维数组
- MongoDB数据库条件查询技巧总结
- cm域名有什么独特之处?新人要了解cm域名哪些?
- Node.js代码不到50行,实现稀土掘金社区自动签到
- 检查Oracle数据库版本的7种方法汇总
- 分布式数据库运维有啥特殊的
- 为了避免将来给我们的个人站长带来的麻烦,在选择域名后缀时,我们的站长最好省略不稳定的后缀域名,比如n,因为我们不知道策略什么时候会改变,更不用说我们将来是否还能控制这个域名了。因此,如果站长不是企业,或者有选择的话,如果不能选择域名的cn类,最好不要选择它。
- centos编译安装mariadb的详细过程