简单可靠高效的分布式任务系统
大家好,又见面了,我是 GitHub 精选君!
背景介绍
在系统访问量逐渐增大,高并发、分布式系统成为了企业技术架构升级的必由之路。在这样的背景下,异步任务队列扮演着至关重要的角色,它能有效地分摊服务器负载,提高系统的可扩展性与用户体验。然而,设计一个既简单又可靠、高效的分布式任务队列系统是一项挑战。开发者们需要考虑任务的调度、执行、失败重试、任务去重、超时控制等一系列细节问题,而这些通常需要大量的技术积累和开发成本。
今天要给大家推荐一个 GitHub 开源项目 asynq,该项目在 GitHub 有超过 10.2k Star。
一句话介绍该项目:Simple, reliable, and efficient distributed task queue in Go
项目介绍
Asynq 是一个用 Go 编写的简单、可靠、高效的分布式任务队列系统。该项目以 Redis 作为后端,支持高并发处理与横向扩展,解决了传统任务队列系统复杂部署和难以管理的问题。
Asynq 能够保证至少一次的任务执行,支持任务调度、失败重试、自动恢复、权重和严格优先级队列、任务超时和取消、任务聚合等丰富的功能。此外,Asynq 提供了任务去重功能,避免相同任务的多次执行,极大地提高了任务处理的效率和可靠性。
如何使用
通过以下命令安装 Asynq:
go get -u github.com/hibiken/asynq
下面是使用 Asynq 创建和处理异步任务的简单示例:
package main
import (
"context"
"log"
"github.com/hibiken/asynq"
"your_project/tasks" // assume you are already create tasks package
)
func main() {
r := &asynq.RedisClientOpt{Addr: "localhost:6379"}
client := asynq.NewClient(r)
defer client.Close()
task, err := tasks.NewEmailDeliveryTask(123, "template_id")
if err != nil {
log.Fatalf("failed to create task: %v", err)
}
if _, err := client.Enqueue(task); err != nil {
log.Fatalf("failed to enqueue task: %v", err)
}
log.Println("Task enqueued successfully")
}
对应系统还带有一个默认的任务的监控页面:
项目推介
Asynq 为使用 Go 语言开发高性能异步任务处理系统提供了强有力的支持,具有丰富的特性并支持各种高级用例,如任务调度、重试机制、任务去重等,满足了不同场景下的需求。
以下是该项目 Star 趋势图(代表项目的活跃程度):
更多项目详情请查看如下链接。
开源项目地址:https://github.com/hibiken/asynq
开源项目作者:hibiken
开源协议:MIT License
以下是参与项目建设的所有成员:
关注我们,一起探索有意思的开源项目。
更多精彩请扫码关注如下公众号。