使用 Cronjob 定时清理 ElasticSearch 中的日志索引

yangzun@treesir.pub (Zayn) — Tue, 13 Jul 2021 11:45:00 +0800

背景
#

在日常使用 efk 日志系统的过程中，每天造成的日志索引量是巨大的，需要进行对相关的索引进行定期清理，来缓解后端储存的占用。如何实现在 kubernetes 中进行优雅的定期清理？本文将介绍使用 kubernetes 中的 Cronjob 资源对象进行其需求的实现。

常规情况下清理 n day 以前的数据

curl -XDELETE http://elasticsearch-logging.kube-system:9200/logstash-`date -d"n days ago" +"%Y.%m.%d"`

这种方法，是网上比较常规的方式，如某一天忘记执行了，就会出现数据未清理干净的情况，有点不优雅，如何解决？

使用 Kubernetes CronJob 自动备份 MySQL 数据到 MinIO

yangzun@treesir.pub (Zayn) — Mon, 24 Jul 2023 16:14:42 +0800

随着 Kubernetes 在生产环境中的广泛应用，越来越多的有状态应用（如 MySQL 数据库）也开始部署在 K8s 集群中。数据安全是生产环境的重中之重，本文将详细介绍如何使用 Kubernetes CronJob 实现 MySQL 数据库的自动化备份，并将备份文件安全地存储到 MinIO 对象存储中。

方案概述
#

备份架构
#

flowchart LR
MySQL[MySQL Pod
Database] -->|导出数据| CronJob[CronJob Pod
mysqldump]
CronJob -->|上传备份| MinIO[MinIO Server
Bucket]

方案优势
#

自动化: 使用 CronJob 实现定时自动备份，无需人工干预
可靠性: 备份文件存储在独立的对象存储中，提高数据安全性
可扩展: 支持多数据库实例的备份，易于扩展
监控友好: 可以通过 Kubernetes 原生监控查看备份任务状态
成本效益: 使用开源的 MinIO 作为存储后端，降低成本

环境准备
#

前置条件
#

组件	版本要求	说明
Kubernetes	v1.18+	支持 CronJob v1 API
MySQL	5.7+ / 8.0+	运行在 K8s 集群中
MinIO	任意版本	对象存储服务
网络连通性	-	CronJob Pod 能访问 MySQL 和 MinIO

Cronjob on Zayn's Blog

使用 Cronjob 定时清理 ElasticSearch 中的日志索引

背景
#

使用 Kubernetes CronJob 自动备份 MySQL 数据到 MinIO

方案概述
#

备份架构
#

方案优势
#

环境准备
#

前置条件
#

自定义镜像
#

Cronjob on Zayn's Blog

使用 Cronjob 定时清理 ElasticSearch 中的日志索引

背景 #

使用 Kubernetes CronJob 自动备份 MySQL 数据到 MinIO

方案概述 #

备份架构 #

方案优势 #

环境准备 #

前置条件 #

自定义镜像 #

背景
#

方案概述
#

备份架构
#

方案优势
#

环境准备
#

前置条件
#

自定义镜像
#