spring batch执行shell命令 spring batch执行原理

本文探讨了在spring batch应用中，如何有效管理和清理成功的作业历史数据，以优化数据库性能和存储空间。鉴于spring batch框架本身不提供开箱即用的清理功能，文章详细介绍了通过创建自定义spring batch作业（tasklet）或直接执行sql脚本两种主流方法，并提供了实现思路与关键注意事项，旨在帮助开发者构建健壮、高效的数据保留策略。

在处理大规模、高并发的Spring Batch应用时，数据库中积累的作业历史元数据（如BATCH_JOB_INSTANCE, BATCH_JOB_EXECUTION, BATCH_STEP_EXECUTION等表）会迅速膨胀。对于绝大多数成功的作业，其历史记录可能无需长期保留，但框架本身并未提供自动清理机制。这是因为数据归档策略和保留策略因业务需求而异，框架层面难以提供普适的“开箱即用”解决方案。因此，开发者需要根据实际情况设计并实现定制化的清理方案。

在深入清理策略之前，了解Spring Batch的元数据表结构至关重要。这些表记录了作业的执行情况，并通过外键关联。常见的核心元数据表包括：

清理操作必须遵循这些表之间的外键关系，通常需要从子表（如BATCH_STEP_EXECUTION_CONTEXT）开始，逐步向上清理，最终删除BATCH_JOB_INSTANCE。

最推荐且与Spring Batch框架设计理念最为契合的方法是，创建一个独立的Spring Batch作业来执行历史数据的清理任务。这种方法能够利用Spring Batch自身的事务管理、重试机制和监控能力。

核心在于实现一个自定义的Tasklet，该Tasklet负责执行数据库清理逻辑。

import org.springframework.batch.core.StepContribution;import org.springframework.batch.core.scope.context.ChunkContext;import org.springframework.batch.core.step.tasklet.Tasklet;import org.springframework.batch.repeat.RepeatStatus;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.jdbc.core.JdbcTemplate;import org.springframework.stereotype.Component;import java.time.LocalDateTime;import java.time.ZoneId;import java.util.Date;@Componentpublic class JobHistoryCleanupTasklet implements Tasklet {    private final JdbcTemplate jdbcTemplate;    private final int daysToRetain; // 保留天数    @Autowired    public JobHistoryCleanupTasklet(JdbcTemplate jdbcTemplate) {        this.jdbcTemplate = jdbcTemplate;        // 示例：保留最近30天的成功作业记录        this.daysToRetain = 30;     }    @Override    public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {        // 计算截止日期        LocalDateTime cutoffDateTime = LocalDateTime.now().minusDays(daysToRetain);        Date cutoffDate = Date.from(cutoffDateTime.atZone(ZoneId.systemDefault()).toInstant());        // 获取需要删除的成功作业执行ID        // 仅删除状态为COMPLETED且执行时间早于截止日期的作业        String selectJobExecutionIdsSql = "SELECT JOB_EXECUTION_ID FROM BATCH_JOB_EXECUTION " +                                          "WHERE STATUS = 'COMPLETED' AND START_TIME < ?";        List<Long> jobExecutionIdsToDelete = jdbcTemplate.queryForList(selectJobExecutionIdsSql, Long.class, cutoffDate);        if (jobExecutionIdsToDelete.isEmpty()) {            System.out.println("没有需要清理的成功作业历史记录。");            return RepeatStatus.FINISHED;        }        System.out.println("开始清理 " + jobExecutionIdsToDelete.size() + " 条成功作业历史记录...");        // 批量删除，注意删除顺序以维护外键约束        // 1. 删除 BATCH_STEP_EXECUTION_CONTEXT        String deleteStepExecutionContextSql = "DELETE FROM BATCH_STEP_EXECUTION_CONTEXT WHERE STEP_EXECUTION_ID IN " +                                               "(SELECT STEP_EXECUTION_ID FROM BATCH_STEP_EXECUTION WHERE JOB_EXECUTION_ID IN (?))";        // 2. 删除 BATCH_STEP_EXECUTION        String deleteStepExecutionSql = "DELETE FROM BATCH_STEP_EXECUTION WHERE JOB_EXECUTION_ID IN (?)";        // 3. 删除 BATCH_JOB_EXECUTION_PARAMS        String deleteJobExecutionParamsSql = "DELETE FROM BATCH_JOB_EXECUTION_PARAMS WHERE JOB_EXECUTION_ID IN (?)";        // 4. 删除 BATCH_JOB_EXECUTION_CONTEXT        String deleteJobExecutionContextSql = "DELETE FROM BATCH_JOB_EXECUTION_CONTEXT WHERE JOB_EXECUTION_ID IN (?)";        // 5. 删除 BATCH_JOB_EXECUTION        String deleteJobExecutionSql = "DELETE FROM BATCH_JOB_EXECUTION WHERE JOB_EXECUTION_ID IN (?)";        // 注意：BATCH_JOB_INSTANCE 的删除需要更复杂的逻辑，因为它可能关联多个 JOB_EXECUTION。        // 通常，我们只删除那些不再有任何 JOB_EXECUTION 关联的 JOB_INSTANCE。        // 简化示例中，我们只清理JOB_EXECUTION及相关联的子表。        // 实际生产中，应先查询出所有JOB_INSTANCE_ID，然后检查它们是否还有其他JOB_EXECUTION关联，再决定是否删除。        String jobExecutionIdsPlaceholder = jobExecutionIdsToDelete.stream()                                                .map(String::valueOf)                                                .collect(Collectors.joining(","));        // 执行删除操作        jdbcTemplate.update(deleteStepExecutionContextSql.replace("(?)", "(" + jobExecutionIdsPlaceholder + ")"));        jdbcTemplate.update(deleteStepExecutionSql.replace("(?)", "(" + jobExecutionIdsPlaceholder + ")"));        jdbcTemplate.update(deleteJobExecutionParamsSql.replace("(?)", "(" + jobExecutionIdsPlaceholder + ")"));        jdbcTemplate.update(deleteJobExecutionContextSql.replace("(?)", "(" + jobExecutionIdsPlaceholder + ")"));        int deletedCount = jdbcTemplate.update(deleteJobExecutionSql.replace("(?)", "(" + jobExecutionIdsPlaceholder + ")"));        System.out.println("成功清理 " + deletedCount + " 条作业执行记录及其关联数据。");        return RepeatStatus.FINISHED;    }}

将上述Tasklet封装成一个Spring Batch作业，并配置一个Step来执行它。

剪映出品的AI视频和图片创作助手

import org.springframework.batch.core.Job;import org.springframework.batch.core.Step;import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;@Configuration@EnableBatchProcessingpublic class BatchCleanupJobConfig {    private final JobBuilderFactory jobBuilderFactory;    private final StepBuilderFactory stepBuilderFactory;    private final JobHistoryCleanupTasklet cleanupTasklet;    public BatchCleanupJobConfig(JobBuilderFactory jobBuilderFactory,                                  StepBuilderFactory stepBuilderFactory,                                 JobHistoryCleanupTasklet cleanupTasklet) {        this.jobBuilderFactory = jobBuilderFactory;        this.stepBuilderFactory = stepBuilderFactory;        this.cleanupTasklet = cleanupTasklet;    }    @Bean    public Step cleanupStep() {        return stepBuilderFactory.get("cleanupStep")                .tasklet(cleanupTasklet)                .build();    }    @Bean    public Job jobHistoryCleanupJob() {        return jobBuilderFactory.get("jobHistoryCleanupJob")                .start(cleanupStep())                .build();    }}

该清理作业可以独立于主业务作业运行，并通过各种方式进行调度：

对于不希望引入额外Spring Batch作业的场景，或者在外部数据库维护工具中执行，可以直接编写SQL脚本来清理数据。这种方法更直接，但需要开发者自行处理事务和错误管理。

以下是一个概念性的SQL脚本示例，用于清理N天前的成功作业数据。请注意，具体的SQL语句会因数据库类型（MySQL, PostgreSQL, Oracle等）和实际表结构而异。

-- 定义保留天数，例如30天SET @daysToRetain = 30; -- 计算截止日期SET @cutoffDate = DATE_SUB(CURDATE(), INTERVAL @daysToRetain DAY);-- 1. 删除 BATCH_STEP_EXECUTION_CONTEXTDELETE FROM BATCH_STEP_EXECUTION_CONTEXTWHERE STEP_EXECUTION_ID IN (    SELECT SE.STEP_EXECUTION_ID    FROM BATCH_STEP_EXECUTION SE    JOIN BATCH_JOB_EXECUTION JE ON SE.JOB_EXECUTION_ID = JE.JOB_EXECUTION_ID    WHERE JE.STATUS = 'COMPLETED'      AND JE.START_TIME < @cutoffDate);-- 2. 删除 BATCH_STEP_EXECUTIONDELETE FROM BATCH_STEP_EXECUTIONWHERE JOB_EXECUTION_ID IN (    SELECT JOB_EXECUTION_ID    FROM BATCH_JOB_EXECUTION    WHERE STATUS = 'COMPLETED'      AND START_TIME < @cutoffDate);-- 3. 删除 BATCH_JOB_EXECUTION_PARAMSDELETE FROM BATCH_JOB_EXECUTION_PARAMSWHERE JOB_EXECUTION_ID IN (    SELECT JOB_EXECUTION_ID    FROM BATCH_JOB_EXECUTION    WHERE STATUS = 'COMPLETED'      AND START_TIME < @cutoffDate);-- 4. 删除 BATCH_JOB_EXECUTION_CONTEXTDELETE FROM BATCH_JOB_EXECUTION_CONTEXTWHERE JOB_EXECUTION_ID IN (    SELECT JOB_EXECUTION_ID    FROM BATCH_JOB_EXECUTION    WHERE STATUS = 'COMPLETED'      AND START_TIME < @cutoffDate);-- 5. 删除 BATCH_JOB_EXECUTIONDELETE FROM BATCH_JOB_EXECUTIONWHERE STATUS = 'COMPLETED'  AND START_TIME < @cutoffDate;-- 6. 删除不再有任何 JOB_EXECUTION 关联的 BATCH_JOB_INSTANCE-- 这一步需要非常谨慎，确保没有活跃的JOB_EXECUTION关联到JOB_INSTANCEDELETE FROM BATCH_JOB_INSTANCEWHERE JOB_INSTANCE_ID NOT IN (SELECT JOB_INSTANCE_ID FROM BATCH_JOB_EXECUTION);

重要提示：

通过上述策略，开发者可以有效地管理Spring Batch作业的历史元数据，避免数据库膨胀，确保系统长期稳定运行。选择哪种策略取决于项目的具体需求、团队的技术栈偏好以及对操作复杂度的接受程度。通常，使用专用的Spring Batch清理作业是更健壮、更易于管理和监控的选择。

以上就是Spring Batch成功作业历史数据清理策略与实践的详细内容，更多请关注乐哥常识网其它相关文章！