Skip to main content
并行构建:parallel 的几种写法与多节点调度

Jenkins 里并行有声明式的 parallel 块和脚本式的 parallel 步骤两套写法。游戏项目里典型场景是同一份代码同时在 Windows / Linux / 多台机器上跑测试或打包,下面按从简到繁列一遍。

声明式 parallel:嵌套 stage

声明式 Pipeline 里,一个 stage 可以用 parallel 包住一组子 stage 并行跑。规则:一个 stage 只能有 steps、stages、parallel、matrix 之一;parallel 块里的子 stage 仍然能用 agent、when、post 等。

TeamCity 创建 Build

TeamCity 里 build 按工程(project)分组,工程下可以继续分子工程。建 build 有两种方式。

手动创建项目

在 UI 上一步步手动建工程、配 VCS、加 build step。

从 VCS 代码创建

把用 Kotlin DSL 写的配置放在 VCS 仓库里,TeamCity 会按工程代码自动创建出完整的多个 build。流程:

  1. 在 GitLab 上创建一个新的空仓库。
  2. 在 TeamCity 上选择创建一个工程,指向这个仓库。
  3. 进入 Edit Project 初始化。初始化成功后同一页面会出现把 Kotlin 配置文件推到远程仓库的按钮。
队列与权限:Priority Sorter 与 Role-Strategy

构建机紧张时要控制谁先跑,这是 Priority Sorter;多项目共用一个 Jenkins 要控制谁能看/能构建哪些 job,这是 Role-Strategy。两个都是多团队共用 Jenkins 时绕不开的插件。

Priority Sorter:给 job 排优先级插队

PrioritySorter 插件。核心规则:数字越低优先级越高、越靠前插队。能做到:

Jenkins 远程连接 Mac 打 iOS 包的踩坑

让 Jenkins 在 Mac 上打 iOS 包,有两条路:在 Mac 上直接搭 Jenkins,或 Jenkins 远程连 Mac 节点。这里用的是后者——Jenkins 用 SSH 连 Mac,只需 IP 和账号密码。连接本身很简单,坑都在后面:SMB 挂载会失效、Mac 终端 bash/zsh 不一致、Jenkins 里 python/p4 必须用全路径、codesign 要解锁钥匙串、Shader DDC 偶尔失效。

Mac 环境

需要装的东西:

环境 来源 备注
Xcode App Store 需要 Apple ID
p4 https://www.perforce.com/downloads/ 除 p4v 外要单独下 Helix Command-Line Client,否则用不了 p4 命令
JDK jdk-8u333-macosx-x64.dmg
在 VSCode 里开发 Jenkins Pipeline

把 Pipeline 当代码维护时,直接在 Web 界面里改 Jenkinsfile 很难受。两件事能改善体验:用 Jenkins Jack 远程跑/拉 Pipeline,以及把 Pipeline 纳入 P4 后让 VSCode 自动管理代码更新。

Jenkins Jack:在 VSCode 里直连 Jenkins

Jenkins Jack 是个 VSCode 扩展,能远程执行 Pipeline 脚本并实时高亮输出、提供 Pipeline step 自动补全和文档、在多个 agent 上跑 console groovy 脚本等。

构建输出:AnsiColor 与 Log Parser

两个跟「构建日志怎么看」相关的插件:AnsiColor 让控制台支持 ANSI 颜色,Log Parser 按规则把日志里的错误/警告高亮分段。

AnsiColor:彩色控制台输出

ansicolor 插件。声明式 Pipeline 里在 options 加 ansiColor('xterm'),之后 echo 的 ANSI 转义序列就会被渲染成颜色:

Agent:决定 Pipeline 在哪台节点上跑

agent 指定整条 Pipeline(或某个 stage)在 Jenkins 的哪个节点上执行。它必须在 pipeline 块的顶层定义一次;stage 内部的 agent 是可选的,用来覆盖顶层设置。Jenkins master 就是根据这一段把任务派发到对应 agent。

any:任意可用节点

pipeline {
    agent any   // 顶层必须有,不能省略
    stages {
        stage('Build') {
            agent any
            steps {
                echo 'Build'
            }
        }
    }
}
定时监控节点在线状态 + 常用命令片段

构建农场节点多了,总有机器悄悄掉线。下面是一个用 Python 定时巡检、掉线就发邮件的做法,外加几段常在构建步骤里用到的 Git / PowerShell 命令。

定时监控节点是否在线

思路:建一个 Freestyle job,定时触发,用 jenkinsapi 逐个检查节点在线状态,有节点掉线就让 job 失败并触发邮件通知。

环境:Python 3、Jenkins、email-ext 插件、python 插件。先在 master 上 pip install jenkinsapi。