Migrating from Jenkins with GitHub Actions Importer

Learn how to use GitHub Actions Importer to automate the migration of your Jenkins pipelines to GitHub Actions.

В этой статье

Legal notice

About migrating from Jenkins with GitHub Actions Importer

The instructions below will guide you through configuring your environment to use GitHub Actions Importer to migrate Jenkins pipelines to GitHub Actions.

Prerequisites

  • A Jenkins account or organization with pipelines and jobs that you want to convert to GitHub Actions workflows.
  • Access to create a Jenkins personal API token for your account or organization.
  • Среда, в которой можно запускать контейнеры на основе Linux и устанавливать необходимые средства.

    Примечание.

    Контейнер GitHub Actions Importer и ИНТЕРФЕЙС командной строки не должны быть установлены на том же сервере, что и платформа CI.

Limitations

There are some limitations when migrating from Jenkins to GitHub Actions with GitHub Actions Importer. For example, you must migrate the following constructs manually:

  • Mandatory build tools
  • Scripted pipelines
  • Secrets
  • Self-hosted runners
  • Unknown plugins

For more information on manual migrations, see Migrating from Jenkins to GitHub Actions.

Installing the GitHub Actions Importer CLI extension

  1. Установите расширение CLI GitHub Actions Importer :

    Bash
    gh extension install github/gh-actions-importer

  2. Убедитесь, что расширение установлено:

    $ gh actions-importer -h
Options:
  -?, -h, --help  Show help and usage information

Commands:
  update     Update to the latest version of GitHub Actions Importer.
  version    Display the version of GitHub Actions Importer.
  configure  Start an interactive prompt to configure credentials used to authenticate with your CI server(s).
  audit      Plan your CI/CD migration by analyzing your current CI/CD footprint.
  forecast   Forecast GitHub Actions usage from historical pipeline utilization.
  dry-run    Convert a pipeline to a GitHub Actions workflow and output its yaml file.
  migrate    Convert a pipeline to a GitHub Actions workflow and open a pull request with the changes.

Configuring credentials

The configure CLI command is used to set required credentials and options for GitHub Actions Importer when working with Jenkins and GitHub.

  1. Create a GitHub personal access token (classic). For more information, see Управление личными маркерами доступа.

    Your token must have the workflow scope.

    After creating the token, copy it and save it in a safe location for later use.

  2. Create a Jenkins API token. For more information, see Authenticating scripted clients in the Jenkins documentation.

    After creating the token, copy it and save it in a safe location for later use.

  3. In your terminal, run the GitHub Actions Importer configure CLI command:

    gh actions-importer configure

    The configure command will prompt you for the following information:

    • For "Which CI providers are you configuring?", use the arrow keys to select Jenkins, press Space to select it, then press Enter.
    • For "Personal access token for GitHub", enter the value of the personal access token (classic) that you created earlier, and press Enter.
    • For "Base url of the GitHub instance", enter the URL for экземпляр GitHub Enterprise Server, and press Enter.
    • For "Personal access token for Jenkins", enter the value for the Jenkins personal API token that you created earlier, and press Enter.
    • For "Username of Jenkins user", enter your Jenkins username and press Enter.
    • For "Base url of the Jenkins instance", enter the URL of your Jenkins instance, and press Enter.

    An example of the configure command is shown below:

    $ gh actions-importer configure
✔ Which CI providers are you configuring?: Jenkins
Enter the following values (leave empty to omit):
✔ Personal access token for GitHub: ***************
✔ Base url of the GitHub instance: https://github.com
✔ Personal access token for Jenkins: ***************
✔ Username of Jenkins user: admin
✔ Base url of the Jenkins instance: https://localhost
Environment variables successfully updated.

  4. In your terminal, run the GitHub Actions Importer update CLI command to connect to GitHub Packages Container registry and ensure that the container image is updated to the latest version:

    gh actions-importer update

    The output of the command should be similar to below:

    Updating ghcr.io/actions-importer/cli:latest...
ghcr.io/actions-importer/cli:latest up-to-date

Perform an audit of Jenkins

You can use the audit command to get a high-level view of all pipelines in a Jenkins server.

The audit command performs the following steps:

  1. Fetches all of the projects defined in a Jenkins server.
  2. Converts each pipeline to its equivalent GitHub Actions workflow.
  3. Generates a report that summarizes how complete and complex of a migration is possible with GitHub Actions Importer.

Running the audit command

To perform an audit of a Jenkins server, run the following command in your terminal:

gh actions-importer audit jenkins --output-dir tmp/audit

Inspecting the audit results

Файлы в указанном выходном каталоге содержат результаты аудита. audit_summary.md Ознакомьтесь с файлом с сводкой результатов аудита.

Сводка аудита содержит следующие разделы.

Pipelines

Раздел "Конвейеры" содержит высокоуровневую статистику относительно скорости преобразования, выполняемой GitHub Actions Importer.

Ниже перечислены некоторые ключевые термины, которые могут отображаться в разделе "Конвейеры":

  • Успешные конвейеры имели 100 % конструкций конвейера и отдельные элементы, преобразованные автоматически в их эквивалент GitHub Actions.
  • Частично успешные конвейеры были преобразованы все конструкции конвейера, однако существовали некоторые отдельные элементы, которые не были автоматически преобразованы в их эквивалент GitHub Actions.
  • Неподдерживаемые конвейеры — это типы определений, которые не поддерживаются GitHub Actions Importer.
  • Неудачные конвейеры столкнулись с неустранимой ошибкой при преобразовании. Это может произойти по одной из трех причин:
    • Конвейер изначально был неправильно настроен и недопустим.
    • При преобразовании данных GitHub Actions Importer возникла внутренняя ошибка.
    • Произошел неудачный сетевой ответ, который привел к недоступности конвейера, что часто связано с недопустимыми учетными данными.

Этапы сборки

В разделе "Шаги сборки" содержится обзор отдельных шагов сборки, используемых во всех конвейерах, и количество автоматически преобразованных GitHub Actions Importer.

Ниже приведены некоторые ключевые термины, которые могут отображаться в разделе "Шаги сборки".

  • Известный **** шаг сборки — это шаг, который был автоматически преобразован в эквивалентное действие.
  • ** Неизвестный **шаг сборки — это шаг, который не был автоматически преобразован в эквивалентное действие.
  • Неподдерживаемый **** шаг сборки — это шаг, который является следующим:
    • В основном не поддерживается GitHub Actions.
    • Настроено таким образом, что несовместимо с данными GitHub Actions.
  • Действие **** — это список действий, которые использовались в преобразованных рабочих процессах. Это может быть важно для:
    • Если вы используете GitHub Enterprise Server, собирайте список действий для синхронизации с экземпляром.
    • Определение списка разрешений на уровне организации используемых действий. Этот список действий — это полный список действий, которые могут потребоваться для проверки вашей группы безопасности или соответствия требованиям.

Задачи вручную

В разделе "Задачи вручную" содержится обзор задач, которые GitHub Actions Importer не могут выполняться автоматически, и что необходимо выполнить вручную.

Ниже перечислены некоторые ключевые термины, которые могут отображаться в разделе "Задачи вручную".

  • Секрет — это репозиторий или секрет уровня организации, используемый в преобразованных конвейерах. Эти секреты необходимо создать вручную в GitHub Actions для правильной работы этих конвейеров. Дополнительные сведения см. в разделе Using secrets in GitHub Actions.
  • Локальное средство выполнения ссылается на метку бегуна, на который ссылается преобразованный конвейер, который не является GitHub, размещенным в runner. Необходимо вручную определить эти средства выполнения для правильной работы этих конвейеров.

Файлы

Последний раздел отчета аудита содержит манифест всех файлов, записанных на диск во время аудита.

Каждый файл конвейера содержит различные файлы, включенные в аудит, в том числе:

  • Исходный конвейер, определенный в GitHub.
  • Все сетевые ответы, используемые для преобразования конвейера.
  • Преобразованный файл рабочего процесса.
  • Трассировки стека, которые можно использовать для устранения неполадок с неудачным преобразованием конвейера.

Кроме того, workflow_usage.csv файл содержит разделенный запятыми список всех действий, секретов и средств выполнения, используемых каждым успешно преобразованным конвейером. Это может быть полезно для определения рабочих процессов, которые используют действия, секреты или средства выполнения, и могут быть полезны для выполнения проверок безопасности.

Forecast potential build runner usage

You can use the forecast command to forecast potential GitHub Actions usage by computing metrics from completed pipeline runs in your Jenkins server.

Prerequisites for running the forecast command

In order to run the forecast command against a Jenkins instance, you must install the paginated-builds plugin on your Jenkins server. This plugin allows GitHub Actions Importer to efficiently retrieve historical build data for jobs that have a large number of builds. Because Jenkins does not provide a method to retrieve paginated build data, using this plugin prevents timeouts from the Jenkins server that can occur when fetching a large amount of historical data. The paginated-builds plugin is open source, and exposes a REST API endpoint to fetch build data in pages, rather than all at once.

To install the paginated-builds plugin:

  1. On your Jenkins instance, navigate to https://<your-jenkins-instance>/pluginManager/available.
  2. Search for the paginated-builds plugin.
  3. Check the box on the left and select Install without restart.

Running the forecast command

To perform a forecast of potential GitHub Actions, run the following command in your terminal. By default, GitHub Actions Importer includes the previous seven days in the forecast report.

gh actions-importer forecast jenkins --output-dir tmp/forecast

Inspecting the forecast report

The forecast_report.md file in the specified output directory contains the results of the forecast.

Listed below are some key terms that can appear in the forecast report:

  • The job count is the total number of completed jobs.
  • The pipeline count is the number of unique pipelines used.
  • Execution time describes the amount of time a runner spent on a job. This metric can be used to help plan for the cost of GitHub-hosted runners.
    • This metric is correlated to how much you should expect to spend in GitHub Actions. This will vary depending on the hardware used for these minutes. You can use the GitHub Actions pricing calculator to estimate the costs.
  • Queue time metrics describe the amount of time a job spent waiting for a runner to be available to execute it.
  • Concurrent jobs metrics describe the amount of jobs running at any given time. This metric can be used to define the number of runners you should configure.

Additionally, these metrics are defined for each queue of runners in Jenkins. This is especially useful if there is a mix of hosted or self-hosted runners, or high or low spec machines, so you can see metrics specific to different types of runners.

Perform a dry-run migration of a Jenkins pipeline

You can use the dry-run command to convert a Jenkins pipeline to its equivalent GitHub Actions workflow.

Running the dry-run command

You can use the dry-run command to convert a Jenkins pipeline to an equivalent GitHub Actions workflow. A dry-run creates the output files in a specified directory, but does not open a pull request to migrate the pipeline.

To perform a dry run of migrating your Jenkins pipelines to GitHub Actions, run the following command in your terminal, replacing my-jenkins-project with the URL of your Jenkins job.

gh actions-importer dry-run jenkins --source-url my-jenkins-project --output-dir tmp/dry-run

Inspecting the converted workflows

You can view the logs of the dry run and the converted workflow files in the specified output directory.

Если есть что-либо, что GitHub Actions Importer не удалось преобразовать автоматически, например неизвестные шаги сборки или частично успешный конвейер, может потребоваться создать пользовательские преобразователи для дальнейшей настройки процесса преобразования. Дополнительные сведения см. в разделе Extending GitHub Actions Importer with custom transformers.

Perform a production migration of a Jenkins pipeline

You can use the migrate command to convert a Jenkins pipeline and open a pull request with the equivalent GitHub Actions workflow.

Running the migrate command

To migrate a Jenkins pipeline to GitHub Actions, run the following command in your terminal, replacing the target-url value with the URL for your GitHub repository, and my-jenkins-project with the URL for your Jenkins job.

gh actions-importer migrate jenkins --target-url https://github.com/:owner/:repo --output-dir tmp/migrate --source-url my-jenkins-project

The command's output includes the URL to the pull request that adds the converted workflow to your repository. An example of a successful output is similar to the following:

$ gh actions-importer migrate jenkins --target-url https://github.com/octo-org/octo-repo --output-dir tmp/migrate --source-url http://localhost:8080/job/monas_dev_work/job/monas_freestyle
[2022-08-20 22:08:20] Logs: 'tmp/migrate/log/actions-importer-20220916-014033.log'
[2022-08-20 22:08:20] Pull request: 'https://github.com/octo-org/octo-repo/pull/1'

Проверка запроса на вытягивание

Выходные данные из успешного migrate выполнения команды содержат ссылку на новый запрос на вытягивание, который добавляет преобразованный рабочий процесс в репозиторий.

Ниже приведены некоторые важные элементы запроса на вытягивание:

  • В описании запроса на вытягивание раздел с именем "Вручную", в котором перечислены шаги, которые необходимо выполнить вручную, прежде чем завершить перенос конвейеров на GitHub Actions. Например, в этом разделе может быть описано создание секретов, используемых в рабочих процессах.
  • Преобразованный файл рабочих процессов. Выберите вкладку "**Измененные файлы" в запросе **на вытягивание, чтобы просмотреть файл рабочего процесса, который будет добавлен в репозиторий GitHub .

После завершения проверки запроса на вытягивание его можно объединить, чтобы добавить рабочий процесс в репозиторий GitHub .

Reference

This section contains reference information on environment variables, optional arguments, and supported syntax when using GitHub Actions Importer to migrate from Jenkins.

Using environment variables

GitHub Actions Importer использует переменные среды для конфигурации проверки подлинности. Эти переменные задаются при выполнении процесса конфигурации с помощью configure команды. Дополнительные сведения см. в разделе "Настройка учетных данных".

GitHub Actions Importer uses the following environment variables to connect to your Jenkins instance:

  • GITHUB_ACCESS_TOKEN: The personal access token (classic) used to create pull requests with a converted workflow (requires repo and workflow scopes).

  • GITHUB_INSTANCE_URL: The URL to the target GitHub instance (for example, https://github.com).

  • JENKINS_ACCESS_TOKEN: The Jenkins API token used to view Jenkins resources.

    Примечание.

    This token requires access to all jobs that you want to migrate or audit. In cases where a folder or job does not inherit access control lists from their parent, you must grant explicit permissions or full admin privileges.

  • JENKINS_USERNAME: The username of the user account that created the Jenkins API token.

  • JENKINS_INSTANCE_URL: The URL of the Jenkins instance.

  • JENKINSFILE_ACCESS_TOKEN (Optional) The API token used to retrieve the contents of a Jenkinsfile stored in the build repository. This requires the repo scope. If this is not provided, the GITHUB_ACCESS_TOKEN will be used instead.

These environment variables can be specified in a .env.local file that is loaded by GitHub Actions Importer when it is run.

Using optional arguments

Существуют необязательные аргументы, которые можно использовать с подкомандами GitHub Actions Importer для настройки миграции.

--source-file-path

You can use the --source-file-path argument with the forecast, dry-run, or migration subcommands.

By default, GitHub Actions Importer fetches pipeline contents from source control. The --source-file-path argument tells GitHub Actions Importer to use the specified source file path instead. You can use this option for Jenkinsfile and multibranch pipelines.

If you would like to supply multiple source files when running the forecast subcommand, you can use pattern matching in the file path value. For example, gh forecast --source-file-path ./tmp/previous_forecast/jobs/*.json supplies GitHub Actions Importer with any source files that match the ./tmp/previous_forecast/jobs/*.json file path.

Jenkinsfile pipeline example

In this example, GitHub Actions Importer uses the specified Jenkinsfile as the source file to perform a dry run.

gh actions-importer dry-run jenkins --output-dir path/to/output/ --source-file-path path/to/Jenkinsfile --source-url :url_to_jenkins_job

--config-file-path

You can use the --config-file-path argument with the audit, dry-run, and migrate subcommands.

By default, GitHub Actions Importer fetches pipeline contents from source control. The --config-file-path argument tells GitHub Actions Importer to use the specified source files instead.

When you use the --config-file-path option with the dry-run or migrate subcommands, GitHub Actions Importer matches the repository slug to the job represented by the --source-url option to select the pipeline. It uses the config-file-path to pull the specified source file.

Audit example

In this example, GitHub Actions Importer uses the specified YAML configuration file to perform an audit.

gh actions-importer audit jenkins --output-dir path/to/output/ --config-file-path path/to/jenkins/config.yml

To audit a Jenkins instance using a config file, the config file must be in the following format, and each repository_slug value must be unique:

source_files:
  - repository_slug: pipeline-name
    path: path/to/Jenkinsfile
  - repository_slug: multi-branch-pipeline-name
    branches:
      - branch: main
        path: path/to/Jenkinsfile
      - branch: node
        path: path/to/Jenkinsfile

Supported syntax for Jenkins pipelines

The following tables show the type of properties GitHub Actions Importer is currently able to convert. For more details about how Jenkins pipeline syntax aligns with GitHub Actions, see Migrating from Jenkins to GitHub Actions.

For information about supported Jenkins plugins, see the github/gh-actions-importer repository.

Supported syntax for Freestyle pipelines

JenkinsGitHub ActionsStatus
docker templatejobs.<job_id>.containerSupported
buildjobsPartially supported
build environmentenvPartially supported
build triggersonPartially supported
generalrunnersPartially supported

Supported syntax for Jenkinsfile pipelines

JenkinsGitHub ActionsStatus
dockerjobs.<job_id>.containerSupported
stagejobs.<job_id>Supported
agentrunnersPartially supported
environmentenvPartially supported
stagesjobsPartially supported
stepsjobs.<job_id>.stepsPartially supported
triggersonPartially supported
whenjobs.<job_id>.ifPartially supported
inputsinputsUnsupported
matrixjobs.<job_id>.strategy.matrixUnsupported
optionsjobs.<job_id>.strategyUnsupported
parametersinputsUnsupported

Environment variables syntax

GitHub Actions Importer uses the mapping in the table below to convert default Jenkins environment variables to the closest equivalent in GitHub Actions.

JenkinsGitHub Actions
${BUILD_ID}${{ github.run_id }}
${BUILD_NUMBER}${{ github.run_id }}
${BUILD_TAG}${{ github.workflow }}-${{ github.run_id }}
${BUILD_URL}${{ github.server_url }}/${{ github.repository }}/actions/runs/${{ github.run_id }}
${JENKINS_URL}${{ github.server_url }}
${JOB_NAME}${{ github.workflow }}
${WORKSPACE}${{ github.workspace }}

Части были адаптированы в соответствии с https://github.com/github/gh-actions-importer/ лицензией MIT:

MIT License

Copyright (c) 2022 GitHub

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.