Share
War Story: Как мы внедряли поддержку Java 11 в Jenkins (RUS)
Сказ о том, как мы внедряли поддержку Java 11 в Jenkins — одном из наиболее популярных серверов автоматизации для CI/CD. Цель доклада — рассказать о том, с какими проблемами мы столкнулись в реальном крупном Maven-проекте, и о том, как мы их решали. Доклад не имеет отношения к Jenkins как таковому, целевая аудитория — разработчики, которые планируют переезд на Java 11.
Как нам удалось поддержать Java 11 и сохранить совместимость с Java 8? Как мы обеспечили сборку и тестирование проектов в Java 9..11? Насколько на нас повлияли новая система модулей, multi-release JARs и несовместимые изменения в Java (reflection, classloading, удаление компонентов Java EE/Jakarta)? И как автоматизировать тестирование, чтобы не переделывать всё с каждым новым релизом Java? И что мы, в конце концов, получили от миграции на Java 11?
Справка: Jenkins имеет огромную кодовую базу: Java, Groovy, нативные библиотеки и даже немного Kotlin. Проект включает сотни зависимостей, 1500+ плагинов, а также десятки стандартных и самописных dev-тулов (Maven, Gradle). Впридачу — 10 лет обратной совместимости и огромное количество легаси-кода. Если вы заметили сходство со своими Java-проектами и думаете о миграции на Java 11, то приходите на доклад :)
Oleg Nenashev PRO
Transcript
110 slides
-
© 2019 CloudBees, Inc. All Rights Reserved. © 2019 CloudBees,
Inc. All Rights Reserved. Jenkins.war story Как мы внедряли поддержку Java 11 Олег Ненашев, CloudBees @oleg_nenashev -
© 2019 CloudBees, Inc. All Rights Reserved. О чём доклад?
V - Миграция крупных проектов на Java 11 V - Наш опыт, проблемы и решения V - Java, Maven, стандартные тулы X - Jenkins X - Jenkins X X - Дебри Java 11 2 -
© 2019 CloudBees, Inc. All Rights Reserved. > whoami @oleg_nenashev
oleg-nenashev • Principal SW Engineer, CloudBees • Jenkins Core maintainer • Platform SIG leader 3 -
© 2019 CloudBees, Inc. All Rights Reserved. > whoami -cloudbees
4 • CloudBees Jenkins Distribution • CloudBees Jenkins Support • Сообщество: Java 11, Jenkinsfile Runner, JCasC https://www.cloudbees.com -
© 2019 CloudBees, Inc. All Rights Reserved. Who is Mr.
Jenkins? 1. Сервер автоматизации 2. CI/CD/DevOps/… 3. 200k+ инсталляций 4. Open-source 5. Большое сообщество 6. >1700 плагинов https://jenkins.io 5 -
© 2019 CloudBees, Inc. All Rights Reserved. Under the hood
JENKINS Image: https://www.youtube.com/watch?v=Qae_3RDa6sM 6 -
© 2019 CloudBees, Inc. All Rights Reserved. 8 Более 50
тикетов на совместимость с Java 9/10 -
© 2019 CloudBees, Inc. All Rights Reserved. Июнь 2018 -
Online Hackathon • 1й день - Pipeline 14 -
© 2019 CloudBees, Inc. All Rights Reserved. Июнь 2018 -
Online Hackathon • 2й день - BlueOcean 15 -
© 2019 CloudBees, Inc. All Rights Reserved. Июнь 2018 -
Online Hackathon • 5й день - “самое скучное демо на свете” 16 -
© 2019 CloudBees, Inc. All Rights Reserved. Сентябрь 2018 •
1 день - поддержка Java 11 17 -
© 2019 CloudBees, Inc. All Rights Reserved. Java 10 PoC
- июнь 2018 Java 11 PoC - сентябрь 2018 Java 11 RC - декабрь 2018 Java 11 GA - март 2019 18 ? ? ? -
© 2019 CloudBees, Inc. All Rights Reserved. Запустить проект на
Java 11 - легко, а переехать на Java 11 - сложно 19 -
© 2019 CloudBees, Inc. All Rights Reserved. Экосистема Jenkins Ядро
и модули Плагины Дистрибутивы Подпроекты Библиотеки Средства разработки 20 -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты Наш Pipeline 21 -
© 2019 CloudBees, Inc. All Rights Reserved. Наши тулы •
Maven и немного Gradle • Parent POM и BOM • Maven SureFire + JUnit 4 • SpotBugs, Animal Sniffer, Maven Enforcer • JaCoCo и Cobertura • Свои Maven-плагины 22 -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка > mvn
clean package -Djava.level = 11 23 Попытка 1: Maven Compiler Plugin: Unsupported target: 1.11 Попытка 2: Maven Compiler Plugin: Unsupported target: 11 -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты Maven-плагины 24 -
© 2019 CloudBees, Inc. All Rights Reserved. Maven-плагины 25 >
mvn versions:display-plugin-updates ... -
© 2019 CloudBees, Inc. All Rights Reserved. Maven-плагины Maven Compiler
Plugin Maven Enforcer & Rule Plugin Maven Site GMaven/GMavenPlus Javadoc ... > mvn versions:display-plugin-updates 26 -
© 2019 CloudBees, Inc. All Rights Reserved. 27 java.lang.IllegalArgumentException at
org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:185) at org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:168) at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.reader(…) …. at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.getCommonSuperClass(...) at org.jenkinsci.bytecode.NonClassLoadingClassWriter.getCommonSuperClass(NonClassLoadingClassWriter.java:72) at org.kohsuke.asm6.ClassWriter.getMergedType(ClassWriter.java:1736) at org.kohsuke.asm6.Frame.merge(Frame.java:1530) at org.kohsuke.asm6.Frame.merge(Frame.java:1478) at org.kohsuke.asm6.MethodWriter.visitMaxs(MethodWriter.java:1520) at org.kohsuke.asm6.tree.MethodNode.accept(MethodNode.java:835) at org.kohsuke.asm6.commons.JSRInlinerAdapter.visitEnd(JSRInlinerAdapter.java:187) at org.jenkinsci.bytecode.Transformer$1$1.visitEnd(Transformer.java:109) at org.kohsuke.asm6.MethodVisitor.visitEnd(MethodVisitor.java:878) at org.kohsuke.asm6.ClassReader.readMethod(ClassReader.java:1169) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:727) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:525) at org.jenkinsci.bytecode.Transformer.transform(Transformer.java:115) at hudson.ClassicPluginStrategy$AntClassLoader2.defineClassFromData(ClassicPluginStrategy.java:857) at jenkins.util.AntClassLoader.getClassFromStream(AntClassLoader.java:1311) at jenkins.util.AntClassLoader.findClassInComponents(AntClassLoader.java:1364) at jenkins.util.AntClassLoader.findClass(AntClassLoader.java:1327) at jenkins.util.AntClassLoader.loadClass(AntClassLoader.java:1080) at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:499) at org.jenkinsci.plugins.workflow.cps.CpsScript.<init>(CpsScript.java:69) at WorkflowScript.<init>(WorkflowScript -
© 2019 CloudBees, Inc. All Rights Reserved. 28 java.lang.IllegalArgumentException at
org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:185) at org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:168) at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.reader(…) …. at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.getCommonSuperClass(...) at org.jenkinsci.bytecode.NonClassLoadingClassWriter.getCommonSuperClass(NonClassLoadingClassWriter.java:72) at org.kohsuke.asm6.ClassWriter.getMergedType(ClassWriter.java:1736) at org.kohsuke.asm6.Frame.merge(Frame.java:1530) at org.kohsuke.asm6.Frame.merge(Frame.java:1478) at org.kohsuke.asm6.MethodWriter.visitMaxs(MethodWriter.java:1520) at org.kohsuke.asm6.tree.MethodNode.accept(MethodNode.java:835) at org.kohsuke.asm6.commons.JSRInlinerAdapter.visitEnd(JSRInlinerAdapter.java:187) at org.jenkinsci.bytecode.Transformer$1$1.visitEnd(Transformer.java:109) at org.kohsuke.asm6.MethodVisitor.visitEnd(MethodVisitor.java:878) at org.kohsuke.asm6.ClassReader.readMethod(ClassReader.java:1169) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:727) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:525) at org.jenkinsci.bytecode.Transformer.transform(Transformer.java:115) at hudson.ClassicPluginStrategy$AntClassLoader2.defineClassFromData(ClassicPluginStrategy.java:857) at jenkins.util.AntClassLoader.getClassFromStream(AntClassLoader.java:1311) at jenkins.util.AntClassLoader.findClassInComponents(AntClassLoader.java:1364) at jenkins.util.AntClassLoader.findClass(AntClassLoader.java:1327) at jenkins.util.AntClassLoader.loadClass(AntClassLoader.java:1080) at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:499) at org.jenkinsci.plugins.workflow.cps.CpsScript.<init>(CpsScript.java:69) at WorkflowScript.<init>(WorkflowScript at jenkins.util.AntClassLoader.loadClass(AntClassLoader.java:1080) at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:499) at org.jenkinsci.plugins.workflow.cps.CpsScript.<init>(CpsScript.java:69) at WorkflowScript.<init>(WorkflowScript -
© 2019 CloudBees, Inc. All Rights Reserved. 29 java.lang.IllegalArgumentException at
org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:185) at org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:168) at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.reader(…) …. at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.getCommonSuperClass(...) at org.jenkinsci.bytecode.NonClassLoadingClassWriter.getCommonSuperClass(NonClassLoadingClassWriter.java:72) at org.kohsuke.asm6.ClassWriter.getMergedType(ClassWriter.java:1736) at org.kohsuke.asm6.Frame.merge(Frame.java:1530) at org.kohsuke.asm6.Frame.merge(Frame.java:1478) at org.kohsuke.asm6.MethodWriter.visitMaxs(MethodWriter.java:1520) at org.kohsuke.asm6.tree.MethodNode.accept(MethodNode.java:835) at org.kohsuke.asm6.commons.JSRInlinerAdapter.visitEnd(JSRInlinerAdapter.java:187) at org.jenkinsci.bytecode.Transformer$1$1.visitEnd(Transformer.java:109) at org.kohsuke.asm6.MethodVisitor.visitEnd(MethodVisitor.java:878) at org.kohsuke.asm6.ClassReader.readMethod(ClassReader.java:1169) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:727) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:525) at org.jenkinsci.bytecode.Transformer.transform(Transformer.java:115) at hudson.ClassicPluginStrategy$AntClassLoader2.defineClassFromData(ClassicPluginStrategy.java:857) at jenkins.util.AntClassLoader.getClassFromStream(AntClassLoader.java:1311) at jenkins.util.AntClassLoader.findClassInComponents(AntClassLoader.java:1364) at jenkins.util.AntClassLoader.findClass(AntClassLoader.java:1327) at jenkins.util.AntClassLoader.loadClass(AntClassLoader.java:1080) at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:499) at org.jenkinsci.plugins.workflow.cps.CpsScript.<init>(CpsScript.java:69) at WorkflowScript.<init>(WorkflowScript java.lang.IllegalArgumentException at org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:185) at org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:168) at org.jenkinsci.bytecode.helper.???Reader.reader(…) -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты Maven-плагины Зависимости 30 -
© 2019 CloudBees, Inc. All Rights Reserved. Lib 1 Lib
2 Lib 3 Plugin 1 Plugin 2 Plugin 3 Lib 4 Lib 5 Plugin 4 иногда 31 -
© 2019 CloudBees, Inc. All Rights Reserved. 32 IT IS
OVER 9000 DEPENDENCIES -
© 2019 CloudBees, Inc. All Rights Reserved. 34 > mvn
versions:display-updates ... ? ? ? -
© 2019 CloudBees, Inc. All Rights Reserved. Нет фиксов для
Java 9+ Несовместимые изменения Библиотеки требуют Java 9+ Мёртвые проекты 35 -
© 2019 CloudBees, Inc. All Rights Reserved. java.lang.IllegalArgumentException at org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:185)
at org.kohsuke.asm6.ClassReader.<init>(ClassReader.java:168) at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.reader(ClassLoadingReferenceTypeHierachyReader.java:64) …. at org.jenkinsci.bytecode.helper.ClassLoadingReferenceTypeHierachyReader.getCommonSuperClass(...) at org.jenkinsci.bytecode.NonClassLoadingClassWriter.getCommonSuperClass(NonClassLoadingClassWriter.java:72) at org.kohsuke.asm6.ClassWriter.getMergedType(ClassWriter.java:1736) at org.kohsuke.asm6.Frame.merge(Frame.java:1530) at org.kohsuke.asm6.Frame.merge(Frame.java:1478) at org.kohsuke.asm6.MethodWriter.visitMaxs(MethodWriter.java:1520) at org.kohsuke.asm6.tree.MethodNode.accept(MethodNode.java:835) at org.kohsuke.asm6.commons.JSRInlinerAdapter.visitEnd(JSRInlinerAdapter.java:187) at org.jenkinsci.bytecode.Transformer$1$1.visitEnd(Transformer.java:109) at org.kohsuke.asm6.MethodVisitor.visitEnd(MethodVisitor.java:878) at org.kohsuke.asm6.ClassReader.readMethod(ClassReader.java:1169) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:727) at org.kohsuke.asm6.ClassReader.accept(ClassReader.java:525) at org.jenkinsci.bytecode.Transformer.transform(Transformer.java:115) at hudson.ClassicPluginStrategy$AntClassLoader2.defineClassFromData(ClassicPluginStrategy.java:857) at jenkins.util.AntClassLoader.getClassFromStream(AntClassLoader.java:1311) at jenkins.util.AntClassLoader.findClassInComponents(AntClassLoader.java:1364) at jenkins.util.AntClassLoader.findClass(AntClassLoader.java:1327) at jenkins.util.AntClassLoader.loadClass(AntClassLoader.java:1080) at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:499) at org.jenkinsci.plugins.workflow.cps.CpsScript.<init>(CpsScript.java:69) at WorkflowScript.<init>(WorkflowScript 37 at org.jenkinsci.bytecode.Transformer.transform (Transformer.java:115) -
© 2019 CloudBees, Inc. All Rights Reserved. Наш список ASM
Byte Buddy Reflections Jetty Groovy JNR, JNA Annotation Indexer SezPoz ... 38 -
© 2019 CloudBees, Inc. All Rights Reserved. • Maven Enforcer
Plugin https://maven.apache.org/enforcer/maven-enforcer-plugin/ • Extra Enforcer Rules Plugin https://www.mojohaus.org/extra-enforcer-rules/ Что поможет? 39 -
© 2019 CloudBees, Inc. All Rights Reserved. <plugin> <artifactId>maven-enforcer-plugin</artifactId> <executions>
<execution> … <configuration> <rules> <enforceBytecodeVersion> <maxJdkVersion>1.8</maxJdkVersion> <ignoredScopes> <ignoredScope>test</ignoredScope> </ignoredScopes> </enforceBytecodeVersion> … </executions> <dependencies> … <artifactId>extra-enforcer-rules</artifactId> … 40 -
© 2019 CloudBees, Inc. All Rights Reserved. 41 <plugin> <artifactId>maven-enforcer-plugin</artifactId>
<executions> <execution> … <configuration> <rules> <enforceBytecodeVersion> <maxJdkVersion>1.8</maxJdkVersion> <ignoredScopes> <ignoredScope>test</ignoredScope> </ignoredScopes> </enforceBytecodeVersion> … </executions> <dependencies> … <artifactId>extra-enforcer-rules</artifactId> … <enforceBytecodeVersion> <maxJdkVersion>1.8</maxJdkVersion> <ignoredScopes> <ignoredScope>test</ignoredScope> </ignoredScopes> </enforceBytecodeVersion> -
© 2019 CloudBees, Inc. All Rights Reserved. Транзитивные зависимости •
И снова Maven Enforcer Plugin • requireUpperBoundDeps <requireUpperBoundDeps> <excludes> <exclude>commons-logging:commons-logging</exclude> <exclude>com.google.code.findbugs:jsr305</exclude> <exclude>net.java.dev.jna:jna</exclude> </excludes> </requireUpperBoundDeps> 43 -
© 2019 CloudBees, Inc. All Rights Reserved. А Вы обновляете
зависимости? 44 -
© 2019 CloudBees, Inc. All Rights Reserved. Dependabot • CLI
и GitHub App • Регулярное сканирование • Поддержка Maven, Gradle и др. 47 -
© 2019 CloudBees, Inc. All Rights Reserved. Dependabot 48 @oleg_nenashev
https://speakerdeck.com/onenashev/ -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты Maven-плагины Зависимости Наш код 49 -
© 2019 CloudBees, Inc. All Rights Reserved. Никто не заставляет
использовать модули! 52 -
© 2019 CloudBees, Inc. All Rights Reserved. java.lang.NoClassDefFoundError: java.sql.Date at
o.a.c.beanutils.ConvertUtilsBean.class$(ConvertUtilsBean.java:157) at o.a.c.beanutils.ConvertUtilsBean.registerOther(ConvertUtilsBean.java:708) at o.a.c.beanutils.ConvertUtilsBean.deregister(ConvertUtilsBean.java:580) at o.a.c.beanutils.ConvertUtilsBean.<init>(ConvertUtilsBean.java:164) at org.kohsuke.stapler.Stapler.<clinit>(Stapler.java:1065) at hudson.model.Node$Mode.<clinit>(Node.java:597) at JENKINS-54426 54 -
© 2019 CloudBees, Inc. All Rights Reserved. JEP-261 - Restricted
Bootstrap Class Loader java.sql.* javax.activation.* javax.annotation.* javax.jws.* javax.lang.model.* javax.rmi.* javax.script.* javax.smartcardio.* javax.sql.* javax.tools.* javax.transaction.xa.* javax.xml.bind.* javax.xml.crypto.* javax.xml.soap.* javax.xml.ws.* 56 -
© 2019 CloudBees, Inc. All Rights Reserved. • Проблема: new
URLClassloader(null, ...) • Классы из модулей больше недоступны • getPlatformClassLoader() для Java 9+ • А для Java 8 метода нет…. JEP-261 - Restricted Bootstrap Class Loader 57 -
© 2019 CloudBees, Inc. All Rights Reserved. Platform Classloader. Решение
private ClassLoader getPlatformClassloader() throws NoSuchMethodException, InvocationTargetException, IllegalAccessException { if (isPostJava8()) { return (ClassLoader) ClassLoader.class.getMethod ("getPlatformClassLoader").invoke(null); } return null; // Java 8 } private static boolean isPostJava8() { String javaVersion = System.getProperty("java.version"); return !javaVersion.startsWith("1."); } 58 -
© 2019 CloudBees, Inc. All Rights Reserved. Кстати о Reflection...
WARNING: Illegal reflective access by hudson.remoting.RemoteClassLoader (file:/var/jenkins_home/war/WEB-INF/lib/remoting-3.7.jar) to method java.lang.ClassLoader.getClassLoadingLock(java.lang.String) at h.r.RemoteClassLoader.<clinit>(RemoteClassLoader.java:330) at h.r.MultiClassLoaderSerializer$Output.annotateClass(MultiClassLoaderSerializer.java:69) at java.base/java.io.ObjectOutputStream.writeNonProxyDesc(ObjectOutputStream.java:1291) at java.base/java.io.ObjectOutputStream.writeClassDesc(ObjectOutputStream.java:1232) 59 JENKINS-46724 -
© 2019 CloudBees, Inc. All Rights Reserved. Кстати о Reflection...
WARNING: Illegal reflective access by hudson.remoting.RemoteClassLoader (file:/var/jenkins_home/war/WEB-INF/lib/remoting-3.7.jar) to method java.lang.ClassLoader.getClassLoadingLock(java.lang.String) at h.r.RemoteClassLoader.<clinit>(RemoteClassLoader.java:330) at h.r.MultiClassLoaderSerializer$Output.annotateClass(MultiClassLoaderSerializer.java:69) at java.base/java.io.ObjectOutputStream.writeNonProxyDesc(ObjectOutputStream.java:1291) at java.base/java.io.ObjectOutputStream.writeClassDesc(ObjectOutputStream.java:1232) JENKINS-46724 60 TL;DR: setAccessible(true) - это плохо Crash в Java 9 EA по-умолчанию Предупреждение в логах для Java 9+ -
© 2019 CloudBees, Inc. All Rights Reserved. Illegal Reflective Access
• Internal Libraries • Upstream Dependencies • Object serialization frameworks Escape hatch: “--illegal-access=permit” 61 -
© 2019 CloudBees, Inc. All Rights Reserved. Удалённые компоненты sun.misc.Unsafe
Java Web Start JAXB CORBA API: методы и классы ... 62 -
© 2019 CloudBees, Inc. All Rights Reserved. • Удалена из
JDK • Доступна через Jakarta, но почти не поддерживается • В итоге – свой плагин Наша боль – java.xml.bind (JAXB) 63 java -p jaxb-api.jar:javax.activation.jar --add-modules java.xml.bind,java.activation ... -cp jaxb-core.jar:jaxb-impl.jar -jar jenkins.war … -
© 2019 CloudBees, Inc. All Rights Reserved. Подходы к совместимому
коду 66 Reflection Class#getDeclaredMethod() Class#getDeclaredField() setAccessible() … -
© 2019 CloudBees, Inc. All Rights Reserved. Подходы к совместимому
коду 67 Reflection Multi-Release JAR (JEP-238) JAR content root A.class B.class C.class META-INF MANIFEST.MF versions 9 A.class B.class 10 A.class Class#getDeclaredMethod() Class#getDeclaredField() setAccessible() … -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты Maven-плагины Зависимости Наш код 68 -
© 2019 CloudBees, Inc. All Rights Reserved. Собирать на Java
8, тестировать с Java 11? 69 -
© 2019 CloudBees, Inc. All Rights Reserved. Maven Surefire -
Тестирование с Java 11 … <plugin> <artifactId>maven-surefire-plugin</artifactId> <configuration> <jvm>/path/to/jdk11/bin/java</jvm> </configuration> </plugin> … 70 -
© 2019 CloudBees, Inc. All Rights Reserved. Maven Surefire -
Подключение модулей … <configuration> <jvm>/path/to/jdk11/bin/java</jvm> <argLine>-p jaxb-api.jar:javax.activation.jar --add-modules java.xml.bind,java.activation ... -cp jaxb-core.jar:jaxb-impl.jar</argLine> ... </configuration> … 71 -
© 2019 CloudBees, Inc. All Rights Reserved. Что не так?
Тестовые зависимости Несовместимые Maven- плагины Несовместимые тесты 72 -
© 2019 CloudBees, Inc. All Rights Reserved. Mockito ASM, ASM,
ASM Минимальные версии mockito-core 2.23.4+ Mockito почти совместим JENKINS-55098 73 -
© 2019 CloudBees, Inc. All Rights Reserved. PowerMock Минимальные версии
powermock-module-junit4:2.0.0-RC4 powermock-api-mockito2:2.0.0-RC4 objenesis:3.0.1 PowerMock несовместим JENKINS-55098 74 -
© 2019 CloudBees, Inc. All Rights Reserved. CORBA* 77 *
мы её не используем -
© 2019 CloudBees, Inc. All Rights Reserved. CORBA – Риск
RCE при десериализации* Мастер Агент RPC Системные вызовы RemoteInputStream/ RemoteOutputStream Classloading Сериализация обьектов с readResolve() * Анонс Foxglove Security, 2015 -
© 2019 CloudBees, Inc. All Rights Reserved. • Мы не
используем CORBA • Но у нас есть тесты на deserialization • Multi-Release Test JAR не работают ☹ CORBA. Удалена в JDK11 (JEP-320) 79 -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты 81 -
© 2019 CloudBees, Inc. All Rights Reserved. • Animal Sniffer
• FindBugs => SpotBugs • JaCoCo, Cobertura • Access Modifier (@Restricted) • ... Что нам пришлось обновлять? 82 -
© 2019 CloudBees, Inc. All Rights Reserved. 84 client.setServerKeyVerifier(verifier); client.start();
try (ClientSession session = cf.getSession()) { /// .... } finally { client.stop(); } -
© 2019 CloudBees, Inc. All Rights Reserved. 85 client.setServerKeyVerifier(verifier); client.start();
try (ClientSession session = cf.getSession()) { /// .... } finally { // RCN_REDUNDANT_NULLCHECK_WOULD_HAVE_BEEN_A_NPE client.stop(); } -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты 87 -
© 2019 CloudBees, Inc. All Rights Reserved. Jenkins-on-Jenkins 88 1.
Зеркала с JDK (ZIP Installer) 2. Тестовые тулы 3. Docker-образы агентов 4. Docker-образы для всех тулов 5. Библиотеки Pipeline 6. Сами Pipeline https://ci.jenkins.io/ -
© 2019 CloudBees, Inc. All Rights Reserved. • Java 8
и 11 • Linux и Windows • Разные версии ядра Jenkins • Версии/дистрибутивы Java Конфигурации 90 -
© 2019 CloudBees, Inc. All Rights Reserved. Jenkins-on-Jenkins. Сборка ядра
https://ci.jenkins.io/blue/organizatio ns/jenkins/Core%2Fjenkins/detail/j ava11-support/18/pipeline 91 -
© 2019 CloudBees, Inc. All Rights Reserved. • Jenkins Acceptance
Test Harness • Не трогали Selenium ~5 лет… • Минорные изменения, легкий апдейт • Перешли на современные драйверы Selenium 92 -
© 2019 CloudBees, Inc. All Rights Reserved. Jenkins-on-Jenkins. Сборка плагинов
93 // Jenkinsfile buildPlugin() https://github.com/jenkins-infra/pipeline-library -
© 2019 CloudBees, Inc. All Rights Reserved. Jenkins-on-Jenkins. Сборка плагинов
// Jenkinsfile buildPlugin(configurations: buildPlugin.recommendedConfigurations()) 94 -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты 96 Инсталляторы Docker -
© 2019 CloudBees, Inc. All Rights Reserved. OracleJDK / OpenJDK
Лицензионные соглашения... Новая политика в Oracle JDK 11+ https://www.oracle.com/technetwork/ja va/javase/overview/oracle-jdk-faqs.html Ограничения новых релизов OpenJDK 8 от Oracle 97 -
© 2019 CloudBees, Inc. All Rights Reserved. OpenJDK Jigsaw Team:
Собирайте OpenJDK сами Мы: • AdoptOpenJDK • RedHat JDK для CentOS • … Какой дистрибутив взять? 98 https://adoptopenjdk.net/ -
© 2019 CloudBees, Inc. All Rights Reserved. Jenkins & Docker.
Packaging https://hub.docker.com/r/jenkins/ AND https://hub.docker.com/r/jenkinsci 100 -
© 2019 CloudBees, Inc. All Rights Reserved. Docker Packaging Базовый
образ: https://hub.docker.com/_/openjdk/ 101 -
© 2019 CloudBees, Inc. All Rights Reserved. Docker Packaging Базовый
образ: https://hub.docker.com/_/openjdk/ • Поддерживается Docker, не Oracle • Отстает от релизов, особенно для EA • Нет образов для Arm & Co • Не рекомендовано OpenJDK Jigsaw Team • Непонятное будущее 102 -
© 2019 CloudBees, Inc. All Rights Reserved. Сборка Дистрибутивы Юнит-тесты
Статический анализ Интеграционные тесты 103 -
© 2019 CloudBees, Inc. All Rights Reserved. Ожидания Image: https://www.kdnuggets.com/2016/10/big
-data-science-expectation-reality.html 104 -
© 2019 CloudBees, Inc. All Rights Reserved. Ожидания Image: https://www.kdnuggets.com/2016/10/big
-data-science-expectation-reality.html Реальность 105 -
© 2019 CloudBees, Inc. All Rights Reserved. • Jenkins работает
на Java 11 • TLS 1.3 и улучшения “из коробки” • <1% распространение среди пользователей • Удалили экспериментальные опции (cgroups) • Обновили кодовую базу и зависимости Что получили? 106 -
© 2019 CloudBees, Inc. All Rights Reserved. Чего не хватало?
• Обновлённой Maven- экосистемы • Сканеров совместимости с Java 11 • Тулов для “правильного” апдейта зависимостей 107 -
© 2019 CloudBees, Inc. All Rights Reserved. Чего не хватало?
• Обновлённой Maven- экосистемы • Сканеров совместимости с Java 11 • Тулов для “правильного” апдейта зависимостей 108 -
© 2019 CloudBees, Inc. All Rights Reserved. • Java 11
- это серьёзно • Надо пробовать • Миграция возможна • Большая часть времени - CI и автотесты • Апдейт - Отличная возможность прочувствовать технический долг • Пробуйте тулы, если они есть Takeaways 109 -
© 2019 CloudBees, Inc. All Rights Reserved. Contacts: E-mail: [email protected]
GitHub: oleg-nenashev Twitter: @oleg_nenashev ВОПРОСЫ? 110