[SnowOne 2025] Александр Чесноков: "Мудрость из прошлого: как реанимировать забытые проекты"

В мире open source огромное количество проектов со временем перестают развиваться и уходят в забвение. Однако среди них есть ценные инструменты, которые не так удобны в сборке, запуске и поддержке. В докладе расскажу, как вдохнуть в них новую жизнь на примере библиотеки для анализа нотной музыки jSymbolic2.

Разберем, какие проблемы приводят к «смерти» проекта, а также подход к системной реанимации с использованием современных инструментов, который позволяет не только улучшить качество и облегчить поддержку кода, но и оптимизировать его производительность.

Видео: https://youtu.be/CibBBV3CRfo

Transcript

1. Александр Чесноков МФТИ x СберТех chesnokoff239@gmail.com Мудрость из прошлого: как реанимировать забытые проекты
2. 2 2 Open Source
3. 3 3 Open Source — океан возможностей
4. 4 4 Open Source — океан возможностей
5. 5 5
6. 6 6 Звездочки как удачная метрика оценки проекта
7. 7 7 Звездочки как НЕудачная метрика оценки проекта 4.5 Million (Suspected) Fake Stars in GitHub: A Growing Spiral of Popularity Contests, Scams, and Malware Hao He, Haoqin Yang, Philipp Burckhardt, Alexandros Kapravelos, Bogdan Vasilescu, Christian Kästner, 2024. arXiv:2412.13459
8. 8 8 Звездочки как НЕудачная метрика оценки проекта 6 млрд Обработанных событий 20 ТБ Данных 4.5 Million (Suspected) Fake Stars in GitHub: A Growing Spiral of Popularity Contests, Scams, and Malware Hao He, Haoqin Yang, Philipp Burckhardt, Alexandros Kapravelos, Bogdan Vasilescu, Christian Kästner, 2024. arXiv:2412.13459
9. 9 9 Звездочки как НЕудачная метрика оценки проекта 22915 Сомнительных репозиториев 6 млрд Обработанных событий 20 ТБ Данных 15835 Сомнительных аккаунтов 4.5 Million (Suspected) Fake Stars in GitHub: A Growing Spiral of Popularity Contests, Scams, and Malware Hao He, Haoqin Yang, Philipp Burckhardt, Alexandros Kapravelos, Bogdan Vasilescu, Christian Kästner, 2024. arXiv:2412.13459
10. 10 10 Звездочки как НЕудачная метрика оценки проекта 3.1млн Фейковых звезд 22915 Сомнительных репозиториев 6 млрд Обработанных событий 20 ТБ Данных 15835 Сомнительных аккаунтов 4.5 Million (Suspected) Fake Stars in GitHub: A Growing Spiral of Popularity Contests, Scams, and Malware Hao He, Haoqin Yang, Philipp Burckhardt, Alexandros Kapravelos, Bogdan Vasilescu, Christian Kästner, 2024. arXiv:2412.13459
11. 11 11 Время жизни проекта 3113 Java проектов 2016 Год сбора статистики 2009 Год создания репозитория
12. 12 12 Статистика по проектам на GitHub Aseel Aldabjan, Robert Haines, Caroline Jay "How Should We Measure the Relationship Between Code Quality and Software Sustainability? " // CEUR Workshop Proceedings, Vol. 1686, 2016.
13. 13 13 Статистика по проектам на GitHub Aseel Aldabjan, Robert Haines, Caroline Jay "How Should We Measure the Relationship Between Code Quality and Software Sustainability? " // CEUR Workshop Proceedings, Vol. 1686, 2016.
14. 14 14 Однодневные проекты Жизненные причины завершения проектов
15. 15 15 Однодневные проекты Жизненные причины завершения проектов Проект завершил свою миссию
16. 16 16 Однодневные проекты Жизненные причины завершения проектов Проект завершил свою миссию Бесполезность проекта
17. 17 17 Однодневные проекты Жизненные причины завершения проектов Мейнтейнера уволили Проект завершил свою миссию Бесполезность проекта
18. 18 18 Однодневные проекты Жизненные причины завершения проектов Мейнтейнера уволили Проект завершил свою миссию Бесполезность проекта У мейнтейнера родились дети
19. 19 19 Однодневные проекты Жизненные причины завершения проектов Мейнтейнера уволили Проект завершил свою миссию Бесполезность проекта У мейнтейнера родились дети Мейнтейнер скончался
20. 20 20 Количество строк кода Технические причины завершения проектов
21. 21 21 Количество строк кода Технические причины завершения проектов The ratio of time spent reading vs. writing is well over 10:1 Robert Cecil Martin
22. 22 22 Количество строк кода Технические причины завершения проектов Сильная зависимость объектов между собой
23. 23 23 Количество строк кода Технические причины завершения проектов Сильная зависимость объектов между собой High Cohesion & Low Coupling
24. 24 24 Количество строк кода Технические причины завершения проектов Сильная зависимость объектов между собой Мало документации
25. 25 25 Количество строк кода Технические причины завершения проектов Сильная зависимость объектов между собой Мало документации
26. 26 26 Количество строк кода Технические причины завершения проектов Сложная сборка проектов Сильная зависимость объектов между собой Мало документации
27. 27 27 Количество строк кода Технические причины завершения проектов Сложная сборка проектов Сильная зависимость объектов между собой Мало документации Мало тестов
28. 28 28 Количество строк кода Технические причины завершения проектов Сложная сборка проектов Сильная зависимость объектов между собой Мало документации Мало тестов Legacy code is simply code without tests Michael Feathers
29. 29 29 Количество строк кода Технические причины завершения проектов Сложная сборка проектов Сильная зависимость объектов между собой Мало документации Мало тестов Устаревшие технологии
30. 30 30 Сокровища где-то на глубине
31. 31 jSymbolic
32. 32 32 jSymbolic by Cory McKay, 2008 https://www.music.mcgill.ca/~cmckay/ Dr. Cory McKay
33. 33 33 jSymbolic by Cory McKay https://jmir.sourceforge.net/jSymbolic.html • Pitch Statistics • Melodies and Horizontal Intervals • Chords and Vertical Intervals • Rhythm Instrumentation • Texture • Dynamics
34. 34 34 jMIR by Cory McKay • ACE 2 • ACE XML • jAudio 2 • jLyrics • jMei2Midi • jMIRUtilities • jMusicMetaManager • jProductionCritic • jSongMiner • jSymbolic 2 • jWebMiner 2
35. 35 35 MIDI
36. 36 36 MIDI
37. 37 37 Демо
38. 38 38 Number of Pitches Число уникальных звуковых частот Easy Извлекаемые характеристики
39. 39 39 Electric Guitar Prevalence Доля всех нажатий клавиш, выполненных на электрогитарных инструментах Number of Pitches Число уникальных звуковых частот Easy Извлекаемые характеристики Medium
40. 40 40 Electric Guitar Prevalence Доля всех нажатий клавиш, выполненных на электрогитарных инструментах Number of Pitches Число уникальных звуковых частот Prevalence Ratio of Two Most Common Vertical Intervals Сравнение частоты второго по популярности вертикального интервала с частотой самого популярного интервала Easy Hard Извлекаемые характеристики Medium
41. 41 41 Nightmare
42. 42 42 Научная составляющая 220 Цитирований 13 Индекс Хирша
43. 43 43 Метрика jSymbolic music21 musif Avg CPU Time (s) 2.20 55.3 66.30 Avg Real Time (s) 1.98 4.72 5.62 Avg RAM (GB) 7.97 7.12 9.10 Max RAM (GB) 16.1 9.87 14.2 Сравнение с аналогами Optimizing Feature Extraction for Symbolic Music Federico Simonetta, Ana Llorens, Martín Serrano, Eduardo García-Portugués, Álvaro Torrente (2023)
44. 44 44 Optimizing Feature Extraction for Symbolic Music Federico Simonetta, Ana Llorens, Martín Serrano, Eduardo García-Portugués, Álvaro Torrente (2023) Метрика jSymbolic music21 musif Avg CPU Time (s) 2.20 55.3 66.30 Avg Real Time (s) 1.98 4.72 5.62 Avg RAM (GB) 7.97 7.12 9.10 Max RAM (GB) 16.1 9.87 14.2 Сравнение с аналогами x25 Speed Up
45. 45 45 Optimizing Feature Extraction for Symbolic Music Federico Simonetta, Ana Llorens, Martín Serrano, Eduardo García-Portugués, Álvaro Torrente (2023) Метрика jSymbolic music21 musif Avg CPU Time (s) 2.20 55.3 66.30 Avg Real Time (s) 1.98 4.72 5.62 Avg RAM (GB) 7.97 7.12 9.10 Max RAM (GB) 16.1 9.87 14.2 Сравнение с аналогами x2 RAM
46. 46 46 Отзывы пользователей
47. 47 47 Отзывы пользователей 2012 год • Java 7 • Ant
48. 48 48 Отзывы пользователей 2012 год • Java 7 • Ant 2025 год • Java 23 • Gradle • CI/CD (GitHub Actions)
49. 49 49
50. 50 50 if (((MetaMessage) message).getType() == 0x58) { ((LinkedList) overall_metadata[1]).add(new Integer((int) (data[0] & 0xFF))); ((LinkedList) overall_metadata[2]).add( new Integer((int) (1 << (data[1] & 0xFF)))); }
51. 51 51 if (((MetaMessage) message).getType() == 0x58) { ((LinkedList) overall_metadata[1]).add(new Integer((int) (data[0] & 0xFF))); ((LinkedList) overall_metadata[2]).add( new Integer((int) (1 << (data[1] & 0xFF)))); } IT’S MAGIC
52. 52 52 if (((MetaMessage) message).getType() == 0x58) { ((LinkedList) overall_metadata[1]).add(new Integer((int) (data[0] & 0xFF))); ((LinkedList) overall_metadata[2]).add( new Integer((int) (1 << (data[1] & 0xFF)))); }
53. 53 53 public static List<String> extractAndSaveDefaultFeatures ( List<File> paths_of_files_or_folders_to_parse , String feature_values_save_path , String feature_definitions_save_path , boolean save_features_for_each_window , boolean save_overall_recording_features , double window_size, double window_overlap, boolean save_arff_file, boolean save_csv_file, PrintStream status_print_stream , PrintStream error_print_stream , boolean gui_processing )
54. 54 54 public static List<String> extractAndSaveDefaultFeatures ( List<File> paths_of_files_or_folders_to_parse , String feature_values_save_path , String feature_definitions_save_path , boolean save_features_for_each_window , boolean save_overall_recording_features , double window_size, double window_overlap, boolean save_arff_file, boolean save_csv_file, PrintStream status_print_stream , PrintStream error_print_stream , boolean gui_processing ) 12 аргументов
55. 55 55 public static List<String> extractAndSaveDefaultFeatures ( List<File> paths_of_files_or_folders_to_parse , String feature_values_save_path , String feature_definitions_save_path , boolean save_features_for_each_window , boolean save_overall_recording_features , double window_size, double window_overlap, boolean save_arff_file, boolean save_csv_file, PrintStream status_print_stream , PrintStream error_print_stream , boolean gui_processing ) 12 аргументов
56. 56 56
57. 57 57 Система сборки Ant-iques
58. 58 58 Сборка проекта 1) git pull
59. 59 59 Сборка проекта 1) git pull 2) ant
60. 60 60 Сборка проекта 1) git pull 2) ant error: package mckay.utilities.staticlibraries does not exist error: package org.ddmal.jmei2midi does not exist error: package ace.datatypes does not exist …
61. 61 61 Сборка проекта 1) git pull 2) ant error: package mckay.utilities.staticlibraries does not exist error: package org.ddmal.jmei2midi does not exist error: package ace.datatypes does not exist … 1) git pull jmei2midi
62. 62 62 Сборка проекта 1) git pull 2) ant error: package mckay.utilities.staticlibraries does not exist error: package org.ddmal.jmei2midi does not exist error: package ace.datatypes does not exist … 1) git pull jmei2midi 2) Внешнее API отстреливает ногу
63. 63 63 Сборка проекта 1) git pull 2) ant error: package mckay.utilities.staticlibraries does not exist error: package org.ddmal.jmei2midi does not exist error: package ace.datatypes does not exist … 1) git pull jmei2midi 2) Внешнее API отстреливает ногу 3) Качаем зависимость ace.datatypes 4) Внешнее API отстреливает вторую ногу 5) ….
64. 64 64 ДА SCIENCE
65. 65 65 ДА НО SCIENCE LEGACY
66. 66 66 Рефакторим!
67. 67 Проверяем снаряжение
68. 68 https://www.youtube.com/watch?v=C5eD-K8AO3o Атомарный рефакторинг
69. 69 WORKING WITH LEGACY Больше тестов == больше уверенности что ничего не сломали Test Driven Development Не надо рефакторить все подряд. Нужно иметь план и придерживаться его Локальный рефакторинг Working Effectively with Legacy Code by Michael Feathers,September 2004 Publisher(s): Pearson
71. 71 СI/CD push Report Trigger
72. 72 72 SonarQube https://www.sonarsource.com
73. 73 Code duplication String code = "RT-13"; String name = "Average Note Duration" ; String description = "Average duration of notes (in seconds)." ; String code = "..."; String name = "..."; String description = "...";
74. 74 74 PMD
75. 75 75 PMD Program Metric Definition
76. 76 76 PMD Program Metric Definition Project Mess Detector
77. 77 77 PMD Program Metric Definition Project Mess Detector Programming Mistake Detector
78. 78 78 PMD Program Metric Definition Project Mess Detector Programming Mistake Detector Pretty Mary Dies
79. 79 79 PMD
80. 80 80 //MethodCall[ starts-with(@MethodName, 'print') ] /FieldAccess[ @Name = ('err', 'out') ] /TypeExpression[ pmd-java:typeIsExactly('java.lang.System') ] Создание правила
81. 81 81 <rule name="AvoidSystemPrintMethods" language="java" message="Avoid using System.out or System.err for printing; use a logger instead." class="net.sourceforge.pmd.lang.java.rule.XPathRule"> <properties> <property name="xpath"> <value> //MethodCall[ starts-with(@MethodName, 'print') ] /FieldAccess[ @Name = ('err', 'out') ] /TypeExpression[ pmd-java:typeIsExactly('java.lang.System') ] </value> </property> </properties> </rule>
82. 82 82 «Когда мера становится целью, она перестает быть хорошей мерой» Чарльз Гудхарт, главный советник по денежно-кредитной политике Банка Англии Метрики Закон Гудхарта
83. 83 Погружение в легаси
84. 84 84 Любитель • Нейминг • Извлечение методов • Извлечение классов Easy Рефакторинг
85. 85 85 Профи • Архитектура приложения • SOLID • Шаблоны проектирования Любитель • Нейминг • Извлечение методов • Извлечение классов Easy Рефакторинг Gang-of-Four enjoyer
86. 86 86 Профи • Архитектура приложения • SOLID • Шаблоны проектирования Любитель • Нейминг • Извлечение методов • Извлечение классов Гуру Easy <?> Рефакторинг Gang-of-Four enjoyer
87. 87 87 Профи • Архитектура приложения • SOLID • Шаблоны проектирования Любитель • Нейминг • Извлечение методов • Извлечение классов Гуру Easy Познал дзен Рефакторинг Gang-of-Four enjoyer
88. 88 88 Профи • Архитектура приложения • SOLID • Шаблоны проектирования Любитель • Нейминг • Извлечение методов • Извлечение классов Гуру • Видит общие паттерны существующего кода • Использует сторонние инструменты Easy Познал дзен Рефакторинг Gang-of-Four enjoyer
89. 89 Правим документацию /** * Extract this feature from the given sequence of MIDI data and its associated information. * @throws Exception Throws an informative exception if the feature cannot be calculated. */ @Override double[] extractFeature(...) throws Exception /** {@inheritDoc} */ @Override double[] extractFeature(...) throws Exception 256 Classes
90. 90 Определение зависимостей между фичами в jSymbolic String[] dependencies = new String[] {"Vertical Interval Histogram", "Chord Type Histogram"};
91. 91 91
92. 92 92 JavaParser https://javaparser.org Преобразование Анализ Генерация
93. 93 93 Абстрактное синтаксическое дерево CompilationUnit
94. 94 94 Абстрактное синтаксическое дерево CompilationUnit PackageDeclaration ClassOrInterfaceDeclaration SingleTypeImportDeclaration
95. 95 95 Абстрактное синтаксическое дерево CompilationUnit PackageDeclaration ClassOrInterfaceDeclaration SingleTypeImportDeclaration QualifiedNameExpr MethodDeclaration
96. 96 96 Абстрактное синтаксическое дерево CompilationUnit PackageDeclaration ClassOrInterfaceDeclaration SingleTypeImportDeclaration QualifiedNameExpr MethodDeclaration VoidType void NameExpr main Parameter String args BlockStmt System.out.println("Hello, SnowOne!")
97. 97 97 Правим документацию CompilationUnit unit = StaticJavaParser.parse(inputStream); ClassOrInterfaceDeclaration classDeclaration = unit.getClassByName(className); classDeclaration.getMethods().stream() .filter(methodDeclaration -> methodDeclaration.isAnnotationPresent(Override.class)) .forEach(methodDeclaration -> methodDeclaration.setJavadocComment("{@inheritDoc}"));
98. 98 98 Правим документацию CompilationUnit unit = StaticJavaParser.parse(inputStream); ClassOrInterfaceDeclaration classDeclaration = unit.getClassByName(className); classDeclaration.getMethods().stream() .filter(methodDeclaration -> methodDeclaration.isAnnotationPresent(Override.class)) .forEach(methodDeclaration -> methodDeclaration.setJavadocComment("{@inheritDoc}"));
99. 99 99 Правим документацию CompilationUnit unit = StaticJavaParser.parse(inputStream); ClassOrInterfaceDeclaration classDeclaration = unit.getClassByName(className); classDeclaration.getMethods().stream() .filter(methodDeclaration -> methodDeclaration.isAnnotationPresent(Override.class)) .forEach(methodDeclaration -> methodDeclaration.setJavadocComment("{@inheritDoc}"));
100. 100 100 Правим документацию CompilationUnit unit = StaticJavaParser.parse(inputStream); ClassOrInterfaceDeclaration classDeclaration = unit.getClassByName(className); classDeclaration.getMethods().stream() .filter(methodDeclaration -> methodDeclaration.isAnnotationPresent(Override.class)) .forEach(methodDeclaration -> methodDeclaration.setJavadocComment("{@inheritDoc}"));
101. 101 101 Анализируем код Set<String> dependencies = new HashSet() classDeclaration.findAll(FieldDeclaration.class).stream() .filter(f -> f.getVariables().get(0).getNameAsString().equals("dependencies")) .findFirst() .ifPresent(field -> { field.getVariables().get(0).getInitializer().ifPresent(init -> { if (init.isArrayInitializerExpr()) { init.asArrayInitializerExpr().getValues() .forEach(expr -> dependencies.put(expr.asStringLiteralExpr().getValue()); } }); });
102. 102 102 Анализируем код Set<String> dependencies = new HashSet<>(); classDeclaration.findAll(FieldDeclaration.class).stream() .filter(f -> f.getVariables().get(0).getNameAsString().equals("dependencies")) .findFirst() .ifPresent(field -> { field.getVariables().get(0).getInitializer().ifPresent(init -> { if (init.isArrayInitializerExpr()) { init.asArrayInitializerExpr().getValues() .forEach(expr -> dependencies.put(expr.asStringLiteralExpr().getValue()); } }); });
103. 103 103 Анализируем код Set<String> dependencies = new HashSet<>(); classDeclaration.findAll(FieldDeclaration.class).stream() .filter(f -> f.getVariables().get(0).getNameAsString().equals("dependencies")) .findFirst() .ifPresent(field -> { field.getVariables().get(0).getInitializer().ifPresent(init -> { if (init.isArrayInitializerExpr()) { init.asArrayInitializerExpr().getValues() .forEach(expr -> dependencies.add(expr.asStringLiteralExpr().getValue()); } }); });
104. 104 104 Анализируем код Set<String> dependencies = new HashSet<>(); classDeclaration.findAll(FieldDeclaration.class).stream() .filter(f -> f.getVariables().get(0).getNameAsString().equals("dependencies")) .findFirst() .ifPresent(field -> { field.getVariables().get(0).getInitializer().ifPresent(init -> { if (init.isArrayInitializerExpr()) { init.asArrayInitializerExpr().getValues() .forEach(expr -> dependencies.add(expr.asStringLiteralExpr().getValue()); } }); });
105. 105 105 Анализируем код Set<String> dependencies = new HashSet<>(); classDeclaration.findAll(FieldDeclaration.class).stream() .filter(f -> f.getVariables().get(0).getNameAsString().equals("dependencies")) .findFirst() .ifPresent(field -> { field.getVariables().get(0).getInitializer().ifPresent(init -> { if (init.isArrayInitializerExpr()) { init.asArrayInitializerExpr().getValues() .forEach(expr -> dependencies.add(expr.asStringLiteralExpr().getValue()); } }); });
106. 106 106 Граф зависимостей similar_motion_fraction SimilarMotionFeature
107. 107 107 Граф зависимостей rhytmic_value_of_each_note_in_quater_nots LongestRhytmicValueFeature MeanRhytmicValueFeature RhytmicValueSkewnessFeature RhytmicValueKurtosisFeature ShortestRhytmicValueFeature
108. 108 108 POCM VOPR VMF SAT VOF MIL TPP CF BMN TPB RV PSP TNQ RPGT BBN AROV DAS POC CSA VLS PSTS SFC DSA WVI CRM SRT NPQ IPB VLA SMC V POC MCV SMC PRTM
109. 109 109 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
110. 110 110 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
111. 111 111 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
112. 112 112 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
113. 113 113 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
114. 114 114 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
115. 115 115 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
116. 116 116 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
117. 117 117 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
118. 118 118 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
119. 119 119 Prevalence Ratio of Two Most Common Vertical Intervals Prevalence Of Most Common Vertical Interval Prevalence Of Second Most Common Vertical Interval Wrapped Vertical Interval Histogram Second Most Common Vertical Interval Most Common Vertical Interval
120. 120 120 Task Subtask Subtask Subtask Subtask Subtask Fork Join
121. 121 121 ForkJoinPool https://www.youtube.com/watch?v=t0dGLFtRR9c Алексей Шипилёв — ForkJoinPool в Java 8
122. 122 122 Counted Completers private final ConcurrentMap<String, CompletableFuture<double[]>> featuresResult; @Override public void compute() { List<Worker> workers = featureExtractor.getDependencies().stream() .filter(dep -> !map.containsKey(dep)) .map(dep -> map.computeIfAbsent(dep, k -> new CompletableFuture<>())) .map(future -> new Worker(this, midiRepresentation, featuresResult, name2feature.get(dep))) .collect(Collectors.toList()); addToPendingCount(workers.size()); workers.forEach(ForkJoinTask::fork); tryComplete(); }
123. 123 123 Counted Completers private final ConcurrentMap<String, CompletableFuture<double[]>> featuresResult; @Override public void compute() { List<Worker> workers = featureExtractor.getDependencies().stream() .filter(dep -> !map.containsKey(dep)) .map(dep -> map.computeIfAbsent(dep, k -> new CompletableFuture<>())) .map(future -> new Worker(this, midiRepresentation, featuresResult, name2feature.get(dep))) .collect(Collectors.toList()); addToPendingCount(workers.size()); workers.forEach(ForkJoinTask::fork); tryComplete(); }
124. 124 124 Counted Completers private final ConcurrentMap<String, CompletableFuture<double[]>> featuresResult; @Override public void compute() { List<Worker> workers = featureExtractor.getDependencies().stream() .filter(dep -> !map.containsKey(dep)) .map(dep -> map.computeIfAbsent(dep, k -> new CompletableFuture<>())) .map(future -> new Worker(this, midiRepresentation, featuresResult, name2feature.get(dep))) .collect(Collectors.toList()); addToPendingCount(workers.size()); workers.forEach(ForkJoinTask::fork); tryComplete(); }
125. 125 125 Counted Completers private final ConcurrentMap<String, CompletableFuture<double[]>> featuresResult; @Override public void compute() { List<Worker> workers = featureExtractor.getDependencies().stream() .filter(dep -> !map.containsKey(dep)) .map(dep -> map.computeIfAbsent(dep, k -> new CompletableFuture<>())) .map(future -> new Worker(this, midiRepresentation, featuresResult, name2feature.get(dep))) .collect(Collectors.toList()); addToPendingCount(workers.size()); workers.forEach(ForkJoinTask::fork); tryComplete(); }
126. 126 126 Counted Completers @Override public void onCompletion (CountedCompleter <?> caller) { double[][] dependencies = featureExtractor.getDependencies().stream() .map( dep -> map.get( dep).join()) .toArray(double[][]::new); double[] result = featureExtractor.extractFeature(midiRepresentation, dependencies); featuresResult .get(featureExtractor.getName()).complete( results); }
127. 127 127 Counted Completers @Override public void onCompletion (CountedCompleter <?> caller) { double[][] dependencies = featureExtractor.getDependencies() .stream() .map( dep -> map.get( dep).join()) .toArray(double[][]::new); double[] result = featureExtractor.extractFeature(midiRepresentation, dependencies); featuresResult .get(featureExtractor.getName()).complete( results); }
128. 128 128 Counted Completers @Override public void onCompletion (CountedCompleter <?> caller) { double[][] dependencies = featureExtractor.getDependencies().stream() .map( dep -> map.get( dep).join()) .toArray(double[][]::new); double[] result = featureExtractor.extractFeature(midiRepresentation, dependencies); featuresResult .get(featureExtractor.getName()).complete( results); }
129. 129 129 Counted Completers @Override public void onCompletion (CountedCompleter <?> caller) { double[][] dependencies = featureExtractor.getDependencies().stream() .map( dep -> map.get( dep).join()) .toArray(double[][]::new); double[] result = featureExtractor.extractFeature(midiRepresentation, dependencies); featuresResult.get(featureExtractor.getName()).complete(results); }
130. 130 Выплываем на поверхность
131. 131 131 Итоги Внедрение CI/CD
132. 132 132 Итоги Внедрение CI/CD Внедрение Gradle Сборка одной командой
133. 133 133 Покрытие тестами 20% -> 80% Итоги Внедрение CI/CD Внедрение Gradle Сборка одной командой
134. 134 134 Покрытие тестами 20% -> 80% Итоги Внедрение CI/CD Дублирование кода 30% -> 20% Внедрение Gradle Сборка одной командой
135. 135 135 Покрытие тестами 20% -> 80% Итоги Внедрение CI/CD Дублирование кода 30% -> 20% Ускорение на 20-40% Внедрение Gradle Сборка одной командой
136. 136 136
137. 137 137 Покрытие тестами 20% -> 80% Итоги Внедрение CI/CD Дублирование кода 30% -> 20% Ускорение на 20-40% Внедрение Gradle Сборка одной командой GitHub user friendly
138. 138 138
139. 139 139 ПИШИТЕ КАЧЕСТВЕННЫЙ КОД
140. 140 140 ПИШИТЕ КАЧЕСТВЕННЫЙ КОД РЕФАКТОРИТЕ С УМОМ
141. Александр Чесноков МФТИ x СберТех chesnokoff239@gmail.com Благодарю за внимание https://github.com/chesnokoff/jSymbolic