Технічна інтероперабельність в EOSC

Документ “Technical interoperability in the EOSC Federation and initial gap analysis” підготовлено в межах роботи EOSC Association Interoperability Task Force (Technical & Semantic Interoperability) і присвячено практичному питанню: яких саме технічних умов бракує, щоб EOSC Federation працювала для дослідника як справді “єдина” інфраструктура, а не набір розрізнених сервісів і репозитаріїв. В анотації підкреслено, що бачення EOSC Federation залежить від високого рівня технічної інтероперабельності між нодами, і що поточні базові можливості (AAI та каталоги) є необхідною, але недостатньою основою для сучасних міждисциплінарних сценаріїв.

Контекст: як у документі визначено EOSC Federation і її “будівельні блоки”

У розділі “Background and context” EOSC Federation описано як “system of systems” — систему систем, що поєднує різні дослідницькі інфраструктури через EOSC Nodes і створює умови для безпечного спільного використання FAIR-даних та сервісів між інституціями і країнами.
Архітектура на високому рівні складається з трьох компонентів: (1) EOSC Nodes, (2) Federating Capabilities (федеративні спроможності, які “вмикаються” кооперацією нод), і (3) Interfaces (API та схеми метаданих), які з’єднують сервіси нод із федеративними спроможностями та мають узгоджуватися з вимогами EOSC Interoperability Framework (EOSC IF).

Figure 2.1 — High-level EOSC Federation Architecture

Окремо деталізовано архітектуру ноди: кожна нода має Core Capabilities (зокрема AAI, helpdesk, моніторинг, каталоги ресурсів) та Node Resources, що поділяються на загальні (generic), доменно-специфічні (research resources) і підмножину “Node Exchange” — те, чим нода ділиться з федерацією.

У документі зазначено також стартовий набір федеративних спроможностей, які на етапі build-up надаються переважно через EOSC EU Node: обов’язкові — федеративний каталог ресурсів і федеративна AAI; рекомендовані — оркестрація робочих процесів, моніторинг, облік/акаунтинг, інтеграція helpdesk та управлінські системи.
EOSC IF у цьому контексті трактується як набір Interoperability Guidelines, Interoperability Registry і механізмів управління (governance), що забезпечують узгоджену роботу компонентів федерації.

Метод: на чому базується “gap analysis”

Ключова цінність документа — у тому, що розриви (gaps) визначено не “від архітектури”, а від потреб користувачів: автори аналізують, що сьогодні можливо, і що потрібно, аби ноди могли співпрацювати в реальних наукових сценаріях.
Доказова база включає 82 use cases і 70 user stories; зазначено, що кейси не є статистично репрезентативними для всієї майбутньої аудиторії EOSC, але дозволяють надійно ідентифікувати повторювані потреби.
Збір вимог відбувався у трьох кампаніях: від Pilot Nodes (EOSC Beyond), ширшої аудиторії під час EOSC Winter School 2025, а також від технічних експертів і представників великих наукових спільнот у межах Task Force.

Щоб “приземлити” проблему, документ наводить показові доменні сюжети. Наприклад, у Life Sciences акцент зроблено на великі обсяги даних (теробайти на добу з одного мікроскопа), потребу поєднувати публічні й приватні дані в одному обчислювальному середовищі та бар’єри доступу до чутливих біомедичних даних у trusted environments.
Для Photon & Neutron facilities описано проблему багатоджерельних теро-/петабайтних наборів, складних форматів і метаданих, дефіцит платформи для обробки та затримки публікацій через ручні інтеграційні операції.
В Astronomy/Astrophysics показано “еталонний” приклад стандартизації через IVOA та вимогу мінімізувати переміщення даних (принцип “bring the code to the data”), включно з контейнеризацією й оркестрацією робочих процесів у розподіленому середовищі.

Виявлені прогалини: що саме “не зшито” у федерації

Узагальнений перелік прогалин охоплює: метадані й пошук, гармонізацію та інтеграцію даних, виявлення сервісів і сумісність API, федеративну AAI, управління життєвим циклом і збереженням даних (включно з PID), управління ресурсами та алокаціями, підтримку/навчання, а також управління і політики (включно з чутливими даними та відповідністю регуляторним вимогам).

Пропозиція: які нові “federating capabilities” потрібні

На основі gap analysis запропоновано пріоритетний набір нових федеративних спроможностей: (1) інтероперабельність даних і метаданих через radical transparency, (2) federated resource discovery, (3) federated access and reuse of services, (4) federated compute and storage for data analysis, (5) file/data sync & share, (6) large-scale data transfers, (7) AI tools to support interoperability.

Найбільш “концептуальною” пропозицією є radical transparency: автори прямо зазначають, що прозорість не замінює інтероперабельність, але є її передумовою — вона дозволяє перейти від дискусій “на думках” до керованого поліпшення на підставі вимірюваних розбіжностей. Пропонується мінімальний нормативний шар: веб-опис цифрових активів і фіксація їхньої технічної відповідності (conformity), а також інструменти валідації й моніторингу таких декларацій.
У прив’язці до SRIA/MAR наведено приклади “мінімальних правил” прозорості: використання PID, контрольованих словників, відкритих форматів, provenance-метаданих тощо.

Для federated discovery документ пропонує еволюцію від централізованого пошуку в EOSC Resource Catalogue до федерації каталогів, які здатні працювати з різними схемами метаданих і дисциплінарною специфікою. Тут же запропоновано Common Data Model (CDM): невелике “ядро” спільних полів плюс розширення для доменних метаданих і контрольованих словників, щоб забезпечити одночасно сумісність і “багатство” опису.

Для повторного використання сервісів запропоновано розробити Shared Access Policies Model (узгоджена модель політик доступу), а також посилити EOSC IF так, щоб підтримувати machine-composability (машинну композицію) сервісів і датасетів через конфігурації interoperability guidelines.
Для обчислень і сховищ рекомендовано спільні архітектурні “blueprints”, розвиток підходів “bring code to data”, оркестрацію контейнерів і інтелектуальний брокеринг ресурсів; також прямо вказано потребу у федеративній системі Credit & Order Management для справедливого розподілу й моніторингу споживання ресурсів між нодами.
Для колаборації пропонується рекомендувати EFSS (сервіси синхронізації/спільного доступу до файлів) як базову федеративну послугу для нод, а для великих переміщень — Bulk Data Transfer, який має вміти “перекладати” PID у реальні кінцеві точки доступу та інтегруватися з федеративним каталогом.

Окремий блок присвячено AI/LLM як інструментам підсилення інтероперабельності: автоматизована генерація документації, schema crosswalks, створення/лінкування контрольованих словників, мультимовність пошуку; водночас наголошено на потребі бенчмарків, простежуваності джерел FAIR-даних у моделях і інтеграції AI-підходів у реєстри та каталоги.

Вихід у дорожню карту: зв’язок із SRIA і “що робити далі”

Документ синхронізує рекомендації з SRIA, яка виділяє сім технічних викликів (identifiers; metadata & ontologies; FAIR metrics & certification; AAI; user environments; provider environments; EOSC IF) і пропонує включити відповідні дії до наступного циклу Multi-Annual Roadmap (MAR).

У розділі “Conclusions and next steps” запропоновано чотирикроковий план: валідація зі стейкхолдерами, специфікація і прототипування, узгодження з Federation Handbook/IF/Build-up Group та розвитком EOSC EU Node (включно з пропозицією ревізії EOSC IF) і тестування на кейсах кандидатних нод з подальшим масштабуванням.