Як підготувати пакет даних FAIR
Пакет даних FAIR об'єднує дослідницькі дані, метадані, документацію та допоміжні файли в цілісну структуру, яку можна зрозуміти, перевірити, зберегти, опублікувати та повторно використовувати.
У цьому керівництві пояснюється, як визначити обсяг пакета, упорядкувати файли, підготувати файл README та маніфест, записати метадані та походження, умови доступу до документів та повторного використання, а також перевірити завершений пакет перед передачею до репозиторію.
Інформація про ресурс
Тип ресурсу
Покрокове керівництво з підготовки пакету даних FAIR
Цільові користувачі
Дослідники, автори наборів даних, куратори даних та розпорядники даних
Рекомендоване використання
Перед куруванням, депонуванням у репозиторій, публікацією або збереженням набору даних
Пов'язані результати
Організований, задокументований та внутрішньо узгоджений пакет дослідницьких даних
Що таке пакет даних FAIR?
Пакет даних FAIR – це організована колекція цифрових об'єктів, підготовлених таким чином, щоб набір даних можна було ідентифікувати, виявити, отримати до нього доступ за певних умов, інтерпретувати людьми та машинами, а також повторно використовувати поза межами початкового дослідницького проекту.
Пакет зазвичай поєднує дослідницькі файли зі структурованими метаданими, документацією, що читається людиною, описами на рівні файлів, технічною інформацією, походженням та заявами про доступ і повторне використання.
FAIR не означає, що кожен файл має бути відкрито доступним
Файли з обмеженим доступом або ембарго можуть бути частиною FAIR-орієнтованого пакета, якщо метадані залишаються доступними для виявлення, а умови та процедура отримання доступу чітко задокументовані.
Пакет — це більше, ніж просто папка з файлами
Файли
Дані дослідження, скрипти, файли конфігурації, моделі, візуалізації та допоміжні результати.
Документація
Файл README, методи, словники даних, протоколи та інструкції для розуміння та використання файлів.
Структуровані записи
Метадані набору даних, маніфест, походження, робочий процес та інформація про програмне середовище.
Умови
Статус доступу, ліцензія, власник прав, обмеження, посилання та контактна інформація.
Мінімальний та розширений пакет
Склад пакету залежить від типу даних, методу дослідження та необхідного рівня відтворюваності.
Мінімальний пакет
- файли основних дослідницьких даних;
README.mdабо еквівалентна документація;- маніфест файлу або інвентаризація;
- запис метаданих набору даних;
- ліцензійна або правана заява;
- інформація про доступ та контактна інформація.
Розширений пакет
- вхідні та проміжні дані;
- скрипти та файли конфігурації;
- запис програмного середовища;
- метадані робочого процесу та походження;
- докази контролю якості або валідації;
- словники даних та дисциплінарні метадані.
Робочий процес підготовки пакета даних FAIR
Створіть пакет у контрольованій послідовності від визначення області дії до остаточної перевірки.
1. Визначення
Визначте набір даних, область дії пакета, версію та відповідальних осіб.
2. Упорядкування
Упорядкуйте папки та файли, використовуючи чіткі назви та ролі.
3.Документування
Підготуйте файл README, маніфест, метадані та технічні записи.
4. Зв'язок
Записати походження та зв'язки між файлами та результатами дослідження результати.
5. Перевірити
Перевірити повноту, цілісність, узгодженість та готовність до публікації готовність.
Крок 1 — Визначення області дії пакета
Визначте, який набір даних або результат дослідження представляє пакет, перш ніж копіювати файли в кінцевий каталог. Пакет повинен відповідати одному чітко ідентифікованому цифровому об'єкту або навмисно визначеній колекції.
Питання для вирішення
- Який науковий результат або набір даних буде опубліковано?
- Які файли належать до цього пакету?
- Яка версія готується?
- Чи включені необроблені, оброблені та похідні дані?
- Які файли необхідні для інтерпретації або відтворення?
- Які файли будуть відкритими, обмеженими або виключеними?
- Хто затверджує остаточний пакет?
Крок 2. Інвентаризація доступних файлів
Створіть початкову інвентаризацію перед реорганізацією файлів. Інвентаризація допомагає виявити дублікати, застарілі версії, недокументовані формати та відсутні компоненти.
| Поле інвентаризації | Що записувати |
|---|---|
| Поточний шлях | Розташування файлу перед підготовкою пакета |
| Ім'я файлу | Поточна назва та запропонована остаточна назва |
| Роль файлу | Вхідні дані, необроблені дані, оброблені дані, похідні дані, вихідні дані, документація або програмне забезпечення |
| Формат | Формат файлу, розширення та необхідні поля програмне забезпечення |
| Версія | Версія файлу або моделі, де це доречно |
| Стан доступу | Відкритий, обмежений, заборонений або виключений |
| Дія | Включити, перейменувати, конвертувати, задокументувати, замінити або видалити |
Крок 3. Розробка структури папок
Використовуйте структуру папок, яка відображає наукові та технічні ролі файлів. Уникайте структур, що відтворюють шляхи до персональних комп'ютерів або тимчасову організацію проектів.
Приклад структури пакета
fair-data-package/
│
├── README.md
├── manifest.csv
├── metadata.json
│
├── data/
│ ├── raw/
│ ├── processed/
│ └── derived/
│
├── documentation/
│ ├── methods.md
│ └── data_dictionary.csv
│
├── скрипти/
│ └── process_data.py
│
├── конфігурація/
│ └── parameters.yml
│
├── середовище/
│ └── програмне_середовище.yml
│
├── походження/
│ └── provenance.json
│
└── якість/
└── звіт_про перевірку.pdfЧіткі ролі
Розділіть файли даних, документації, програмного забезпечення, конфігурації, походження та контролю якості.
Обмежена глибина
Уникайте надмірно глибоких ієрархій папок, які ускладнюють розуміння та підтримку шляхів.
Стабільні шляхи
Використовуйте відносні шляхи та дотримуйтесь їх узгодженості в README, маніфесті та структурованих записах.
Обізнаність про репозиторій
Перевірте, чи цільовий репозиторій зберігає папки чи представляє всі завантажені файли як один список файлів.
Крок 4. Застосуйте узгоджене найменування файлів
Назви файлів повинні залишатися зрозумілими поза оригінальним робочим середовищем і повинні розрізняти версії, зразки, дати або етапи обробки, де це необхідно.
Уникайте
final.csv
final_new.csv
results2_fixed.csv
data_from_PC_old.zip
Надавайте перевагу
sample01_raw_2026-07-15.csv
sample01_cleaned_v1.1.csv
sic_dft_total_energy_v1.csv
survey_responses_anonymised_v2.csv
- Використовуйте короткі, але змістовні назви.
- Використовуйте один шаблон іменування для всього пакета.
- Уникайте пробілів та нестабільної пунктуації, де це можливо.
- Використовуйте дати в стилі ISO, такі як
РРРР-ММ-ДД. - Представляйте версії послідовно.
- Не використовуйте такі слова, як
new,latestабоfinal-final. - Не перейменовуйте файли без оновлення маніфесту та документації.
Крок 5 — Підготовка README
Розмістіть README в кореневому каталозі пакета. Він має містити основне пояснення набору даних у зручному для людини вигляді та вести користувачів через пакет.
| Розділ README | Очікуваний вміст |
|---|---|
| Огляд набору даних | Назва, мета, обсяг та науковий контекст |
| Автори та контактна інформація | Відповідальні особи, установи та контактна інформація |
| Вміст пакета | Структура папок, групи файлів та основні файли |
| Методи | Як дані були зібрані, розраховані або оброблені |
| Технічні вимоги | Формати, програмне забезпечення, інструменти та залежності |
| Якість та обмеження | Валідація, невизначеність, виключення та відомі обмеження |
| Доступ та повторне використання | Умови доступу, ліцензія, цитування та обмеження |
| Пов'язані результати | Публікації, програмне забезпечення, проекти та пов'язані набори даних |
Крок 6 — Створення маніфесту
Маніфест — це структурований перелік файлів пакета. Він дозволяє перевірку на рівні файлів та підтримує автоматизовану обробку, перевірку цілісності та курування.
Рекомендовані поля маніфесту
шлях_до_файлуім'я_файлуроль_файлуописформатаботип_медіарозмір_байтівконтрольна_суммаалгоритм_контрольної_сумистатус_доступукрок_пов'язанняабо інше поле зв'язку
Крок 6 — Створення маніфесту
Маніфест — це структурований перелік файлів пакета. Він дозволяє перевірку на рівні файлів та підтримує автоматизовану обробку, перевірку цілісності та курування.
Рекомендовані поля маніфесту
шлях_до_файлуім'я_файлуроль_файлуописформатаботип_медіарозмір_байтівконтрольна_суммаалгоритм_контрольної_сумистатус_доступукрок_пов'язанняабо інше поле зв'язку
Крок 8 — Документування програмного забезпечення та середовища
Включіть інформацію, необхідну для відкриття, обробки або відтворення файлів. Рівень деталізації повинен відповідати технічній складності набору даних.
Можливі записи середовища
requirements.txtдля залежностей Python;environment.ymlдля середовища Conda;- посилання на зображення або визначення контейнера;
- таблиця версій програмного забезпечення та плагіна;
- інформація про операційну систему та платформу виконання;
- модель приладу та версія програмного забезпечення для збору даних;
- файли конфігурації та параметрів, що використовуються для обробки.
Крок 9 — Зафіксуйте походження та робочий процес
Задокументуйте, як основні об'єкти пакета були створені, перетворені або отримані. Це особливо важливо для обчислювальних, симуляційних, візуалізаційних та багатоетапних робочих процесів обробки.
| Елемент походження | Що документувати |
|---|---|
| Сутність | Вхід, проміжний елемент, вихід, набір даних, модель або програмний об'єкт |
| Діяльність | Експеримент, крок обробки, розрахунок, перетворення або валідація |
| Агент | Особа, організація, інструмент або програмне забезпечення, відповідальні за нього |
| Використано | Вхідні об'єкти, що використовуються діяльністю |
| Згенеровані | Об'єкти, створені діяльністю |
| Похідне від | Вихідний об'єкт, з якого походить інший об'єкт |
| Запис виконання | Дата, версія програмного забезпечення, параметри, статус та результат перевірки |
Крок 10 — Визначення умов доступу та повторного використання
Перегляньте пакет як на рівні набору даних, так і на рівні файлу. Різні файли в одному пакеті можуть вимагати різних умов доступу.
Інформація про доступ
- відкритий, обмежений, під ембарго або закритий;
- дата закінчення ембарго;
- причина обмеження;
- процедура запиту доступу;
- відповідальна особа.
Інформація про повторне використання
- власник прав;
- ліцензія або права заява;
- обов'язкове посилання на авторство;
- рекомендація щодо цитування;
- обмеження щодо третіх сторін.
Крок 11 — Перевірка завершеного пакета
Перевірте остаточну версію пакета, а не попередній робочий каталог.
| Область перевірки | Запитання |
|---|---|
| Повнота | Чи всі заявлені та необхідні файли присутні? |
| Цілісність файлів | Чи можна відкрити основні файли та чи відповідають контрольні суми? |
| Шляхи | Чи відповідають README, маніфест, метадані та шляхи робочого процесу пакету? |
| Узгодженість | Чи узгоджуються назва, автори, версія, ліцензія та статус доступу в різних записах? |
| Синтаксис | Чи є CSV, JSON, XML, YAML та інші структуровані файли дійсними? |
| Документація | Чи може дослідник поза початковою командою зрозуміти пакет? |
| Безпека | Чи видалено облікові дані, персональні дані та небажані конфіденційні файли? |
| Готовність репозиторію | Чи відповідає пакет вимогам цільового репозиторію? |
Заморозьте пакет перед створенням остаточних контрольних сум
Призначте версію пакета та створіть остаточні контрольні суми лише після того, як файли будуть перейменовані, виправлені та схвалені. Будь-яка наступна зміна файлу вимагає регенерації контрольної суми та ще однієї перевірки на узгодженість.
Поширені проблеми підготовки пакета
Нечітка область застосування
Пакет об'єднує непов'язані файли проекту, не визначаючи один набір даних або колекцію.
Депозит лише в архів
Усі файли приховані в одному архіві, хоча окремі файли можна було б описати та отримати до них доступ ефективніше.
Відсутня документація
Файли присутні, але їхні ролі, формати, змінні та методи не пояснені.
Невідповідність шляхів
Шляхи в маніфесті, README або записі робочого процесу не відповідають фактичному пакету.
Неконтрольовані версії
Кілька файлів позначено як остаточні, нові або виправлені без визначеної схеми версій.
Відсутнє походження
Вихідні дані включено без документування вхідних даних, програмного забезпечення або кроків обробки, які їх створили.
Невідповідність ліцензії
У репозиторії, файлі README та записі метаданих зазначено різні умови повторного використання умови.
Конфіденційний контент
Облікові дані, персональні дані або конфіденційна технічна інформація залишаються у файлах або метаданих.
Рекомендований метод роботи
Створіть пакет даних FAIR в окремому контрольованому каталозі, а не реорганізуйте єдину існуючу копію дослідницьких файлів. Зберігайте оригінальні вихідні матеріали, доки пакет не буде перевірено та схвалено.
Використовуйте шаблони README, маніфесту та метаданих разом. Оновлюйте всі три файли щоразу, коли файли додаються, видаляються, перейменовуються або замінюються.
Важливі примітки
- Підготуйте пакет для одного чітко визначеного набору даних або колекції.
- Зберігайте оригінальні вихідні файли, доки курований пакет не буде затверджено.
- Використовуйте відносні шляхи послідовно для всіх записів пакета.
- Не генеруйте остаточні контрольні суми, перш ніж файли будуть заморожені.
- Не включайте паролі, токени, закриті ключі або конфіденційні значення конфігурації.
- Перегляньте умови ліцензії та доступу окремо.
- Поясніть власні або спеціалізовані формати та надайте відкриті експорти, де це науково доцільно.
- Включіть лише файли, необхідні для розуміння, перевірки або повторного використання набору даних.
- Повторно запускайте попередню перевірку після кожної зміни остаточного пакета.
- Застосовуйте вимоги, специфічні для репозиторію, на додаток до цього загального керівництва.