Научно-технический журнал

«Автоматизация и информатизация ТЭК»

ISSN 2782-604X

Автоматизация и информатизация ТЭК
№ 2(595), Февраль 2023 г.
Назад в номер Заказать статью в электронной библиотеке
Переход от иерархической файловой модели к модели "плоский список", хранимой в колоночной базе данных, для геолого-геофизического архива

УДК: 004.652
DOI: 10.33285/2782-604X-2023-2(595)-20-24

Авторы:

СЛИНКИНА ЕЛЕНА ВАСИЛЬЕВНА1,
АПАРИН СЕМЕН НИКОЛАЕВИЧ1
1 Тюменский нефтяной научный центр, Тюмень, Россия

Ключевые слова: геолого-геофизические данные, иерархическая модель данных, плоская таблица, реляционная база данных, колоночная база данных, PostgreSQL, СlickHouse

Аннотация:

В статье описывается текущая модель данных хранения файлов в архиве геолого-геофизической информации. Архив хранит информацию по следующим уровням: организации, владеющие данными, месторождения, скважины, типы исследований и даты их проведения. Описываются недостатки иерархической модели данных при хранении и обращении к файлам, имеющим несколько связей с уровнями. Предлагается дополнить текущую модель хранения плоским списком, размещенным в базе данных. Каждая запись будет представлять собой связь файла и уровня в архиве. Данный подход позволит реализовать мультиобъектую привязку файлов, а также быстрый атрибутивный поиск по файлам в архиве. Проведен анализ выбора базы данных для хранения плоского списка связей файлов. Исследовалось время выполнения запросов для получения одинаковых данных из разных баз данных. Запросы выполнялись в реляционной базе данных PostgreSQL и колоночной базе данных ClickHouse. Опытным путем было подтверждено, что для хранения структуры данных "плоский список" наиболее подходит база данных, основанная на OLAP-технологии, – ClickHouse.

Список литературы:

1. Hesselink W.H., Lali M.I. Formalizing a Hierarchical File System // Electronic Notes in Theoretical Computer Science. – 2009. – Vol. 259. – P. 67–85. – DOI: 10.1016/j.entcs.2009.12.018
2. Трубачева С.И. Особенности построения файловых систем // Вестн. Волжского ун-та им. В.Н. Татищева. – 2013. – № 4(22). – С. 97–104. – URL: https://cyberleninka.ru/article/n/osobennosti-postroeniya-faylovyh-sistem (дата обращения 13.10.2022).
3. PostgreSQL Documentation. – URL: https://www.postgresql.org/docs/ (дата обращения 13.10.2022).
4. ClickHouse. The Open Source OLAP database management system. – URL: https://clickhouse.com/clickhouse (дата обращения 13.10.2022).
5. ClickHouse. ClickHouse Docs and Knowledge Base. – URL: https://clickhouse.com/docs/en/home/ (дата обращения 13.10.2022).