Для чего выполняется моделирование данных?

Моделирование данных является основной дисциплиной управления данными. Обеспечивая визуальное представление наборов данных и их бизнес-контекста, он помогает точно определить потребности в информации для различных бизнес-процессов. Затем он определяет характеристики элементов данных, которые будут включены в приложения и в структуры базы данных или файловой системы, используемые для обработки, хранения и управления данными.

Эта статья является частью

Моделирование данных также может помочь установить общие определения данных и внутренние стандарты данных, часто в связи с программами управления данными. Кроме того, он играет большую роль в процессах архитектуры данных, которые документируют активы данных, отображают, как данные перемещаются через ИТ-системы, и создают концептуальную структуру управления данными. Модели данных являются ключевым компонентом архитектуры данных, наряду с диаграммами потоков данных, архитектурными чертежами, унифицированным словарем данных и другими артефактами.

Традиционно модели данных создавались специалистами по моделированию данных, архитекторами данных и другими специалистами по управлению данными при участии бизнес-аналитиков, руководителей и пользователей. Но моделирование данных теперь также является важным навыком для специалистов по данным и аналитиков, занимающихся разработкой приложений бизнес-аналитики, а также более сложных приложений для науки о данных и расширенной аналитики.

Какие существуют типы моделей данных?

Разработчики моделей данных

используют три типа моделей для отдельного представления бизнес-концепций и рабочих процессов, соответствующих объектов данных и их атрибутов и отношений, а также технических структур для управления данными. Модели обычно создаются по мере того, как организации планируют новые приложения и базы данных. Вот различные типы моделей данных и что они включают:

1. Концептуальная модель данных . Это высокоуровневая визуализация бизнес-процессов или аналитических процессов, которые будет поддерживать система. Он отображает виды необходимых данных, взаимосвязь различных бизнес-объектов и связанные с ними бизнес-правила. Руководители предприятий являются основной аудиторией концептуальных моделей данных, которые помогают им увидеть, как система будет работать, и убедиться, что она соответствует потребностям бизнеса. Концептуальные модели не привязаны к конкретным базам данных или прикладным технологиям.
2. Логическая модель данных. После завершения концептуальной модели данных ее можно использовать для создания менее абстрактной логической модели. Логические модели данных показывают, как связаны объекты данных, и описывают данные с технической точки зрения. Например, они определяют структуры данных и предоставляют подробную информацию об атрибутах, ключах, типах данных и других характеристиках. Техническая сторона организации использует логические модели, чтобы помочь понять необходимые проекты приложений и баз данных. Но, как и концептуальные модели, они не связаны с конкретной технологической платформой.
3. Физическая модель данных. Логическая модель служит основой для создания физической модели данных. Физические модели специфичны для системы управления базами данных (СУБД) или прикладного программного обеспечения, которое будет реализовано. Они определяют структуры, которые база данных или файловая система будут использовать для хранения данных и управления ими. Сюда входят таблицы, столбцы, поля, индексы, ограничения, триггеры и другие элементы СУБД. Разработчики баз данных используют физические модели данных для создания проектов и схем баз данных.

Эти три типа моделей данных подходят друг другу как часть общего процесса моделирования.

Методы моделирования данных

Моделирование данных появилось в 1960-х годах, когда базы данных стали более широко использоваться на мейнфреймах, а затем и на миникомпьютерах. Это позволило организациям привнести согласованность, воспроизводимость и дисциплинированное развитие в обработку данных и управление ими. Это все еще так, но методы, используемые для создания моделей данных, развивались вместе с развитием новых типов баз данных и компьютерных систем.

Это подходы к моделированию данных, которые наиболее широко использовались на протяжении многих лет, включая несколько, которые были в значительной степени вытеснены более новыми методами.

1. Иерархическое моделирование данных

Иерархические модели данных организуют данные в виде дерева родительских и дочерних записей. У дочерней записи может быть только один родитель, что делает этот метод моделирования «один ко многим». Иерархический подход зародился в базах данных мэйнфреймов — самый известный пример — IBM Information Management System (IMS). Хотя иерархические модели данных в основном были вытеснены реляционными, начиная с XIX в.В 80-х годах IMS по-прежнему доступна и используется многими организациями. Подобный иерархический метод также используется сегодня в XML, официально известном как Extensible Markup Language.

2. Моделирование сетевых данных

Это также был популярный вариант моделирования данных в базах данных мэйнфреймов, который сейчас используется не так часто. Сетевые модели данных расширены за счет иерархических моделей, позволяя дочерним записям быть связанными с несколькими родительскими записями. Конференция по языкам систем данных, ныне несуществующая группа технических стандартов, обычно называемая CODASYL, приняла спецификацию модели сетевых данных в 1969. По этой причине сетевой метод часто называют моделью CODASYL.

3. Моделирование реляционных данных

Реляционная модель данных создавалась как более гибкая альтернатива иерархической и сетевой. Реляционная модель, впервые описанная в технической статье 1970 года исследователем IBM Эдгаром Ф. Коддом, отображает отношения между элементами данных, хранящимися в разных таблицах, содержащих наборы строк и столбцов. Реляционное моделирование подготовило почву для развития реляционных баз данных, и их широкое распространение сделало его доминирующим методом моделирования данных к середине 19 века.90-е.

4. Моделирование данных «сущность-связь»

Разновидность реляционной модели, которую также можно использовать с другими типами баз данных, модели сущность-связь (ER) визуально отображают сущности, их атрибуты и отношения между различными сущностями. Например, атрибуты объекта данных о сотрудниках могут включать фамилию, имя, количество лет работы и другие соответствующие данные. Модели ER обеспечивают эффективный подход к процессам сбора и обновления данных, что делает их особенно подходящими для приложений обработки транзакций.

Это модель данных «сущность-связь», созданная на основе образца базы данных Microsoft AdventureWorks.

5. Моделирование размерных данных

Многомерные модели данных в основном используются в хранилищах данных и витринах данных, которые поддерживают приложения бизнес-аналитики. Они состоят из таблиц фактов, содержащих данные о транзакциях или других событиях, и таблиц измерений, в которых перечислены атрибуты сущностей в таблицах фактов. Например, таблица фактов может детализировать покупки продуктов клиентами, а связанные таблицы измерений содержат данные о продуктах и ​​клиентах. Известными типами многомерных моделей являются схемы «звезда», которые соединяют таблицу фактов с различными таблицами измерений, и схемы «снежинка», которые включают несколько уровней таблиц измерений.

Эта многомерная модель данных была создана на основе образца базы данных Microsoft AdventureWorks.

6. Объектно-ориентированное моделирование данных

По мере развития объектно-ориентированного программирования в 1990-х годах и создания поставщиками программного обеспечения объектных баз данных также возникло объектно-ориентированное моделирование данных. Объектно-ориентированный подход похож на метод ER в том, как он представляет данные, атрибуты и отношения, но он абстрагирует сущности в объекты. Различные объекты с одинаковыми атрибутами и поведением можно сгруппировать в классы, а новые классы могут наследовать атрибуты и поведение существующих. Но объектные базы данных остаются нишевой технологией для конкретных приложений, что ограничивает использование объектно-ориентированного моделирования.

Это пример графовой модели данных с узлами, соединенными ребрами.

7. Моделирование графических данных

Графовая модель данных является более современным ответвлением сетевых и иерархических моделей. Обычно в паре с базами данных графов он часто используется для описания наборов данных, содержащих сложные отношения. Например, графовое моделирование данных является популярным подходом в социальных сетях, механизмах рекомендаций и приложениях для обнаружения мошенничества. Модели данных графа свойств являются распространенным типом — в них узлы, которые представляют объекты данных и документируют их свойства, связаны отношениями, также известными как ребра или ссылки, которые определяют, как разные узлы связаны друг с другом.

Что такое процесс моделирования данных?

В идеале концептуальные, логические и физические модели данных создаются в последовательном процессе, в котором участвуют члены группы управления данными и бизнес-пользователи. Вклад руководителей предприятий и рабочих особенно важен на этапах концептуального и логического моделирования. В противном случае модели данных могут не полностью отражать бизнес-контекст данных или удовлетворять информационные потребности организации.

Как правило, специалист по моделированию данных или архитектор данных инициирует проект моделирования, опрашивая заинтересованные стороны бизнеса для сбора требований и сведений о бизнес-процессах. Бизнес-аналитики также могут помочь разработать как концептуальную, так и логическую модели. В конце проекта физическая модель данных используется для передачи конкретных технических требований разработчикам баз данных.

Питер Эйкен, консультант по управлению данными и адъюнкт-профессор информационных систем в Университете Содружества Вирджинии, во время вебинара Dataversity 2019 года перечислил следующие шесть шагов для проектирования модели данных:

• Определите бизнес-объекты, представленные в наборе данных.
• Определите ключевые свойства для каждой сущности, чтобы различать их.
• Создайте черновой вариант модели сущность-связь, чтобы показать, как связаны сущности.
• Определите атрибуты данных, которые необходимо включить в модель.
• Сопоставьте атрибуты с сущностями, чтобы проиллюстрировать значение данных для бизнеса.
• Завершите работу над моделью данных и проверьте ее точность.

Даже после этого процесс обычно не завершается: модели данных часто необходимо обновлять и пересматривать по мере изменения активов данных организации и потребностей бизнеса.

Это шесть шагов, которые необходимо выполнить при разработке модели данных.

Преимущества и проблемы моделирования данных

Хорошо спроектированные модели данных помогают организации разработать и внедрить стратегию данных, которая использует все преимущества ее данных. Эффективное моделирование данных также помогает гарантировать, что отдельные базы данных и приложения содержат правильные данные и разработаны в соответствии с бизнес-требованиями по обработке данных и управлению ими.

Другие преимущества моделирования данных включают следующее:

• Внутреннее соглашение по определениям данных и стандартам. Моделирование данных поддерживает усилия по стандартизации определений данных, терминологии, концепций и форматов в масштабах всего предприятия.
• Расширение участия бизнес-пользователей в управлении данными. Поскольку моделирование данных требует участия бизнеса, оно поощряет сотрудничество между группами управления данными и заинтересованными сторонами, что в идеале приводит к улучшению систем.
• Более эффективная разработка базы данных при меньших затратах. Предоставляя разработчикам баз данных детальный план для работы, моделирование данных оптимизирует их работу и снижает риск ошибок проектирования, которые потребуют пересмотра позже в процессе.
• Более эффективное использование доступных данных. В конечном счете, хорошее моделирование данных позволяет организациям более продуктивно использовать свои данные, что может привести к повышению эффективности бизнеса, новым деловым возможностям и конкурентным преимуществам по сравнению с конкурирующими компаниями.

Однако моделирование данных — это сложный процесс, который может оказаться трудным для успешного выполнения. Вот некоторые из распространенных проблем, из-за которых проекты по моделированию данных могут сбиться с пути:

• Отсутствие организационной приверженности и деловой заинтересованности. Если корпоративные и бизнес-руководители не согласны с необходимостью моделирования данных, трудно добиться необходимого уровня участия бизнеса. Это означает, что команды управления данными должны заблаговременно заручиться поддержкой руководства.
• Непонимание со стороны бизнес-пользователей. Даже если заинтересованные стороны бизнеса полностью привержены делу, моделирование данных — это абстрактный процесс, который людям может быть трудно понять. Чтобы избежать этого, концептуальные и логические модели данных должны основываться на бизнес-терминологии и концепциях.
• Сложность моделирования и увеличение объема. Модели данных часто бывают большими и сложными, а проекты моделирования могут стать громоздкими, если команды продолжают создавать новые итерации, не завершая проекты. Важно установить приоритеты и придерживаться достижимого масштаба проекта.
• Неопределенные или неясные бизнес-требования. В частности, с новыми приложениями бизнес-сторона может не иметь полностью сформированных информационных потребностей. Разработчикам моделей данных часто приходится задавать ряд вопросов, чтобы собрать или уточнить требования и определить необходимые данные.

Последнее обновление: декабрь 2021 г.

Продолжить чтение О моделировании данных

• Советы по проектированию модели данных, которые помогут стандартизировать бизнес-данные

• Моделирование данных и архитектура данных: в чем разница?

• Как справляться с трудностями процесса моделирования данных

• 5 принципов хорошо спроектированной архитектуры данных

• Моделирование концептуальных данных начинается с вариантов использования в бизнесе

Углубитесь в интеграцию данных

• абстракция данных

  Автор: Роберт Шелдон

• Как правильно выбрать историю данных для вашей аудитории

  Автор: Technics Publications

• Что такое архитектура данных? Схема управления данными

  Автор: Крейг Стедман

• 7 методов и концепций моделирования данных для бизнеса

  Автор: Рик Шерман

Бизнес-аналитика

• 
  Alteryx представляет генеративный движок искусственного интеллекта, обновление Analytics Cloud

  Давний поставщик управления данными разработал новый механизм ИИ, который включает в себя генеративный ИИ. Он также представил новые возможности …

• 
  Microsoft представляет AI Boost для Power BI, новую Fabric для данных

  Технический гигант представил инструмент, который дополнит его основную аналитическую платформу генеративным искусственным интеллектом, а также новый пакет SaaS …

• 
  ThoughtSpot представляет новый инструмент, интегрирующий LLM OpenAI

  Поставщик аналитических услуг представил ряд новых возможностей, в том числе Sage, которая объединяет технологию генеративного искусственного интеллекта OpenAI …

ПоискAWS

• 
  AWS Control Tower стремится упростить управление несколькими учетными записями

  Многие организации изо всех сил пытаются управлять своей огромной коллекцией учетных записей AWS, но Control Tower может помочь. Услуга автоматизирует…

• 
  Разбираем модель ценообразования Amazon EKS

  В модели ценообразования Amazon EKS есть несколько важных переменных. Покопайтесь в цифрах, чтобы убедиться, что вы развернули службу…

• 
  Сравните EKS и самоуправляемый Kubernetes на AWS
  Пользователи

  AWS сталкиваются с выбором при развертывании Kubernetes: запустить его самостоятельно на EC2 или позволить Amazon выполнить тяжелую работу с помощью EKS. См…

Управление контентом

• 
  8 программных инструментов для обмена знаниями и совместной работы

  Обмен знаниями и совместная работа являются основными элементами современного рабочего места благодаря удаленной и гибридной работе. Эти восемь инструментов могут …

• 
  Каковы преимущества базы знаний?

  Поскольку база знаний позволяет клиентам и сотрудникам быстро находить ответы, она может повысить оценку удовлетворенности клиентов организации…

• 
  Как создать базу знаний WordPress

  База знаний позволяет клиентам быстро находить ответы на свои вопросы, что приносит пользу CX. Организации могут использовать WordPress…

ПоискOracle

• 
  Oracle ставит перед собой высокие национальные цели в области ЭУЗ с приобретением Cerner

  Приобретя Cerner, Oracle нацелилась на создание национальной анонимной базы данных пациентов — дорога, заполненная …

• 
  Благодаря Cerner Oracle Cloud Infrastructure получает импульс

  Oracle планирует приобрести Cerner в рамках сделки на сумму около 30 миллиардов долларов. Второй по величине поставщик электронных медицинских карт в США может вдохнуть новую жизнь в …

• 
  Верховный суд встал на сторону Google в иске о нарушении авторских прав Oracle API

  Верховный суд постановил 6-2, что API-интерфейсы Java, используемые в телефонах Android, не подпадают под действие американского закона об авторском праве, положив конец …

ПоискSAP

• 
  Обзор ERP: партнеры SAP представляют новые продукты на выставке Sapphire

  На SAP Sapphire 2023 партнеры SAP и независимые поставщики программного обеспечения представили продукты и услуги, направленные на автоматизацию процессов, повышение безопасности и.