Разработка IT Архитектуры: Построение сервиса качества данных (Часть 1/2)
Принципы построения сервиса качества данных
Качество данных является обширным термином, который используется для описания точности, полноты, последовательности, соответствия и своевременности конкретной части данных или набора данных, а также пути поступления данных и их потоков внутри предприятия. Хотя организации имеют разные определения качества данных и требования нему, качество данных используется на различных предприятиях, формируются стандарты для различных моделей использования, возникают возможности для повторного использования.
Должен обеспечиваться комплексный, целостный подход к решению проблем качества данных. Этот процесс помогает организациям постоянно улучшать качество данных в масштабах всего предприятия.
Система качества данных на предприятии образуется путем унификации ведомственных стандартов, достижением целей конкретных проектов по улучшению качества данных, а так же формированием централизованной общей среды обеспечения качества данных. Цели, которые достигаются продвижением технологий качества корпоративных данных, могут быть как тактическими, так и стратегическими.
Тактические цели включают:
- Минимизация усилий по сопровождению программного обеспечения.
- Исключение дублирования.
- Упрощение архитектуры предприятия.
Стратегические цели включают:
- Подготовка к созданию подразделения, ответственного за интеграцию.
- Реализация процессов управления данными предприятия.
- Внедрение сервис ориентированной архитектуры в рамках предприятия.
Качество данных предприятия можно представить как набор более мелких процессов и действий по обеспечению качества данных. Реализация сервисов обеспечения качества корпоративных данных позволяет рационализировать бизнес-правила и использовать их более эффективно повторно. Сервис качества данных может служить как указатель для управления данными предприятия, проверяя на корректность данные в масштабе всего предприятия. Это может быть основным источником данных для понимания того, где одни и те же данные используются, какие неточности в них присутствуют из-за ограничений системы, устаревших данных, различных изолированных решений или расхождений в данных, полученных от других компаний.
Действия по улучшению качества данных на предприятии практически никогда не начинают с чистого листа (то есть, без каких-либо предыдущих решений качества данных). Даже те не многие компании, которые не предпринимали каких-либо инициатив по обеспечению качества данных с помощью специализированного программного обеспечения, скорее всего, имеют набор бизнес-правил, которые были реализованы в течение долгого времени, иногда без реализации какого-либо проекта.
Кроме того, по мере внедрения сервиса обеспечения качества данных в рамках всего предприятия, становятся все более размыты границы между обеспечением качества данных и интеграцией данных. Интеграция данных неизбежно использует методы обеспечения качества данных. Как только сервис обеспечения качества данных становится глобальным в рамках предприятия, включается в процессы, тогда требуется платформа интеграции для обеспечения высокой производительности и масштабируемости, чтобы помочь понять истинную ценность своих информационных активов.
Ключевые компоненты инициативы процесса управления качеством данных
Инициативы повышения качества корпоративных данных предприятия должны иметь прочную основу. Краеугольным камнем успешной реализации сервиса повышения качества корпоративных данных должны быть инициативы повышения качества данных предприятия, для дальнейшего его успешного применения.
Стандарты – ключевой функцией качества корпоративных данных является установление стандартов для данных на предприятии. Инициатива заключается в изучении существующих определений данных и таксономий, определении общих проблем, понимании сходств и различий в моделях данных и применение систем разработки и технических стандартов, связанных с качеством данных.
Политики и процедуры – установка и применение политик и процедур, касающихся создания, развития и управления сервиса повышения качества корпоративных данных, имеет решающее значение. Бизнес-правила должны быть документированы, сопровождаться и поддерживаться, а так же должен проводиться мониторинг качества данных и измерений, которые должны быть реализованы последовательно.
Организация – успешная система обеспечения качества корпоративных данных нуждается в организационной структуре, в которой четко определены правила и ограничения. Может быть не практично централизовывать все процессы и решения. Демаркация должна быть четко определена. Способ связи между центральным и ведомственным персоналом должен быть реализован и должен сопровождаться. Управление организационными изменениями и обучением, а так же правильное их перенаправление так же важно для успешного управления данными. Независимо от выбранной организационной структуры, корпоративная заинтересованность управления качеством данных предприятия имеет критическое значение для ее успешного внедрения.
Технология – несмотря на большое количество реализованных проектов по созданию сервиса обеспечения качества данных без использования специальной методики, в рамках предприятия такие инструменты имеют важное значение для достижения успеха, получения масштабируемого и тиражируемого решения. Платформа обеспечения качества данных должна обеспечивать полный набор специальных целевых инструментов для достижения успеха на уровне предприятия.
Мои статьи:
1. Принципы построения модели данных
Семантика данных
Поддержание производительности