1. Общие положения

1.1. Настоящая должностная инструкция определяет функциональные обязанности, права и ответственность специалиста по Data Governance (включая совмещение/специализации: дата-инженер, ETL-разработчик, Data Steward, архитектор управления данными, инженер корпоративных хранилищ данных (DWH)).

1.2. Должность относится к категории старших специалистов Департамента управления данными (Data Management).

1.3. Прием и увольнение осуществляются приказом Генерального директора по представлению Директора по данным (CDO) или Руководителя службы корпоративной аналитики.

1.4. Специалист подчиняется напрямую Head of Data Governance / Ведущему дата-инженеру.

1.5. В своей работе руководствуется методологией свода знаний по управлению данными DAMA-DMBOK, Федеральным законом № 152-ФЗ «О персональных данных», регламентами информационной безопасности и политиками управления мастер-данными (MDM).

2. Квалификационные требования к должности

2.1. Образование: Высшее техническое/математическое образование (прикладная математика, информатика, статистика, базы данных).

2.2. Опыт работы: Опыт работы в области инженерии данных или Data Quality/Governance от 2 лет.

2.3. Специалист по Data Governance / Дата-инженер должен знать:

• Принципы построения хранилищ данных DWH (методологии Инмона, Кимбалла, Data Vault 2.0);
• СУБД и движки аналитики: PostgreSQL, ClickHouse, Greenplum, Snowflake, Oracle, MS SQL;
• Инструменты построения витрин данных и оркестрации: Apache Airflow, dbt, NiFi, Dagster;
• Технологии Big Data и распределенной обработки: Apache Spark (PySpark), Hadoop, Kafka;
• Фреймворки Data Governance и Data Quality: каталоги данных (DataHub, OpenMetadata, Amundsen), инструменты валидации (Great Expectations, Soda);
• Принципы Data Lineage (прослеживаемость происхождения данных) и управления метаданными;
• Языки программирования: продвинутый SQL (оконные функции, оптимизация планов запросов), Python.

Классификаторы должности

3. Должностные обязанности

Специалист по Data Governance / Дата-инженер выполняет следующие функции:

3.1. Управление качеством и архитектурой данных (Data Governance):

• Разрабатывает и внедряет корпоративные регламенты, политики и стандарты работы с данными (Data Quality Policies).
• Ведет корпоративный бизнес-глоссарий (Business Glossary) и каталог данных (Data Catalog), связывая бизнес-термины с физическими таблицами.
• Выстраивает карты происхождения данных (End-to-End Data Lineage) от систем-источников до финальных BI-дашбордов.
• Настраивает автоматизированные проверки качества данных (DQ checks): полнота, уникальность, актуальность, консистентность.
• Управляет политиками маскирования и обезличивания конфиденциальных и персональных данных (PDN) в непроизводственных средах.

3.2. Инженерия данных (ETL/ELT):

• Проектирует и оптимизирует пайплайны потоковой и пакетной загрузки данных из внешних и внутренних источников.
• Разрабатывает слои сырых данных (Raw/Staging), детальных слоев (ODS/Core) и витрин данных (Data Marts) в DWH.
• Проводит оптимизацию узких мест в базах данных (индексирование, партиционирование, устранение блокировок).

4. Права

Специалист вправе блокировать использование невалидных или недостоверных источников данных в продуктовой отчетности; запрашивать доступ к метаданным любых корпоративных систем; устанавливать требования к форматам выгрузки данных для команд разработки.

5. Ответственность

Отвечает за искажение данных в финансовой и управленческой отчетности вследствие сбоев в ETL-пайплайнах; утечку персональных данных из хранилищ; несоблюдение регламентов резервного копирования баз данных.

6. KPI и связи

KPI: Показатель доступности и свежести данных (Data Freshness SLA), процент покрытия данных проверками качества (Data Quality Coverage > 95%), скорость исполнения аналитических запросов.