SYSTEM ATLASЗагрузка материала

Data Swamp

Data Swamp

Хранилище без каталога и управления превращается в непонятную свалку.

Простыми словами

Например, команда замечает симптомы «Data Swamp», но лечит каждый случай отдельно. Более устойчивый вариант — команда устраняет механизм «Data Swamp» через изменение границ, стимулов или ответственности. Поэтому термин полезен только тогда, когда помогает предсказать конкретное поведение или принять проверяемое решение в реальной задаче.

Пример от @Vibeclakr

Пример при разработке

Команда складывает события, CSV и логи в одно хранилище без владельцев, схем и каталога. Данные есть, но найти надёжный набор для отчёта почти невозможно.

Это редакционный пример применения, а не часть определения или доказательство концепции.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на структуру компонентов, потоки данных, ограничения и действия участников. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Исправлять отдельные проявления «Data Swamp» по одному, не проверяя, нет ли у них общей причины.

Системный подход

Если «Data Swamp» действительно объясняет проблему, менять не отдельный симптом, а сам механизм — например границы, стимулы или распределение ответственности.

Ограничения

«Data Swamp» объясняет только часть происходящего в области «Данные и аналитика». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

National Institute of Standards and Technology. NIST Big Data Interoperability Framework: Volume 1, Definitions. 2019. NIST SP 1500-1r2.

Первоисточник