Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

lec03 #20

Open
wants to merge 1 commit into
base: master
Choose a base branch
from
Open
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
20 changes: 10 additions & 10 deletions lectures/lec03.md
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
## Жизненный цикл данных и жизненный цикл метаданных
## Жизненный цикл данных и жизненный цикл метаданных

### Жизненный цикл данных

Expand All @@ -14,7 +14,7 @@
Создание новых данных оператором или компьютером. Данные имеют ценность для предприятия.
3. Регистрация сигналов (Signal Reception)

Захват данных устройствами. Особенно важно в системах управления, но в последнее время особенно ценно при использовании такого подхода, как Интернет вещей.
Захват данных устройствами. Особенно важен в системах управления, но в последнее время особенно ценно при использовании такого подхода, как Интернет вещей.
Все три варианта получения данных очень важны в рамках рассмотрения процесса управления данными.
##### 2. Обслуживание данных (Data Maintenance)
После того, как данные были созданы, необходимо их хранить и обслуживать.
Expand All @@ -24,14 +24,14 @@
Обслуживание данных обычно подразумевает применение широкого спектра методов из области управления данными (Data Management).

##### 3. Синтез данных (Data Synthesis)
Это сравнительно недавно появившаяся стадия в жизненном цикле данных. Используется не во всех моделях жизненных циклах данных.
Это сравнительно недавно появившаяся стадия в жизненном цикле данных. Используется не во всех моделях жизненных циклов данных.
**Синтез данных** – это процесс получения дополнительной ценности из данных при помощи использования индуктивной логики и сторонних информационных источников.
Это стадия, на которой с данными работаю аналитики, причем они могут использовать в своей работы методы моделирования рисков, актуарного моделирования, моделирования для принятия инвестиционных решений и др.
Это стадия, на которой с данными работают аналитики, причем они могут использовать в своей работе методы моделирования рисков, актуарного моделирования, моделирования для принятия инвестиционных решений и др.

На этой стадии используется индуктивная логика, не дедуктивная. Индуктивная логика требует использования экспертного мнения, т.к. именно компетенции экспертов необходимы для построения моделей скоринга и др.

##### 4. Использование данных (Data Usage)
До сих пор шла речь об использовании данных внутри одного предприятия, которые возможно были подвержены очистке и обогащению на стадии обслуживания данных и использовались совместно с дополнительным третьими источниками данных на стадии синтеза данных.
До сих пор шла речь об использовании данных внутри одного предприятия, которые возможно были подвержены очистке и обогащению на стадии обслуживания данных и использовались совместно с дополнительными третьими источниками данных на стадии синтеза данных.

На стадии использования данных они применяются в качестве полезной информации для задач, которые должны выполняться и управляться на основе данных.
Эти задачи могут быть вне жизненного цикла данных. Тем не менее, данные становятся все более значимой частью бизнес-процессов предприятий. Данные сами могут быть продуктом или услугой (или быть частью продукта или услуги), предлагаемой предприятием.
Expand All @@ -41,13 +41,13 @@
##### 5. Публикация данных (Data Publication)
При использовании данных возможна ситуация, когда данные отправляются за пределы предприятия. В этом случае говорят о публикации данных. **Публикация данных** – это вынос данных за пределы предприятия.

Примером этого процесса может быть маклер, рассылающий ежемесячные отчеты клиентам. Все данные, которые были разосланы, уже не могут быть отозваны. Если были разосланы данные с неверными значениям, то такие данные не могут быть исправлены, поскольку они уже становятся недоступны для предприятия. Управление данными (Data Governance) может потребоваться, чтобы помочь принять решение о том, как будут обрабатываться неверные данные, которые были отправлены из предприятия.
Примером этого процесса может быть маклер, рассылающий ежемесячные отчеты клиентам. Все данные, которые были разосланы, уже не могут быть отозваны. Если были разосланы данные с неверными значениями, то такие данные не могут быть исправлены, поскольку они уже становятся недоступны для предприятия. Управление данными (Data Governance) может потребоваться, чтобы помочь принять решение о том, как будут обрабатываться неверные данные, которые были отправлены из предприятия.

##### 6. Архивация данных (Data Archival)
Данные могут быть использованы как однократно, так и несколько раз. Но затем рано или поздно жизненный цикл данных начинает подходить к концу.
Первая стадия этого состояния заключается в архивации данных.

**Архивация данных** – это копирование данных в пассивную среду, в которой они хранится, для тех случаев, когда они понадобятся снова в активной производственной среде, и удаление этих данных из всех активных производственных сред.
**Архивация данных** – это копирование данных в пассивную среду, в которой они хранятся, для тех случаев, когда они понадобятся снова в активной производственной среде, и удаление этих данных из всех активных производственных сред.

**Архив данных** – это просто место, где хранятся данные, без их обслуживания, использования или публикации. В случае необходимости данные могут быть восстановлены из архива.

Expand Down Expand Up @@ -82,10 +82,10 @@
Этот этап включает определение стандартов метаданных, потенциально полезных для проекта, изучение существующих схем метаданных и вариантов их использования. Этот этап нужен для того, чтобы можно было лучше узнать, какие различия существуют среди других аналогичных проектов, а также пересмотреть цели проекта.

###### Исследование требований к глубоким метаданным
На этом этапе определяются требования к метаданным более детально и глубоко. Для этого используется концепция контент-анализа. Здесь важно уточнить область и контент метаданных, а также проработан вопрос планируемых в работе СУБД и информационных систем, в которых планируется использовать метаданные. В дальнейшем эти наработки могут быть использованы в качестве методики для масштабирования.
На этом этапе требования к метаданным определяются более детально и глубоко. Для этого используется концепция контент-анализа. Здесь важно уточнить область и контент метаданных, а также проработать вопрос планируемых в работе СУБД и информационных систем, в которых планируется использовать метаданные. В дальнейшем эти наработки могут быть использованы в качестве методики для масштабирования.

###### Идентификация стратегий для схем метаданных
На этом этапе формулируется стратегия использования метаданных на основе всех имеющих предыдущих результатов. Стратегия включает принятие одного или нескольких существующих стандартов метаданных и разработку на основе этих стандартов схемы метаданных.
На этом этапе формулируется стратегия использования метаданных на основе всех имеющихся предыдущих результатов. Стратегия включает принятие одного или нескольких существующих стандартов метаданных и разработку на основе этих стандартов схемы метаданных.

##### 2. Спецификация системных требований
Этот этап состоит из двух частей.
Expand All @@ -96,7 +96,7 @@
Спецификация требований к метаданным (Metadata Requirement Specification, MRS) является связующим звеном между участниками проекта, специалистами по метаданным и разработчиками систем.

###### Оценка систем метаданных
На этом этапе производится оценка систем метаданных, которые потенциально могут использоваться в проекте в дальнейшем. Участники проекта могут выбрать из существующих систем метаданных.
На этом этапе производится оценка систем метаданных, которые потенциально могут в дальнейшем использоваться в проекте Участники проекта могут выбрать из существующих систем метаданных.

##### 3. Система метаданных
Этот этап состоит из двух частей.
Expand Down