Показать сообщение отдельно
Старый 07.09.2015, 12:44   #57  
George Nordic is offline
George Nordic
Модератор
Аватар для George Nordic
Злыдни
 
4,479 / 1250 (50) ++++++++
Регистрация: 17.12.2003
Адрес: Moscow
Записей в блоге: 9
Абсолютно верно. Это отдельный класс систем, который отвечает за сбор, трансформацию и загрузку данных. У MS это SSIS, у Oracle - ODI и GoldenGate, да много решений. Informatica, пожалуй, самый известный и самый дорогой. Но хорош, о чем и говорить.

Кстати, уже коли затронули не только последовательность задач, но и стек решений, давайте тоже расскажу.

Сначала данные надо извлечь. За это как раз и отвечает ETL (Extract / Transform / Load).
Но куда эти данные надо извлечь? Где лежат подготовленные данные для бизнес-аналитики?
Для этого создается DataMart - Отдельно стоящее хранилище анализируемых данных или часть хранилища данных, в которой данные приведены к виду, пригодному для аналитики.

Данная область активно развивается, и появляются отдельные базы данных для хранения и обработки именно аналитических данных - Terradata, Oracle Exalogic, IBM Inteza, EMC Greenplumm, Sap HANA, HP Vertica. Можете погуглить их стоимость и подумать тем ли мы занимаемся и насколько "Axapta дорогая". Там железка стоит больше чем немальенький проект с внедрением вместе. Правда, подобные топовые решения популярны в основном в финансовой сфере и телекоме.

Однако, во время сбора и обработки информации зачастую можно столкнуться с задачей согласования данных, заполнения и ведения мастер-справочников, идентификации "золотой записи" и синхронизации справочник в соответствии с набором мастер-справочников. За это отвечают специализированный MDM системы (Master Data Management). IBM MDM, Oracle PIM, Talend, и, наконец-то, с недавних пор и Microsoft.

Хорошо, данные мы собрали, почистили и даже загрузили в хранилище. Увы, это еще не все. Для ускорения обработки их необходимо агрегировать - собрать в агрегаты с возможностью детализации. В основном это достигается 2 способами - это классические кубы (очень популярная, но отживающая свое технология) и обработка данных в памяти - по второму пути сейчас активно идут все вендоры.

Хорошо, данные мы предагрегировали, теперь время делать отчеты. Думаете все? А вот и нет - мы в 21 веке живем, и руководство все хочет на телефоне / планшете видеть. Следовательно, аналитический отчет необходимо на портал задеплоить. Да и чтобы он с ipada был виден. И с андроида. И чтобы смотрелся одинаково и там и там.

В общем, получается довольно большой пласт технологий, и усилия нескольких специалистов по различным система для достижения результата. А теперь пристегнитесь...

С Уважением,
Георгий
За это сообщение автора поблагодарили: mazzy (2), AXcons (1).