Дата майнинг – это простой поиск полезной информации среди огромного количества данных, которая даёт бизнесу конкурентное преимущество. Эта информация содержит важные правила и тенденции, которые уже были в наборе данных, но до сих пор не были выявлены. Наиболее известный инструмент, который используют для дата майнинга – это искусственный интеллект. Технология искусственного интеллекта работает как человеческий мозг, то есть делают логические выводы, учатся на примерах, и рассуждают от общего к частному. Наиболее известные методы, которые используются в дата майнинге – это нейронные сети, кластеризация, и дерево решений.
Нейронные сети проверяют правила использования данных, которые основаны на найденных связях между ними или на простом наборе информации. В результате, программное обеспечение последовательно анализирует значения и сопоставляет их с другими факторами до тех пор, пока не найдёт новое правило. Затем программа ищет другие правила, основанные на предыдущих правилах, или оповещает систему, когда проходит время ожидания. Кластеризация разделяет их на группы, основываясь на похожих свойствах или ограниченных наборах данных. Кластеры используются, когда данные не промаркированы для дата майнинга. Например, страховая компания хочет найти примеры мошенничества, но её данные не помечены как “мошенничество” или “не мошенничество”. Но после анализа связей, содержащимися в кластерах, программа дата майнинга будет проверять правила, которые определят, является ли иск верным или нет.
Дерево решений, также как и кластеры, разделяются на подмножества, а затем анализирует полученные подмножества, чтобы разделить их на следующие подмножества и так далее. Конечные подмножества достаточно малы, для того чтобы программа в процессе дата майнинга могла найти интересные закономерности и взаимосвязи между данными.
После того, как они будут распознаны, их необходимо очистить. Очистка освобождает от повторяющейся информации и ошибочных данных. Затем они должны храниться в едином формате в нужных категориях или полях. Инструменты дата майнинга могут работать со всеми типами хранилищ, начиная от огромных хранилищ и баз меньшего объёма, и заканчивая одноуровневыми базами данных. Хранилища и витрины данных – это методы хранения, которые архивируют большие объёмы информации таким способом, чтобы к ним можно было легко получить доступ, когда это необходимо.
После окончания обработки, программное обеспечение для дата майнинга формирует отчёт. Аналитики просматривают эти отчёты, для того чтобы выяснить нужно ли ещё обрабатывать данные, очищать параметры, используя другие инструменты для анализа, или эти данные вообще нужно удалить, потому что они бесполезные. Если они не требуют последующей обработки, то отчёт переходит к специалистам, принимающим решения.
Эффективность дата майнинга может быть использована во многих областях, таких как принятие решений в Верховном Суде, исследование закономерностей в медицине, отбор новостей о конкурентах из новостных лент, разрешение трудностей в производственных процессах, и анализ последовательностей в человеческом наборе генов. Таким образом, дата майнинг может быть полезен в любом типе бизнеса или в любой сфере обучения.
