Как передовые метода аналитики могут открыть новые возможности для бизнеса

Введение

Большинство компаний не готовы к начавшейся эпохе “больших данных” – непрерывно нарастающего потока новой информации, который обрушился со всех сторон на бизнес.

Сложность анализа “больших данных” обусловлена новизной и многообразием их форматов, которые в своём большинстве плохо понятны тем, для кого эти данные могут предназначаться.

В этом руководстве на конкретных примерах описаны концептуальные инструменты для работы с постоянно растущими массивами данных.

Неспециалистам руководство может показаться достаточно сухим, а его тема слишком специфической – впрочем, они и не являются её основной аудиторией.

Мы рекомендуем это руководство по управлению информацией топ-менеджерам, ответственным за внедрение в работу организаций систем анализа данных и управления знаниями, бизнес-аналитикам, а также всем, кому интересно знать, как технологии меняют современный бизнес.

Из этого руководства вы узнаете

• Какие перспективы для бизнеса открывает появление “больших данных”.
• Почему они нелегко поддаются обработке.
• Как научиться извлекать из “больших данных” практическую выгоду.

Основные идеи

• Потоки “больших данных” захлёстывают сегодня все отрасли экономики.
• Обработка “больших данных”, требующая особых методов и инструментов, открывает для бизнеса огромные возможности.
• Веб-данные – самая распространённая форма “больших данных”.
• Методы обработки больших массивов информации быстро развиваются.
• Средства составления отчётов представляют данные в требуемом формате, а средства анализа помогают правильно поставить вопросы и получить на них ответ.
• “Аналитическая песочница” – набор ресурсов, с которыми аналитик может экспериментировать, как ребёнок, играющий с песком.
• Результаты качественно проведённого анализа данных конкретны, актуальны, своевременны, логически объяснимы и практически значимы.
• Помимо знания математики и статистики, хорошего аналитика отличают креативность и интуиция.
• Наиболее эффективно аналитики работают в организациях со слабовыраженной иерархией.
• Чтобы дать простор “аналитическим инновациям”, изучайте новые аналитические подходы, ставьте новые вопросы, применяйте на практике новые методы и инструменты.

Эволюция “больших данных”

“Большие данные”, поступающие сегодня из множества совершенно новых источников, отличаются от данных традиционного типа повышенной сложностью, разнородностью и быстротой появления.

Для анализа “больших данных” необходимы самые совершенные IT-методы и мощные вычислительные системы.

Чтобы извлекать из этих данных практический смысл, аналитикам нужно учиться отделять ценную информацию от “информационного мусора”.

“Большие данные” приносят бизнесу пользу лишь в сочетании с традиционными данными и прикладным анализом.

“Самое сильное влияние на развитие передовой бизнес-аналитики в ближайший период времени будет оказывать появление множества новых источников огромных массивов данных”.

Традиционные данные были структурированными.

“Большие данные”, как правило, слабо структурированы или вовсе не структурированы.

Чтобы извлечь из них смысл, необходимы средства поиска неявных закономерностей.

Одновременно с анализом данных необходимо обеспечить соблюдение этических норм при сборе и использовании информации.

Сбор данных должен быть саморегулирующимся процессом, так как при слишком быстром их накоплении затраты могут превысить выгоды, когда вы попросту не будете знать, что делать с собранной информацией.

Чтобы получать пусть небольшие, но конкретные преимущества от использования “больших данных”, требуется разработка стратегии.

Источники “больших данных”

Крупнейший сегмент “больших данных” – это веб-данные.

Чаще всего это информация об онлайн-транзакциях, интернет-трафике и эффективности рекламных баннеров.

Однако веб-данные обладают намного большим потенциалом.

Например, из всех людей, зашедших на ваш сайт, всего 5% начинают оформлять заказ.

Из них лишь половина дойдёт до этапа оплаты и ещё меньшее количество действительно что-то купят.

Как узнать, что происходит на каждом из этапов и почему многие на полпути отказываются от покупки?

“«Большие данные» появляются сегодня отовсюду, и их грамотное использование может превратиться в источник вашего конкурентного преимущества”.

Веб-данные позволяют фиксировать, кто и что покупает, сколько покупателей покидают сайт, прочитав характеристики товара, сколько из них просматривают видеоролики, читают отзывы других покупателей и даже на каких сайтах побывал каждый из посетителей, прежде чем оказаться на вашем сайте.

Извлечение информации такого рода нередко вызывает озабоченность в отношении защиты персональной информации – впрочем, эти данные можно собирать в обезличенной форме, анализируя поведение среднестатистических, а не каких-то конкретных покупателей.

“По-видимому, из всех источников «больших данных» наиболее используемым является Интернет”.

Веб-данные позволяют следить за потребителем в процессе принятия им решения о покупке и предвосхищать его запросы.

Так, в телекоммуникационных компаниях используется “моделирование потерь”, то есть изучается поведение клиентов, отказавшихся или готовых отказаться от определенных услуг; в рамках “моделирования реакции” анализируется поведение клиентов для прогнозирования их будущих решений.

Чем больше информации о покупателях получает компания, тем меньше размер сегментов, на которые она может разделить свою аудиторию.

Среди множества важных для бизнеса источников больших данных можно выделить следующие:

Телематические данные

Фирмы, оказывающие страховые услуги владельцам автомобилей, используют этот тип данных для индивидуализации своих предложений.

Вместо того, чтобы взимать со всех клиентов определённой категории одинаковую плату, рассчитанную на основе среднего уровня риска, с помощью анализа пространственных и временных координат транспортного средства они отслеживают, как используется автомобиль, и определяют водителей, которые с наименьшей вероятностью попадут в ДТП.

Для таких водителей тарифы снижаются.

“Из всех видов «больших данных» особого отношения требует информация о координатах во времени и пространстве – любое ненадлежащее её использование может быть расценено как вторжение в частную жизнь”.

Данные о координатах во времени и пространстве

Благодаря широкому распространению устройств с модулями GPS у компаний появилась возможность точно определять, где находятся их клиенты в любой момент времени.

Информация об этом позволяет индивидуализировать рекламу, чтобы, например, предложить человеку, проезжающему мимо ресторана, купон на скидку.

Кроме того, с помощью анализа данных этого типа возможно отслеживать скопления людей – например, чтобы предотвратить попадание “скорой помощи” в автомобильную пробку.

Данные радиочастотной идентификации

Технология считывания радиочастотных меток произвела настоящую революцию в таких сферах, как продажа, обеспечение безопасности и логистика.

Эти метки позволяют определить точное местонахождение и статус помеченных объектов, чтобы следить за тем, какие из них перевозятся, какие лежат на складе, на каких полках магазина товары быстрее распродаются, и многое другое.

“Тексты – один из самых распространённых источников «больших данных»”.

Данные “умных” электросетей

Обычные электросети проводят электрический ток и ничего более.

Новейшие “умные” электросети снабжены датчиками потребления энергии.

Компания-поставщик видит, на какой период времени приходится максимальный уровень потребления электричества, и соответствующим образом увеличивает его подачу.

Датчики, встроенные в промышленное оборудование, позволяют следить за работой двигателей и контролировать функционирование всех рабочих узлов.

Мониторинг такого рода позволяет оптимизировать производственные процессы.

“Анализ текста приобрёл новое значение в эпоху «больших данных», а методы обработки текстовых данных стремительно развиваются”.

Телеметрические данные и данные о перемещении фишек в казино

Огромные суммы наличности, с которыми работают казино, требуют особых мер безопасности.

Так, в дополнение к видеонаблюдению в некоторых заведениях используются фишки со встроенными радиопередатчиками.

Информацию, собранную с их помощью, менеджеры могут использовать, чтобы отслеживать закономерности в игре или определять, за какими столами игра идёт наиболее активно, а также следить за тем, чтобы никто не воровал фишки.

Современные видеоигры – ещё один неожиданный источник данных.

В них используются телеметрические датчики для слежения за физическими движениями игроков.

Производители игр могли бы использовать эти данные для выявления улучшений, которые необходимо внести в игру.

Данные социальных сетей

Анализ этих данных позволяет определять уровень влияния отдельных людей на окружение, изучать сети знакомств и выяснять факторы, связывающие людей друг с другом.

“Задача профессионального аналитика – формулировать рекомендации, а не предоставлять отчёты, данные и статистику”.

Масштабы, процессы, инструменты, методы

Уже многие годы аналитики занимаются созданием средств и инструментов для работы с гигантскими массивами информации.

Хранилища данных постоянно растут в объёмах, а их стоимость неуклонно снижается.

Если раньше аналитика и хранение представляли собой отдельные процессы, то сейчас они сливаются в единое целое.

Централизованное хранение данных даёт аналитикам доступ к огромному разнообразию видов этих данных и способствует углубленному анализу связей между ними.

Меняется и структура IT-систем.

Параллельные вычисления (выполнение компьютером нескольких задач одновременно) не только стали нормой – сегодня распространяется “массовый параллелизм”, то есть параллельные вычисления на множестве процессоров сразу.

Ещё одна новейшая тенденция – распространение “облачных” вычислений, преимуществом которых является гибкость, обеспеченная гигантской мощностью “облачных” серверов.

Пользователь при этом платит только за обработку данных, не тратя средств на закупку компьютерных систем.

В “облачных” вычислениях и реляционных базах данных для обработки огромных массивов информации часто применяется модель распределённых вычислений MapReduce, позволяющая распределять нагрузку на множество компьютеров.

“Провести анализ – значит поставить правильный вопрос, собрать нужные данные и выбрать наиболее подходящие аналитические инструменты, чтобы получить ответ”.

Поток неструктурированных текстовых данных продолжает расти, и компании уделяют всё больше внимания их анализу.

Если раньше приходилось самостоятельно разрабатывать программы для конкретных видов анализа, то сейчас набирают популярность (и становятся всё более разнообразными) “точечные решения” – готовые программные инструменты для решения специфических задач.

Например, средства “визуализации данных” позволяют представить информацию графически.

В сфере аналитики ПО с открытым исходным кодом становится таким же доступным, как и в других IT-сферах: наиболее популярным ПО такого рода сегодня является программная среда R.

“Самый большой риск, связанный с «большими данными», – это риск нарушения неприкосновенности частной жизни.

Чем активнее эти данные будут использоваться в бизнесе, тем больше будет необходимость в нормативно-правовой базе и в саморегулировании”.

Сколько бы вы ни наращивали объёмы для хранения данных и мощности для их обработки, эти вложения не принесут прибыль, если вы не будете следить за постоянным повышением эффективности анализа.

При этом существует опасность, что внимание к аналитике поглотит все ваши ресурсы, затормозит другие процессы и даже приведёт к конфликтам с IT-отделом.

Чтобы избежать этого и повысить результативность аналитического процесса, создайте своего рода “аналитическую песочницу” – совокупность ресурсов, которые аналитик может по своему усмотрению трансформировать каким угодно образом, как ребёнок, играющий с песком.

Как правило, в роли этой “песочницы” выступает сегмент более крупного массива данных, временно выделенный для использования несколькими специалистами, решающими определённую задачу.

Этот инструмент также называют “лабораторией данных” и “облаком данных для гибкой аналитики”.

“Большие данные” и качество анализа

“Веб-данные уникальны, поскольку они позволяют составить представление о том, что планируют приобрести ваши клиенты и как они принимают решение о покупке”.

Каким должен быть качественный анализ данных?

Чтобы ответить на этот вопрос, для начала следует провести различие между составлением аналитических отчётов и собственно анализом.

Оба эти процесса важны для бизнеса и могут пересекаться, но отождествлять их ни в коем случае нельзя.

Запрошенные данные представляются в отчётах в стандартном, заранее заданном формате.

Анализ – это нечто большее, чем предоставление данных в ответ на запросы.

Методы анализа всегда адаптируются к конкретной проблеме.

Анализ предполагает участие человека.

Можно выделить следующие критерии качественного анализа:

• Целенаправленность. Анализ данных только тогда принесёт ценность бизнесу, когда будет направлен на решение конкретных проблем.
• Актуальность. Анализ данных должен выполняться с учётом потребностей компании и сложившейся ситуации.
• Объяснимость. Результаты анализа данных должны быть понятны тем, для кого они предназначены.
• Применимость. Результаты качественной аналитики можно немедленно применить в деятельности компании. Не стоит заниматься тем, что возможно только в теории.
• Своевременность. Дайте людям необходимую информацию именно тогда, когда она нужна для принятия решений.

“Очень важно видеть разницу между тем, что имеет значение для статистики, и тем, что важно для бизнеса”.

Углублённый анализ – это не просто систематизация собранных данных.

Задача аналитика – ставить правильные вопросы и рассматривать их в правильном контексте.

Чтобы сформулировать эти вопросы, исследуйте вместе с аналитиками своё представление о текущей ситуации.

Например, продумайте, чего вы хотите больше – приобрести новых клиентов или увеличить доход от уже имеющихся?

Каждый из этих вариантов предполагает постановку разных вопросов, ответы на которые будут значимы для бизнеса.

Надлежащим образом выполненный анализ данных играет роль “сита”, сквозь которое аналитик просеивает колоссальные объёмы “больших данных” в поисках крупиц ценных сведений.

Соблюдайте объективность и ни в коем случае не манипулируйте аналитическими данными, выбирая только те, которые подтверждают удобную для вас точку зрения.

“Настоящий анализ рождается из потребностей бизнеса, и праздное любопытство тут ни при чём”.

Организация работы

Чтобы получить качественные аналитические данные, наймите компетентных аналитиков, которые умеют определять, какие данные достаточно достоверны и надёжны, чтобы на них можно было опереться в принятии решений.

Хороший аналитик способен проследить логику данных, даже если она противоречит его пониманию проблемы.

Поскольку анализ данных – это одновременно и наука, и искусство, аналитики должны обладать развитой интуицией, иметь глубокие познания в математике или статистике, а также такие качества, как креативность и упорство.

Им следует постоянно расширять свой профессиональный кругозор и совершенствовать навыки проведения презентаций.

“Настоящий анализ сочетает в себе серьёзный научный подход с элементами виртуозного мастерства”.

Подобрав хороших специалистов, правильно организуйте их работу.

Эффективнее всего аналитики работают в децентрализованных или линейно-функциональных структурах.

Однако такая организационная структура ограничивает для аналитиков возможности для карьерного роста – в их подчинении оказывается слишком мало людей.

У централизованной структуры есть свои преимущества: при отсутствии загрузки в одном отделе аналитиков можно переводить в другие подразделения.

“Гибридная” структура предполагает наличие “центра” – группы самых сильных аналитиков, обеспечивающих координацию аналитической работы во всех отделах организации, а также сети специалистов, закреплённых за конкретными отделами.

Наиболее эффективны аналитические группы с матричной структурой и слабо выраженной иерархией, возглавляемые компетентным лидером.

Формируйте рабочие группы из специалистов с разным опытом и квалификацией.

Управляя аналитиками, вы должны быть в курсе последних тенденций в аналитике данных, чтобы оставаться авторитетом для подчинённых.

“Уже не один десяток лет аналитики успешно работают с постоянно растущими массивами данных.

«Большие данные» – это просто очередная информационная волна, которую необходимо укротить”.

Инновации – ключ к успеху в бизнес-аналитике.

Внедряйте новые подходы, ставьте новые вопросы, применяйте передовые методы и инструменты.

Используйте аналитику для стимулирования инноваций: создайте “центр аналитики инноваций”, в котором будете исследовать, оценивать и отбирать перспективные предложения.

Вам потребуется технологическая платформа для использования аналитических средств, сторонние продукты и услуги, дополняющие собственные разработками компании, а также сильная команда аналитиков и поддержка руководства вашей организации.