Что такое Big Data: как работать с большими данными

Большие данные становятся неотъемлемой частью нашей жизни. Все мы ежедневно используем какие-либо технологии и контактируем с продуктами и крупными компаниями. Компании предлагают нам свои продукты и, в свою очередь, используют данные, которые мы им предоставляем (начиная от отслеживания переходов на сайте и заканчивая персональной информацией при оформлении заказов). Настал момент подробнее разобраться, как собираются эти огромные потоки информации и что с ними делают.

Узнайте больше про сквозную и предиктивную аналитику. Посмотрите выпуск с руководителем отдела аналитики MediaNation Александром Вахтиным и аналитиком больших данных Романом Святовым: 

Что такое большие данные?

Официального и точного определения все еще нет. То, что один человек считает большими данными, в глазах другого может быть просто традиционным набором данных. И здесь возникает вопрос. Насколько велики большие данные? Согласно Forbes, каждый день создается 2,5 квинтиллиона байтов данных. Поскольку большие данные настолько велики, потребовалась новая терминология для определения размера этих данных. Большие данные состоят из петабайт (более 1 миллиона гигабайт) и эксабайт (более 1 миллиарда гигабайт), в отличие от гигабайт, характерных для персональных устройств.

В итоге термин «большие данные» можно отнести к огромному количеству данных, доступных организациям, которые из-за своего объема и сложности не поддаются легкому управлению или анализу с помощью многих инструментов бизнес-аналитики.

История возникновения

Название Big Data появилось в 2000-х, но концепция обработки большого количества данных возникла гораздо раньше. Менялся только объем и масштаб. В 1960-х годах начали создаваться первые хранилища больших данных, а сорок лет спустя компании увидели, сколько наборов данных можно собрать с помощью онлайн-сервисов, сайтов, приложений и любых продуктов, с которыми взаимодействуют клиенты. Именно тогда начали набирать популярность первые сервисы Big Data (Hadoop, NoSQL и т.д.). Наличие таких инструментов стало необходимо, поскольку они упрощают и удешевляют хранение и анализ.

Большие данные часто характеризуются тремя факторами: большим объемом, большим разнообразием типов данных, хранящихся в системах, и скоростью, с которой данные генерируются, собираются и обрабатываются. Эти характеристики были впервые выявлены Дугом Лэйни, аналитиком в Meta Group Inc., в 2001 году. Компания Gartner популяризировала их после того, как в 2005 году приобрела Meta Group. Постепенно к этим описаниям больших данных стали добавляться и другие критерии (достоверность, ценность и так далее).

В 2008 году с Клиффорд Лина в спецвыпуске журнала Nature эксперт назвал взрывной рост потоков информации big data. В него он отнес любые массивы неоднородных данных свыше 150 Гб в сутки. С тех пор термин «большие данные» прочно укрепился.

Как работают Big Data

Основная идея больших данных заключается в следующем: чем больше информации вы знаете, тем быстрее вы сможете найти и принять правильное решение. В большинстве случаев процесс сбора информации полностью автоматизирован: есть продвинутые инструменты, которые запускают миллионы действий одновременно, чтобы дать компании наилучший результат.

Большие данные поступают из множества различных источников: информация о транзакциях, CRM, инструменты веб-аналитики, мобильные приложения, метеосводки, социальные сети, репозитории научных исследований, датчики данных в реальном времени, используемые в интернете вещей и так далее. Данные могут быть представлены в необработанном виде или предварительно обработаны с помощью инструментов интеллектуального анализа, чтобы они уже были готовы к использованию (например, чтобы аналитики компании разработали гипотезы).

Для чего используют Big Data?

• Разработка продукта

Зная, какие потребности есть у пользователей, какие недочеты были в ваших предыдущих продуктах, а какие продукты пользуются популярностью, работа над новыми товарами и услугами будет эффективнее.

• Изучение поведения целевой аудитории

Большие данные позволяют собирать данные из социальных сетей, рекламных кабинетов и других источников, чтобы улучшить взаимодействие с пользователями, создать правильные рекламные сообщения и специальные предложения.

• Улучшение взаимодействия с клиентами

Например, интернет-магазины отправляют еженедельно электронные письма с рекомендациями, подобранными специально для конкретного клиента. Эти рекомендации основаны на истории предыдущих покупок или просмотров и поиска товаров.

• Прогнозирование сбоев

Возможность прогнозировать механические отказы невероятно важна, когда речь идет о производстве, перевозки грузов или о безопасности людей. Использование информации, которая собирается в режиме реального времени, поможет выявить потенциальные проблемы до того, как они возникнут.

• Оптимизация производства

Big Data широко используется и для правильной организации рабочего процесса. Анализ полученной информации упрощает планирование и увеличивает скорость запуска новых проектов.

Польза от применения Big Data видна и при анализе финансовых показателей компании. Например, в апреле 2020 года один из крупных операторов мобильной связи – Tele2 – заявил, что выручка компании, благодаря аналитике big data выросла в два раза.

Кто и как собирает данные?

Всю работу можно условно разделить на три этапа: интеграция, управление и анализ.

Этап 1. Интеграция

На первом этапе компания должна определить цели внедрения Big Data, выбрать инструменты сбора информации, а также связать их со своими источниками поступающих данных.

Этап 2. Управление

На этом этапе выбирается платформа для хранения информации. Компании могут использовать локальные хранилища, публичные или частные облачные сервисы.

Этап 3. Аналитика

Большие данные должны работать на бизнес, однако они начинают приносить пользу после анализа. Это заключительный этап взаимодействия с ними.

Как обрабатываются большие данные?

Современные вычислительные системы обеспечивают скорость, мощность и гибкость, необходимые для быстрого доступа к огромным объемам и типам больших данных. Некоторые данные могут храниться локально в традиционном хранилище данных, но существуют также гибкие и недорогие варианты хранения и обработки с помощью облачных решений и озер данных.

Чтобы из большого потока получить нужную информацию, используются различные методы анализа и обработки информации. Среди основных:

• Машинное обучение.
• Data mining
• A/B-тестирование.
• Имитационное моделирование.
• Визуализация данных.

Примеры использования Big Data

• Медиа и сфера развлечений

Организации в этой отрасли одновременно анализируют данные о клиентах вместе с данными о поведении, чтобы создать подробные профили клиентов, которые можно использовать для:

1. создания контента для разной целевой аудитории;
2. разработки персональных рекомендаций;
3. измерения эффективности контента.

Например, музыкальный сервис Spotify использует big data для сбора данных от миллионов пользователей по всему миру, а затем использует проанализированные данные для предоставления музыкальных рекомендаций отдельным пользователям.

• Реклама

Рекламодатели – одни из крупнейших игроков в сфере больших данных. Facebook, Google, Яндекс или любой другой онлайн-гигант – все они отслеживают поведение пользователей. В результате они предоставляют рекламодателям большой объем данных для точной настройки кампаний. Возьмем, к примеру, Facebook. Здесь можно выбрать аудиторию на основе покупательского намерения, посещений веб-сайтов, интересов, должности, демографии и т.д. Все эти данные собираются алгоритмами Facebook с использованием методов анализа big data.

• Логистика

Логистические компании уже довольно давно используют аналитику для отслеживания заказов и составления отчетов. Благодаря большим данным можно отслеживать состояние товаров в пути и оценивать потери. В режиме реального времени собираются данные о дорожном движении, погодных условиях и определяются маршруты для транспортировки грузов. Это помогает логистическим компаниям снизить риски, повысить скорость и надежность доставки.

• Медицина

Большие данные в здравоохранении используются для улучшения качества жизни, лечения болезней, сокращения непроизводительных затрат, прогнозирования эпидемий. Используя big data, больницы могут повысить уровень обслуживания пациентов.

• Розничная и оптовая торговля

Взаимодействие с поставщиками, покупателями, анализ запасов на складе, прогнозирование продаж – это лишь часть функций, с которыми помогает справляться Big Data.

• Государственные структуры

В качестве примеров: учет налоговых поступлений, сбор и анализ данных, собранных в интернете (новости, социальные сети, форумы и т.д.) для противодействия экстремизму и организованной преступности, оптимизация транспортной сети, выявление районов избыточной концентрации работающего, проживающего или незанятого населения, изучение предпосылок к развитию территорий и так далее.

• Банковская сфера

Сбор и анализ информации помогает банкам бороться с мошенничеством, эффективно работать с клиентами (сегментировать, проводить оценку кредитоспособности клиентов, предлагать новые продукты), управлять работой отделений (например, прогнозировать очереди, нагрузку специалистов и так далее).

• Предупреждение природных и техногенных катастроф

Множество машин ежедневно отслеживают сейсмическую активность в режиме реального времени. Это позволяет ученым спрогнозировать землетрясение. Даже обычным пользователям интернета также доступны эти инструменты наблюдений: есть различные, на которых представлены интерактивные карты.

Для сохранения безопасности на предприятиях также внедряются технологии, позволяющие обнаруживать и прогнозировать риски и предотвращать несчастные случаи.

Сервисы

Одними из ведущих разработчиков продуктов для Big Data являются ИТ-гиганты, что вполне логично. В силу своей специфики бизнеса они ежедневно сталкиваются с необходимостью обработки огромного количества информации, поэтому нуждаются в собственных решениях. Кроме того, разработка платформ и инструментов для работы с Big Data помогают освоить новые ниши рынка и получить новых клиентов из B2B сектора.

Сказать точно, какие продукты являются самыми лучшими, сложно, так как в каждой конкретной ситуации и с каждой конкретной отраслью будут свои требования к необходимым инструментам. Помимо известных платформ на рынке появляется множество стартапов, которые тоже могут предложить интересные решения. Именно поэтому инструментарий для работы с Big Data нужно подбирать индивидуально для вашего проекта, отрасли и бюджета.

Среди наиболее популярных платформ:

• 1C-Битрикс BigData
• Mail.ru Cloud Big Data
• RTB Media
• Alytics
• Crossss

Что будет с Big Data в будущем

Большие данные уже меняют правила игры во многих областях и, несомненно, будут продолжать расти. Объем доступных нам данных будет только увеличиваться, а технологии аналитики станут более совершенными. Большие данные – это одна из тех вещей, которые будут определять будущее человечества.

Тем не менее, еще в 2015 году компания Gartner, которая специализируется на исследованиях рынка информационных технологий, исключила Big Data из числа популярных трендов. С этого времени «большие данные» стали квалифицироваться как рабочий инструмент, а на смену им пришел новый тренд – Smart Data.

Если Big Data представляет собой огромный массив данных, то Smart Data – это уже «обработанные», ценные данные, необходимые для решения конкретных бизнес-задач. На первый план здесь выходит не количество, а качество исходных данных.

Таким образом, можно сказать, что «большие данные» превращаются в «умные данные», когда они собираются и оптимизируются с учетом конкретных потребностей отрасли и отдельной организации. Smart Data не только помогает компаниям понять, что происходит в данный момент, но и почему это происходит. Использование интеллектуальных данных позволяет компаниям лучше понимать поведение своих клиентов, предоставлять подходящие услуги/продукты, улучшать бизнес-операции, а также получать более высокий уровни дохода.

Вывод

Находить решения, когда у вас есть вся необходимая информация, проще. Именно поэтому использование больших данных дает компаниям конкурентные преимущества. Разработать актуальный продукт, составить эффективный план работ, предотвратить сбои в оборудовании, создать «цепляющее» рекламное предложение для пользователей – все это можно сделать благодаря сбору и анализу big data.