Программы обработки больших данных (Big Data)

Когда данных становится слишком много, ручные выгрузки и таблицы перестают работать. Платформы для больших данных решают это на другом уровне.

• Обрабатывают потоки в реальном времени: заказы, клики, показания приборов.
• Объединяют разрозненные источники в единое хранилище для анализа.
• Масштабируются горизонтально: при росте нагрузки добавляют узлы, а не меняют сервер.
• Дают почву для прогнозов и моделей машинного обучения.
• Снижают стоимость хранения за счёт колоночных и сжатых форматов.

Набор возможностей зависит от класса продукта, но базовые блоки повторяются у большинства решений.

• Распределённое хранение и репликация данных между узлами кластера.
• Движки запросов SQL и обработки потоков (стриминг).
• Коннекторы к источникам: базы, очереди сообщений, облачные хранилища.
• Визуализация и дашборды, как в Qlik Sense и Looker.
• Каталогизация и контроль качества данных, например в Collibra и Talend.
• Разграничение доступа и аудит операций.

Сначала определите задачу: хранение, аналитика или поток в реальном времени. От этого зависит класс платформы.

• Для гибкого хранения документов и поиска подойдут MongoDB и Elasticsearch.
• Под распределённую обработку и машинное обучение смотрят на Databricks и Cloudera Enterprise.
• Для бизнес-аналитики и отчётов берут Qlik Sense, Looker или Alteryx.
• Интеграцию и подготовку данных закрывает Talend Data Fabric.
• В памяти данные быстро считает SAP HANA.

Сравните цену, требования к инфраструктуре и наличие облачной версии. Карточки на pickTech показывают функции и отзывы рядом.

Рынок смещается в сторону облачных и гибридных развёртываний. Компании реже держат кластеры целиком на своих серверах.

• Lakehouse-подход объединяет озеро данных и хранилище, как в Databricks и Dremio.
• Аналитику всё чаще связывают с моделями машинного обучения прямо на платформе.
• Растёт спрос на каталоги и контроль происхождения данных.
• Усиливается внимание к требованиям по хранению данных внутри страны.