Databricks: як data lakehouse став бізнесом навколо даних і AI

Коли сім дослідників із Каліфорнійського університету в Берклі у 2013 році заснували Databricks, вони не планували будувати чергового ІТ-гіганта. Вони просто хотіли, щоб технологія обробки великих даних Apache Spark, яку самі й створили в університетській лабораторії AMPLab, стала придатною для звичайних компаній, а не лише для інженерів із Facebook чи Google. За десять з лишком років ця ідея перетворилася на бізнес із мільярдною виручкою й оцінкою, що перевищує 60 мільярдів доларів за підсумками раунду 2024 року, — одну з найдорожчих приватних технологічних компаній світу.

Ця історія цікава не лише масштабом. Databricks — рідкісний приклад того, як академічний open-source проєкт став фундаментом цілої категорії ринку, а компанія навколо нього придумала новий архітектурний підхід — data lakehouse — і змусила весь ринок говорити своєю мовою.

Що таке Databricks і чим компанія займається

Databricks — це американська компанія зі штаб-квартирою в Сан-Франциско, яка розробляє хмарну платформу для роботи з даними, аналітики та штучного інтелекту. Платформа об’єднує в одному середовищі зберігання даних, їхню обробку, бізнес-аналітику, машинне навчання й роботу з генеративним AI. Це наочний приклад того, як бізнес-моделі компаній можуть поєднувати відкритий код і хмарні сервіси.

Простіше кажучи, Databricks продає компаніям єдине «робоче місце» для всіх, хто працює з даними:

• інженери даних будують конвеєри збору й очищення інформації;
• аналітики пишуть SQL-запити й створюють звіти;
• дослідники даних навчають моделі машинного навчання;
• команди AI створюють застосунки на базі великих мовних моделей.

Ключова деталь: Databricks не є хмарним провайдером. Платформа працює поверх інфраструктури AWS, Microsoft Azure і Google Cloud, тож клієнт зберігає дані у власному хмарному акаунті, а Databricks надає обчислювальний шар і програмні інструменти. Це принципово відрізняє її від замкнених рішень, де дані доводиться переносити в чужу систему.

Історія компанії: від університетської лабораторії до ринкової категорії

Історія бренду Databricks починається з проєкту Spark, який 2009 року запустили в лабораторії AMPLab Берклі. Головною проблемою тодішніх систем обробки великих даних, зокрема Hadoop MapReduce, була повільність: дані постійно записувалися на диск і зчитувалися назад. Spark запропонував обробку в оперативній пам’яті, що прискорювало багато завдань у десятки разів.

2010 року Spark став проєктом із відкритим кодом, а 2013-го перейшов під егіду Apache Software Foundation. Тоді ж семеро ключових авторів проєкту — Алі Годсі, Іон Стойка, Матей Захарія, Патрік Венделл, Рейнольд Сінь, Арслан Таваколі-Шіраджі та Енді Конвінскі — заснували компанію Databricks, щоб комерціалізувати технологію. Годсі, який на той час вивчав бізнес у Стенфорді, став генеральним директором і обіймає цю посаду досі.

Кілька віх із історії компанії показують, як вона еволюціонувала:

• 2013–2015 — запуск хмарної платформи навколо керованого Spark, перші великі раунди інвестицій від Andreessen Horowitz та NEA;
• 2016 — відкриття коду Delta Lake, проєкту, який додав надійність транзакцій до даних у сховищах;
• 2018 — запуск MLflow, відкритого інструменту для керування життєвим циклом моделей машинного навчання;
• 2019–2020 — компанія починає просувати концепцію lakehouse як нову архітектуру даних;
• 2021 — рекордний раунд інвестицій у 1,6 мільярда доларів за оцінки 38 мільярдів;
• 2023 — придбання стартапу MosaicML приблизно за 1,3 мільярда доларів і різкий розворот у бік генеративного AI;
• 2024 — раунд у 10 мільярдів доларів, один із найбільших в історії венчурного фінансування, за оцінки близько 62 мільярдів доларів.

Окремий напрям історії — міжнародна експансія. Компанія відкрила офіси в Європі, Азії та на Близькому Сході, а 2023 року викупила частку в команді розробників, пов’язаній із проєктом індексів для аналітики. Хоча Databricks — компанія американська за походженням, її інженерні центри розподілені по кількох континентах. У споживчому сегменті бренди культурні символи на кшталт Apple чи Coca-Cola відомі масовій аудиторії, тоді як Databricks залишається впізнаваним насамперед у професійному середовищі.

Що таке lakehouse і чому ця ідея змінила ринок

Щоб зрозуміти бізнес Databricks, потрібно розібратися в проблемі, яку вона розв’язала. До появи lakehouse компанії змушені були підтримувати дві різні системи.

Перша — data warehouse, сховище даних. Структуровані таблиці, швидкі SQL-запити, надійність — ідеально для звітності, але дорого і погано підходить для необроблених даних, відео, текстів чи машинного навчання. Друга — data lake, озеро даних: дешеве зберігання будь-яких файлів у хмарі, гнучкість для дослідників, але хаос із якістю даних і відсутність гарантій цілісності. У результаті дані безперервно копіювалися між системами, версії розходилися, а підтримка коштувала статки.

Lakehouse — це спроба зняти цю дилему: зберігати дані у відкритих форматах у дешевому хмарному сховищі, але додати поверх них шар, який забезпечує транзакції, схеми, контроль версій і швидку аналітику — те, що раніше вміли лише сховища. Технічною основою цього шару в Databricks став Delta Lake з його журналом транзакцій і підтримкою ACID-операцій.

Ідея виявилася настільки вдалою, що термін перейшов у загальновживаний словник індустрії: сьогодні про lakehouse-архітектуру говорять і конкуренти, і аналітики Gartner, і самі клієнти. Для Databricks це найкраща форма маркетингу — компанія не просто продає продукт, вона визначила категорію, всередині якої змагається.

Як працює платформа Databricks на практиці

Архітектурно платформа складається з кількох шарів, і розуміння цих шарів пояснює, чому клієнти готові платити за неї чималі гроші.

Обчислення: керований Spark

Користувач описує завдання — наприклад, обробити нічний потік транзакцій або підготувати навчальну вибірку — а платформа сама створює кластер потрібного розміру, виконує роботу й вимикає ресурси. Ручне адміністрування серверів, яке колись забирало левову частку часу команд із даних, зникає. Додатково Databricks розробила власний оптимізований рушій Photon, який прискорює SQL-запити порівняно зі стандартним Spark.

Зберігання: Delta Lake і відкриті формати

Дані лишаються у хмарному сховищі клієнта у відкритих табличних форматах. Це принциповий момент для великих компаній: якщо завтра вони вирішать піти від Databricks, дані не доведеться експортувати з пропрієтарної системи. Формат відкритий, екосистема інструментів навколо нього велика.

Управління: Unity Catalog

Окремий шар відповідає за права доступу, аудит, каталогізацію даних і моделей. Для банків, страхових і медичних компаній, де питання «хто бачив ці дані і коли» має регуляторне значення, це не опція, а вимога.

Аналітика та AI

Поверх зберігання працюють Databricks SQL для аналітичних запитів, інструменти дашбордів, середовище для машинного навчання на базі MLflow і набір Mosaic AI для роботи з генеративними моделями: тонкого налаштування, розгортання та контролю якості. Після придбання MosaicML компанія також почала розробляти власні відкриті моделі — зокрема сімейство DBRX, випущене 2024 року.

Бізнес-модель: на чому заробляє Databricks

Бізнес-модель Databricks — класична для зрілого хмарного софту: підписка з оплатою за фактичне споживання обчислень. Компанія вимірює використання у власних одиницях — Databricks Units, прив’язаних до обчислювальної роботи, яку виконує платформа. Чим більше даних обробляє клієнт і чим складніші його AI-завдання, тим більший рахунок — і тим більша цінність, яку він теоретично отримує.

Така модель має кілька важливих наслідків:

• виручка зростає разом із клієнтом: компанія, що починає з одного аналітичного проєкту, згодом переносить на платформу все більше процесів;
• висока частка повторних доходів: після впровадження міграція на іншу платформу болюча, тож клієнти лишаються роками;
• open source працює як воронка: безкоштовні Spark, Delta Lake і MLflow створюють звичку й експертизу на ринку, а монетизується керована корпоративна версія.

Цей підхід — «відкрите ядро, платна хмара» — не унікальний, але Databricks реалізувала його ефективніше за більшість конкурентів. Компанія не підпадає під класичне визначення SaaS у вузькому сенсі, бо продає не готовий застосунок, а платформу, на якій клієнти будують власні рішення, тому її часто відносять до категорії data platform.

Щодо фінансів: Databricks лишається приватною компанією, тож точні цифри залежать від звітності, яку вона публікує вибірково. За публічними заявами, річна виручка в біговому обчисленні перевищила 3 мільярди доларів у 2024 році зі зростанням понад 50% рік до року. Обіцянки виходу на біржу звучать регулярно, але конкретних дат компанія не називала — станом на загальнодоступну інформацію IPO лишається питанням часу й ринкової кон’юнктури.

Власники, керівництво та інвестори: кому належить Databricks

Формально Databricks належить її акціонерам: засновникам, працівникам із опціонами та венчурним фондам. Серед інвесторів компанії — Andreessen Horowitz, New Enterprise Associates, Coatue, Tiger Global, фонди Fidelity та Franklin Templeton, а також стратегічні корпоративні інвестори: Microsoft, Amazon (через AWS), Google (через CapitalG), Nvidia та Salesforce. Присутність у капіталі одразу кількох хмарних гігантів, які одночасно є партнерами та частково конкурентами, — характерна риса сучасного ринку даних.

Контрольний пакет жодному зовнішньому інвестору не належить: стратегічні рішення ухвалюють рада директорів і команда засновників на чолі з Алі Годсі. Саме тому відповідь на запитання «кому належить Databricks» звучить так: це незалежна приватна компанія з розподіленою структурою власності, а не дочірнє підприємство будь-якого техногіганта.

Країна походження — США: компанія зареєстрована в Делавері за стандартною для американських стартапів схемою, штаб-квартира розташована в Сан-Франциско, штат Каліфорнія.

Хто конкурує з Databricks і хто її клієнти

Головним конкурентом Databricks вважають Snowflake — компанію, що прийшла з протилежного боку ринку: від аналітичного сховища даних до машинного навчання та AI. Databricks рухалася назустріч — від обробки даних і ML до SQL-аналітики. Зіткнення цих двох платформ фактично визначило розвиток усього ринку корпоративних даних у 2020-х. Додатковий тиск створюють хмарні провайдери з власними сервісами — Google BigQuery, AWS Redshift, Microsoft Fabric.

Клієнтами Databricks є переважно великі й середні компанії зі значними обсягами даних: банки, ритейлери, телеком-оператори, фармацевтичні компанії, медіа. Компанія заявляє про тисячі клієнтів по всьому світу, включно зі значною часткою корпорацій зі списку Fortune 500. Типовий сценарій впровадження виглядає так: спочатку на платформу переносять один болісний процес — наприклад, підготовку даних для кредитного скорингу чи прогнозування попиту, — а далі використання розширюється на всю організацію.

Чому Databricks робить ставку на штучний інтелект

Генеративний AI змінив розклади на ринку даних, і Databricks відреагувала швидше за багатьох. Логіка компанії проста: якісна модель штучного інтелекту потребує великих обсягів добре підготовлених даних, а саме цим Databricks і займається останнє десятиліття. Платформа пропонує клієнтам навчати й доопрацьовувати моделі на власних корпоративних даних, не віддаючи їх стороннім сервісам, — аргумент, який добре працює для регульованих галузей.

Придбання MosaicML дало компанії команду та інфраструктуру для тренування великих моделей з нуля, а випуск відкритої моделі DBRX став сигналом ринку: Databricks хоче бути не лише «сховищем із обчисленнями», а повноцінним гравцем серед AI-компаній. Чи вдасться це в довгостроковій перспективі — відкрите запитання, бо конкуренція у сфері штучного інтелекту наразі найвища в історії індустрії.

Цікаві факти про Databricks

Кілька фактів, які допомагають краще уявити масштаб і характер компанії:

• Назва Databricks — гра слів: «bricks» означає цеглини даних, із яких будується платформа, а «data» вказує на сферу.
• Apache Spark, створений засновниками компанії, досі залишається одним із наймасовіших інструментів обробки даних у світі, і його розвитком Databricks опікується як ключовий учасник спільноти.
• Компанія щороку проводить конференцію Data + AI Summit, яка збирає десятки тисяч учасників і стала однією з головних подій індустрії даних.
• Штат Databricks перевищує кілька тисяч працівників у десятках країн, хоча ще десять років тому це була команда з кількох десятків інженерів.
• Раунд інвестицій у 10 мільярдів доларів 2024 року увійшов до переліку найбільших венчурних угод в історії.

Короткі відповіді на часті запитання

Databricks — що це за компанія простими словами?

Американська технологічна компанія, яка продає хмарну платформу, де підприємства зберігають, обробляють і аналізують дані та створюють на їхній основі моделі штучного інтелекту. Працює поверх AWS, Azure і Google Cloud.

Хто заснував Databricks і коли?

Компанію заснували 2013 року семеро дослідників із Каліфорнійського університету в Берклі — творці проєкту Apache Spark. Генеральним директором від початку є Алі Годсі.

Чим Databricks відрізняється від Snowflake?

Databricks історично сильніша в інженерії даних і машинному навчанні, Snowflake — у SQL-аналітиці та простоті використання. Сьогодні обидві платформи активно заповзають на територію одна одної.

Чи є Databricks українською чи європейською компанією?

Ні. Країна походження Databricks — США, штаб-квартира в Сан-Франциско. Водночас компанія має інженерні офіси в багатьох країнах світу.

Чи можна користуватися Databricks безкоштовно?

Базові open-source проєкти — Apache Spark, Delta Lake, MLflow — безкоштовні для всіх. Керована платформа має пробний період і безкоштовну версію з обмеженою функціональністю, але повноцінне корпоративне використання оплачується за спожиті обчислення.

Що варто зрозуміти перед вибором платформи даних

Якщо ви оцінюєте Databricks для власної компанії чи просто вивчаєте ринок, практичний висновок такий: платформа найкраще розкривається там, де є великі обсяги різнорідних даних і потреба в машинному навчанні або AI, а не лише у звітності. Для простої аналітики невеликої компанії її потужність може виявитися надмірною, а рахунок — неприємно несподіваним через модель оплати за споживання.

Перед впровадженням варто порахувати очікуване навантаження, порівняти його з альтернативами та перевірити, чи є в команді фахівці, здатні працювати з платформою. Технологія дає перевагу лише тоді, коли під неї є реальна задача й люди, які цю задачу вміють розв’язувати.