Що саме таке hadoop? теорія циніка

Зазвичай все, що виглядає занадто добре, щоб бути правдою. Такий може бути випадок з Apache Hadoop, проектом з відкритим кодом, з яким широко балують, про який всі продовжують говорити. То що, саме, ця річ? Гарне питання!

Експерти сумнівні

Аналітик Марк Мадсен з "Третьої природи" прибивав його до стіни в InsideAnalysis.com: "Що таке Hadoop. Що Hadoop - ні." Оскільки хтось знає, як створити реальні рішення, а потім реально їх розгорнути, його поради не слід ігнорувати.

Але тут протікає глибший струм, і наближається час, щоб розкопати коріння цієї захоплюючої флори, щоб побачити, чи не можемо ми отримати певну перспективу щодо того, що відбувається на більшій макрорівні. Зрештою, продавці продовжують говорити, що це велика справа, а учасників так багато.

Наймайте комітентів! (?)

Наразі три компанії є власником більшості зароджених ринків Hadoop: Cloudera, Hortonworks і MapR. На нещодавньому, доволі суперечливому брифінгу через Boulder BI Brain Trust (#BBBT) Джим Уокер з Hortonworks зробив цей цікавий коментар:

"Ви не можете просунути техніку, якщо не наймете комітентів!"

Прийти знову?

Це не схоже на те, що може сказати сенатор Палпатін у фільмі "Зоряні війни"?

Сенатор Палпатін: "Працевлаштуйте комітетів!"

Поруч Міньйон: "Але, але, сер! Подумайте про дітей!"

Для непрофесійних людей, які просто намагаються встигнути виконати справи, порушники - це люди, які присвячені певному проекту з відкритим кодом. Фонд Apache має суворі протоколи, за якими їхні проекти рухаються вперед, що часто є хорошою справою.

Однак, коментар Уокера вимагає проведення експертизи. Одне загострене питання (загрожує сприятливістю ігрових днів): це обіцянка чи загроза? Він каже, що Hortonworks може просто взяти свій м'яч і піти додому?

Співпраця чи конкуренція?

Цікавим, як не парадоксальним, є те, що, як повідомляється, більшість учасників команди Hadoop (приблизно 30 або близько всього) є з Hortonworks та Cloudera - які є конкурентами. Це дуже цікавий випадок конкуренції.

Отже, яка угода? Ось здобута здогадка: Hadoop в значній мірі завдячує розумному плану, задуманому групою венчурних капіталістів та інженерів з Кремнієвої долини, які по суті намагаються захистити свої ставки проти Oracle.

Загальна ідея полягає в тому, щоб заробити ринок основою коду, який може бути розширений і підкріплений парком розробок для розробників, які в ідеалі з часом створюватимуть усі засоби управління даними, включаючи продукти бази даних. ДВК можуть інвестувати і готувати гроші в один день. Але в грі є деякі серйозні проблеми.

Як і всі монолітні підприємства, Oracle часто опиняється в перехресті багатьох менших гравців. А хто б не хотів лише частину свого вражаючого доходу? Тільки за останній квартал Oracle забронував ~ 9 мільярдів доларів. Але кинути виклик Великому Червоному та побити їх - це дві дуже різні реалії.

Безкоштовний веб-ефір: що таке Hadoop і куди йде? Приєднуйтесь до Еріка Кавана, Робіна Блора та Техопедії для обговорення того, наскільки Hadoop сильно відрізняється від Linux або SOA, і чому його майбутнє залишається значною мірою неписаним.

Проблеми з упаковкою

Справа про Hadoop, сама по собі, полягає в тому, що це не упаковане рішення жодним чином. Скоріше, це складна колекція модулів, які дозволяють високоякісним програмістам використовувати масивні алгоритми паралельної обробки, щоб робити дуже конкретні речі. Але тут немає фантазійного користувальницького інтерфейсу, а посібники - жорстокі.

Додайте до цього виклику цю критичну проблему: вам також потрібні ділові люди, які мають принаймні загальне розуміння того, що вона може зробити. Ці люди повинні вміти створювати ідеї, як це можна використовувати, а потім повідомляти розробникам, які згодом повинні виробляти, тестувати, впроваджувати та підтримувати програми.

Організація цього танцю - це те, як Cloudera та Hortonworks заробляють велику частину своїх грошей. Проблема полягає в тому, що більшість рішень, створених за допомогою цього методу, є унікальними і зазвичай зосереджені на операційних системах, на відміну від аналітичних. Переклад? Такі речі насправді не піддаються упакованим програмним продуктам.

Прибутковість упаковки!

Що повертає нас до Oracle. Ларрі Еллісон та хлопці займаються продажем сіна, базуючи техніку, обладнання, послуги та (чекайте цього …) пакують програмне забезпечення. Клудера, мабуть, зрозумів це, звідси зосередився на Імпалі. Але Hortonworks?

Їх модель, схоже, більше імітує модель RedHat, людей, які побудували мільярдний бізнес на версії операційної системи Linux. Nary - великий постачальник у галузі програмного забезпечення підприємства, не пише для Linux, ОС, за якою IBM очолював Microsoft на передовій. Але Hadoop - це не Linux, не дальний постріл.

Доктор Джеффрі Малафський, колишній нанотехнолог Військово-морського флоту США, а тепер науковець із "Фазичних систем" та Інституту PSIKORS, переганяє таке значення Hadoop:

"Hadoop чудово підходить для пошуку, дуже великий аналіз тенденцій для стохастичних результатів, і, швидше за все, дуже дешева розумна паралельна обробка таких речей, як це робила моя колишня дружина: квантовий механічний обчислення функції хвилі твердого тіла та хімічних реакцій. Ця реальна наука покладається на суперкомп'ютерах і дещо перейшов у паралельну обробку, але це суттєва зміна підходу до програмування. Молодими, розумними, енергійними аспірантами стане це зробити. Я підозрюю, що гранти на дослідження починають рухатися в цьому напрямку для деяких потужних обчислювальних технологій програми. "

Ви помітите, що це не схоже на сховище даних, бізнес-аналітику, інтеграцію даних або навіть великі дані. Це звучить як суперкомп'ютер. І з якоїсь цікавої причини світи високоефективних обчислень та ділової розвідки ніколи насправді не зіштовхувались чи згуртовувалися жодним значущим чином.

Довга дорога попереду для Hortonworks і Cloudera

І ось справді погані новини для Hortonworks і, можливо, для Cloudera. Великі постачальники, такі як IBM, SAP, Oracle і Teradata, м'яко кажучи, і цитувати Dire Straits: "Їх хлопці не дурні!" Три і більше років тому всі вони розгорнули серйозні стратегії Hadoop.

Основними для цих планів є такі речі, які очікують від бізнес-користувачів: графічні інтерфейси користувачів, функціональність перетягування, інструменти моделювання та виявлення, робочий процес, управління, безпека; коротше кажучи, всі шматочки та шматочки, які роблять програмне забезпечення підприємства придатним для використання. І звичайно, ці великі постачальники мають масивні бази встановлення.

Безумовно, і Cloudera, і Hortonworks зробили хороший бізнес, але лише невелику частину того, що ці основні гравці отримують щороку. Робіть математику на те, скільки претендентів стягують із своїх клієнтів порівняно з тим, наскільки ймовірні їхні накладні витрати, і картина не така рожева. Зрозуміло, це рівнозначно курсу з проблемами програмного забезпечення на ранній стадії, але все ж …

Майбутнє Hadoop?

Тож, чи можемо ми побачити класичну хвилю придбань, як це було у нас в аутах, коли IBM купила Cognos, Oracle отримав Hyperion, а SAP покуповував BusinessObjects? Можливо, але нові діти в цьому блоці не володіють Hadoop; вони просто позичать його. І настільки ж багатообіцяючими, як YARN і Tez можуть бути, цикли випуску, здається, відстають від вироблення важких нападників.

Днями інсайдерський інспектор прокоментував, що політика в Apache може бути серйозним вузьким місцем. Це не дуже дивно, особливо якщо врахувати залучені долари - новатори мають велику мотивацію вважати його багатим. І хтось помічав, як останнім часом Chrome, схоже, перевершив Firefox за своєю функціональністю та працездатністю? Хтось із закритим джерелом?

Одне впевнене: ця гра розігруватиметься цікавими способами. Так, ссавці (читайте: дрібні постачальники) часто можуть випередити динозаврів; але все ще в усьому світі є алігатори та крокодили; і якщо ви натрапите на одного зненацька, ви можете просто виявити, наскільки гострими можуть бути ці зуби. Кілька крокусів разом могли навіть зняти слона чи двох.