Еволюція великих даних

На початку 2000-х років було зрозуміло, що існує велика потреба в інноваціях щодо даних. Обмеження щодо того, що фірми могли зробити зі своїми даними, засмутило керівників та значно знизило ефективність. Багато компаній зберігали величезну кількість інформації, але просто не змогли керувати, аналізувати чи маніпулювати нею на користь. Саме цей зростаючий тиск поступився місцем кордону великих даних.

У 2003 році Google створив MapReduce, додаток для даних, який дозволив фірмі обробляти та аналізувати інформацію про свої пошукові запити на тисячах серверів за короткий проміжок часу. Як масштабована, так і пристосована, програма дозволила Google виконати тисячі завдань із передачею даних за лічені хвилини, що підвищило продуктивність та переглянуло сприйняті межі щодо того, що можна зробити з даними. Майже через 10 років великі дані стали центральним принципом інформаційних технологій. Його широкомасштабний масштаб і можливості кардинально змінили управління даними на робочому місці. Але що спонукало до цієї еволюції та як саме великі дані впливатимуть на майбутнє? Ми думали, що ти ніколи не запитаєш. (Для ознайомлення з великими даними, перегляньте великі дані: як це захоплено, зруйновано і використовується для прийняття бізнес-рішень.)

Пошук відповідей на великі запитання даних

Краса MapReduce полягала в тому, як вона спрощувала дуже складні завдання. Комунікація може бути керована на машинах, системні збої можуть бути усунені, а вхідні дані можуть бути організовані автоматично, процес, який може контролюватися особами, яким більше не потрібні високо технічні навички. Роблячи обробку даних не тільки можливою, але й доступною, Google надихнув культурний зрушення в управлінні даними. Недавно тисячі великих фірм використовували MapReduce для своїх даних.

Але була одна проблема: MapReduce була просто моделлю програмування. Хоча це полегшувало основи обробки даних, саме воно не було відповіддю на існуючі недоліки даних; це був лише дуже потрібний крок у правильному напрямку. Корпорації все ще потребували системи, яка могла б задовольнити свої унікальні потреби в даних і вийти за рамки найголовніших принципів управління даними. Коротше кажучи, технологія, необхідна для розвитку.

Введіть Hadoop

Увійдіть у Hadoop - програмне забезпечення з відкритим кодом, створене декількома програмістами, серед яких Doug Cutting. Там, де MapReduce був основним і широким, Hadoop надав освіжаючу специфіку. Компанії могли розробляти власні спеціально застосовані програми, які вирішували б потреби даних, таким чином, як це не могло жодне інше програмне забезпечення, і воно, як правило, сумісне з іншими файловими системами. Фірма з талановитими програмістами може розробити файлову систему, яка б досягала унікальних завдань із даними, які раніше здавалися недосяжними. Можливо, найкраща частина цього полягала в тому, що розробники поділялися б програмами та програмами між собою, які можна було б пояснити та удосконалити.

Демократизуючи такий важливий ресурс, Hadoop став трендом. Зрештою, багато великих корпорацій, особливо фірм пошукових систем, вважали, що вони потребують цього десятиліттями! Недавно гіганти пошукової системи, такі як Yahoo, оголосили про реалізацію великих програм Hadoop, які генерують дані, що використовуються у веб-пошукових запитах. Як видається хвиля, кілька відомих компаній оголосили про прийняття цієї технології для своїх масивних баз даних, включаючи Facebook, Amazon, Fox, Apple, eBay та FourSquare. Hadoop встановив новий стандарт для обробки даних.

Великі дані, великі проблеми

Хоча вдосконалення технологій передачі даних переробили спосіб поводження компаній з даними, багато керівників досі вважають їх не обладнаними для повного спектру необхідних завдань. У липні 2012 року Oracle опублікував опитування понад 300 керівників на рівні С, яке показало, що хоча 36 відсотків компаній покладаються на ІТ для управління та аналізу даних, 29 відсотків з них вважають, що їхнім системам не вистачає можливостей для задоволення своїх компаній. потреби. Можливо, найяскравішим висновком дослідження було те, що 93 відсотки респондентів вважають, що їх фірма втрачає до 14 відсотків своїх доходів, не маючи змоги використовувати зібрані дані. Це дохід, який можна витратити на створення кращих продуктів та наймання більшої кількості робітників. У той час, коли компанії намагаються зберегти прибуток, покращення даних, щоб фірми могли стати вигіднішими, є необхідністю. Дослідження вказує на те, що, незважаючи на тих, хто вважає, що вплив великих даних на комерцію вже минув, можливості для зростання та просування вони ще мають бути повністю реалізовані.

Що має велике майбутнє для великих даних

Хороша новина полягає в тому, що Hadoop і MapReduce надихнули багато інших інструментів управління даними. Багато нових компаній створюють широкі платформи даних, які працюють на Hadoop, але пропонують широкий спектр аналітичних функцій та простішу інтеграцію системи. Схоже, що корпорації вклали чимало ресурсів для вирішення проблем, пов'язаних із даними, і фінансовий успіх фірм, що підтверджують дані, підтвердив це. У 2010 році фірми, що займаються даними, зробили роздрібні продажі в 3, 2 млрд доларів. Багато експертів підрахували, що ця кількість зросте до колосальних 17 мільярдів доларів лише за 2015 рік. Це факт, який не був втрачений на деяких найбільших технологічних компаніях. І IBM, і Oracle витратили мільярди протягом останніх кількох місяців, щоб придбати фірми з передачею даних. Багато інших фірм зроблять подібні кроки в найближчі роки, оскільки вони продовжують бачити конкурентоспроможну частку ринку.

Великий кордон даних

Кількість зібраних даних продовжує зростати експоненціально, що хвилює деяких, а інших хвилює. Переваги полягають у тому, що люди продовжуватимуть ставати більш продуктивними та адаптивними, коли ми дізнаємось нові речі про наш світ завдяки аналізу даних. Мінус полягає в тому, що існує така велика кількість даних, що багато хто побоюється, що ми не здатні належним чином зберігати все це, а ще менше правильно керувати ним, щоб ним могли користуватися всі, хто цього потребує.

Однак, розвиток великих даних може забезпечити безпрецедентні можливості для вирішення нагальних питань, що стосуються даних. Наприклад, експерти припустили, що якщо великі дані будуть належним чином впроваджені з акцентом на ефективність та якість, це могло б заощадити близько 300 мільярдів доларів на рік лише на витратах на охорону здоров'я; роздрібні торговці зможуть покращити свою прибутковість, державний сектор може надавати кращі послуги, а великі підприємства заощаджують мільярди. І тому, схоже, вирішення наших питань даних потрібно не просто в залах засідань компанії, а всюди. Що говорить про хороші речі про майбутнє великих даних - а можливо, і про наше.