Q:
Які обставини спричинили піднесення екосистеми великих даних?
A:Є багато факторів, які сприяли появі сьогоднішньої екосистеми великих даних, але існує загальний консенсус, що великі дані виникають через цілий ряд апаратних та програмних конструкцій, які просто дозволяли існувати великим даним.
| Вебінар: Big Iron, Знайомтеся з великими даними: Звільнення даних основної системи за допомогою Hadoop & Spark Зареєструйтесь тут |
Звичайне визначення великих даних таке: Набори даних, які є достатньо великими та складними, що не піддаються простому ітераційному керуванню або керуванню вручну. Великі набори даних часто ідентифікуються як набори даних, які не можуть вписатись у просту мережу баз даних, оскільки їх аналіз вимагає занадто багато роботи з боку серверів, що обробляють дані.
Зважаючи на це, основна частина того, що створювало великі дані, - це ідея, яку ми знаємо як закон Мура, або подвоєння транзисторів на ланцюзі кожні два роки, створюючи все менші апаратні та пристрої зберігання даних (а також більш потужні мікропроцесори) . У поєднанні із Законом Мура, і, можливо, через нього, обчислювальна здатність доступних програмних систем постійно зростала, аж до того, що навіть персональні комп’ютери могли обробляти набагато більший обсяг даних, а бізнес та авангардні системи почали вміти обробляти розміри даних немислиме лише кілька років до цього. Особисті системи перейшли від кілобайт до мегабайт, а потім до гігабайт, в процесі, прозорому для споживачів. Системи Vanguard перейшли від гігабайт до терабайт і петабайт і на порядки, подібні до зетабайт, способами, які були набагато менш прозорими для пересічного громадянина.
Ще одним заздалегідь можливим розміщенням великих даних були зміни в способах обробки обробниками наборів даних. Замість того, щоб лінійну обробку за допомогою традиційного реляційного дизайну баз даних, обробники почали використовувати такі інструменти, як Apache Hadoop та пов'язані з ними апаратури управління обладнанням, щоб усунути вузькі місця в процесах передачі даних.
Результатом є світ великих даних, в якому ми живемо, де масивні набори даних зберігаються та підтримуються в центрах обробки даних, і все частіше вони отримують доступ до широкого спектру технологій для широкого спектру використання. Від комерції до екології, від громадського планування до медицини, великі дані стають все більш доступними. Тим часом урядові установи та інші великі організації все ще розсувають межі великих розмірів даних та впроваджують ще більш досконалі рішення.
