Зміст:
Визначення - Що означає великі дані?
Великі дані - це процес, який застосовується тоді, коли традиційні методи видобутку та обробки даних не можуть розкрити уявлення та сенс основних даних. Дані, які неструктуровані, або чутливі до часу або просто дуже великі, не можуть бути оброблені двигунами реляційних баз даних. Цей тип даних вимагає іншого підходу до обробки, який називається великими даними, який використовує масивний паралелізм на легкодоступному обладнання.
Техопедія пояснює великі дані
Просто, великі дані відображають мінливий світ, в якому ми живемо. Чим більше речей змінюється, тим більше змін фіксується і записується як дані. Візьміть погоду як приклад. Для синоптиків кількість зібраних у всьому світі даних про місцеві умови є значною. Логічно, було б сенсом, що місцеве середовище диктує регіональні ефекти, а регіональні ефекти диктують глобальні ефекти, але цілком може бути навпаки. Так чи інакше, ці дані про погоду відображають атрибути великих даних, коли обробка даних в реальному часі потрібна для великої кількості даних і де велика кількість входів може бути машинним, особистими спостереженнями або зовнішніми силами, як сонячні плями.
Обробка такої інформації ілюструє, чому великі дані стали настільки важливими:
- Більшість даних, зібраних зараз, є неструктурованими і вимагають різного зберігання та обробки, ніж ті, що є у традиційних реляційних базах даних.
- Наявна обчислювальна потужність є ракетно-небесною, тобто існує більше можливостей для обробки великих даних.
- В Інтернеті демократизуються дані, постійно збільшуючи доступні дані, одночасно виробляючи все більше і більше необроблених даних.
Дані в сирому вигляді не мають значення. Дані потрібно обробити, щоб вони були цінними. Однак тут криється притаманна проблема великих даних. Чи обробка даних з нативного об'єктного формату є корисною для розуміння вагомою великою капітальною вартістю цього? Або просто занадто багато даних з невідомими значеннями, щоб виправдати гру обробці їх за допомогою великих інструментів даних? Більшість із нас погодиться з тим, що, будучи спроможним передбачити погоду, матиме значення, питання полягає в тому, чи може ця величина перевищувати витрати на роздрібнення всіх даних у реальному часі на звіт про погоду, на який можна було б розраховувати.
