Q:
Як я можу навчитися використовувати Hadoop для аналізу великих даних?
A:Набір програмного забезпечення Apache, відомий як Hadoop, стає дуже популярним ресурсом для роботи з великими наборами даних. Цей тип програмного забезпечення для обробки даних був побудований для того, щоб допомогти агрегувати дані конкретними способами на основі конструкцій, які можуть зробити деякі види проектів даних більш ефективними. Однак Hadoop - це лише один із багатьох інструментів для обробки великих наборів даних.
Один з перших і найосновніших способів дізнатися про аналіз великих даних за допомогою Hadoop - це зрозуміти деякі компоненти верхнього рівня Hadoop та те, що він робить. До них відносяться «платформа управління ресурсами» Hadoop YARN, яка може бути застосована до певних типів налаштувань мережі, а також набір функцій Hadoop MapReduce, що застосовуються до великих наборів даних. Існує також розподілена файлова система Hadoop (HDFS), яка допомагає зберігати дані в розподілених системах, щоб їх можна було швидко та ефективно індексувати або отримувати.
Крім цього, ті, хто хоче ознайомитися з Hadoop, можуть ознайомитись з окремими опублікованими ресурсами для професіоналів, які пояснюють програмне забезпечення на релейному рівні. Цей приклад Кріса Стуккіо в особистому блозі дає чудовий набір точок про Hadoop та масштаб даних. Одним із основних заходів є те, що Hadoop може використовуватися частіше, ніж необхідно, і не може бути найкращим рішенням для індивідуального проекту. Перегляд таких видів ресурсів допоможе професіоналам ознайомитись із деталями використання Hadoop у будь-якому конкретному сценарії. Стуккіо також надає метафори для прив’язки функцій Хадопа до конкретних фізичних завдань. Тут, наприклад, підраховується кількість книг у бібліотеці, тоді як функція Hadoop може розбити цю бібліотеку на розділи, надаючи індивідуальні підрахунки, об'єднані в один сукупний результат даних.
Більш поглиблений спосіб, завдяки якому професіонали можуть дізнатися більше про Hadoop та її застосуванні до великих даних, це через спеціальні навчальні ресурси та програми. Наприклад, компанія, що навчається в Інтернеті, Cloudera, відомий постачальник дистанційних навчальних занять, має ряд цікавих варіантів використання Hadoop та подібних видів обробки даних.
