Зміст:
Визначення - Що означає JobTracker?
JobTracker - демон, який працює на двигуні MapReduce Apache Hadoop. JobTracker - це найважливіша послуга, яка виконує вирішення всіх завдань MapReduce на різні вузли кластера, в ідеалі на ті вузли, які вже містять дані, або, принаймні, розташовані в тій же стійки, що і вузли, що містять дані.
Техопедія пояснює JobTracker
JobTracker - це послуга в Hadoop, яка відповідає за отримання запитів клієнтів. Він призначає їх TaskTrackers на DataNodes, де потрібні дані локально. Якщо це неможливо, JobTracker намагається призначити завдання TaskTrackers в межах тієї ж стійки, де дані локально є. Якщо з якихось причин це також не вдається, JobTracker призначає завдання TaskTracker, де існує репліка даних. У Hadoop блоки даних реплікуються через DataNodes, щоб забезпечити надмірність, так що якщо один вузол кластера вийшов з ладу, завдання також не вийде з ладу.
Процес роботи JobTracker:
- Запити на роботу від клієнтських програм отримує JobTracker,
- JobTracker звертається до NameNode для визначення місця розташування необхідних даних.
- JobTracker розміщує вузли TaskTracker, які містять дані або принаймні знаходяться біля даних.
- Завдання передається вибраному TaskTracker.
- TaskTracker виконує свої завдання під ретельним наглядом JobTracker. Якщо завдання не вдалося, JobTracker просто повторно передає завдання іншому TaskTracker. Однак, JobTracker сам по собі є єдиною точкою відмови, тобто якщо він не працює, вся система знижується.
- JobTracker оновлює свій статус після завершення завдання.
- Клієнт-запитувач тепер може опитувати інформацію від JobTracker.
