Зміст:
Визначення - Що означає робота ланцюжка?
Робота ланцюга - це термін у MapReduce, який стосується запуску декількох кроків у одній задачі MapReduce. За допомогою ланцюжка завдань перше завдання надсилає висновок на одне завдання, яке надсилає вихід до наступного завдання в ланцюжку і так далі до завершення завдання. Це форма трубопровідних завдань MapReduce, щоб зробити їх більш керованими.
Техопедія пояснює роботу Йобін Лайнінг
Робота ланцюжка в MapReduce стосується виконання декількох завдань в одному завданні MapReduce.
Наприклад, ланцюжок робіт може складатися з:
Карта1> Зменшити1> Карта2> Зменшити2
Перевага ланцюгової роботи полягає в тому, що вона виключає необхідність проміжних даних між усіма етапами конвеєра. У цьому сенсі ланцюжок завдань схожий на перенаправлення вводу / виводу в оболонці Unix. Вихід з однієї ланки ланцюга надходить на вхід у наступному завданні ланцюга. MapReduce дозволяє розробникам вказувати залежності, або які завдання повинні бути виконані, перш ніж обробляти наступні завдання в ланцюжку за допомогою виклику методу addDependingJob ().
Це полегшує розробнику написання програми MapReduce, яка може обробляти велику кількість даних.
