Cuprins:
Definiție - Ce înseamnă Lanțul de locuri de muncă?
Lanțul de locuri de muncă este un termen în MapReduce care se referă la lansarea mai multor pași în aceeași sarcină MapReduce. Odată cu înlănțuirea postului, primul job trimite ieșirea la un singur job, care trimite la următoarea lucrare din lanț și așa mai departe până când lucrarea este finalizată. Este o formă de realizare a lucrărilor MapReduce pentru a le face mai gestionabile.
Techopedia explică Lanțul de locuri de muncă
Lanțul de joburi în MapReduce se referă la executarea mai multor sarcini într-o singură lucrare MapReduce.
De exemplu, un lanț de locuri de muncă ar putea consta din:
Map1> Reduce1> Map2> Reduce2
Avantajul lanțului de locuri de muncă este că elimină nevoia de date intermediare între toate etapele unei conducte. În acest sens, înlănțuirea lucrărilor este similară redirecției intrării / ieșirilor din shell-ul Unix. Ieșirea dintr-o legătură din lanț se scurge la intrarea în următorul job din lanț. MapReduce permite dezvoltatorilor să specifice dependențele sau ce joburi trebuie completate înainte de a procesa următoarele joburi în lanț prin utilizarea apelului de metodă addDependingJob ().
Acest lucru face mai ușor pentru un dezvoltator să scrie un program MapReduce care poate prelucra cantități mari de date.
