Allocation équitable de tâches pour l'analyse de données massives

De nombreuses entreprises utilisent l'application MapReduce pour le traitement de données massives. L'optimisation statique de telles applications est complexe car elles reposent sur des opérations définies par l'utilisateur, appelées map et reduce, ce qui empêche une optimisation algébrique. Afin d'optimiser l'allocation des tâches, plusieurs systèmes collectent des données à partir des exécutions précédentes et prédisent les performances en faisant une analyse de la tâche. Cependant, ces systèmes ne sont pas efficaces durant la phase d'apprentissage ou lorsqu'un nouveau type de tâches ou de données apparait. Dans ce papier, nous présentons un système multi-agents adaptatif pour l'analyse de données massives avec MapReduce. Nous ne pré-traitons pas les données et adoptons une approche dynamique où les agents reducers interagissent durant l'exécution. Nous proposons une ré-allocation des tâches basée sur la négociation pour parvenir à faire décroitre la charge de travail du plus chargé des agents reducers et ainsi réduire le temps d'exécution.