بعد استشهاد الشيخ عبد الله بن ياسين مؤسس دعوة المرابطين تولى الشيخ أبو بكر بن عمر اللمتوني زعامة المرابطين في سنة (451هـ=1059م)، وقد كان زعيمًا سياسيًا وعالمًا شرعيًا، وخلال سنتين من قيادته لهذه الدعوة الناشئة سجل التاريخ ما يعرف بدويلة المرابطين أو دولة المرابطين الصغرى والتي شملت مساحة صغيرة جدًا في شمال السنغال وجنوب موريتانيا.
وأثناء توليه قيادة دعوة المرابطين حدثت فتنة بين بعض قبائل البربر في المنطقة الواقعة بين المغرب وموريتانيا فتوجه أبو بكر بن عمر اللمتوني بقسم من المرابطين ليحلَّ الخلاف، تاركًا زعامة المرابطين لابن عمِّه الأمير الزاهد