Taroudannt is in de elfde eeuw de hoofdstad van een klein sjiitisch koninkrijk (koninkrijk van de Bajjalis) 2 dat theoretisch onderhevig is aan de Fatimiden-kaliefen. Geannexeerd door de Almoraviden in 1056, praktisch onafhankelijk onder de Almohaden, was het met name de hoofdstad van de rebellenprinsen Ben Yedder die van 1252 tot 13343 over de Souss regeerde.

De stad werd vernietigd door de Meriniden in 1306, maar werd onmiddellijk herboren en bereikte zijn hoogtepunt in de zestiende eeuw onder invloed van Mohammed ech-Cheikh Sâadi, stichter van de Saadian-dynastie, die het de eerste Saadian-hoofdstad maakte vóór Marrakech en een basis voor zijn offensief tegen de Portugezen die in Agadir waren geïnstalleerd (destijds Santa Cruz de Cap de Gué genoemd). Het werd toen een belangrijk caravancentrum, beroemd om de overvloed en kwaliteit van zijn goederen: suiker, katoen, rijst, enz.