Ancienne demeure de l'Imam Ibn Abdessalem, un savant de l'époque hafside, mort en 1348, ce bâtiment devint par la suite le siège de la Médersa Asfouria puis celui d’une association culturelle qui fut créée en 1896 à l'initiative de Cheikhs de la grande mosquée Ezzitouna et d'anciens élèves du Collège Sadiki.

Elle comprend une salle de réunion dotée d'une bibliothèque. Grâce aux cours et conférences des éminents professeurs qui s'y sont succédé, dans les différentes disciplines modernes, l'Institution, dont le but était de permettre aux étudiants de la Zitouna d'accéder aux sciences exactes, participa activement à l'essor de la culture tunisienne.

Elle doit son nom au célèbre historien tunisien Ibn Khaldoun, né à Tunis au début du XIVe siècle. Après l'Indépendance et suite à l'unification des programmes de l'Education Nationale, l'Association cessa ses activités et la bibliothèque qui en dépendait fut affectée à la Bibliothèque Nationale qui assure, depuis, sa gestion.

Le reste du bâtiment ainsi que l'ancienne médersa El Hamzia, avoisinante, sont en cours de rénovation et seront affectés aux activités culturelles de la Ville.