كانت الخلدونية منزل الإمام ابن عبد السلام وهو عالم حفصي توفي سنة 749هـ/1348م ثم أصبحت بعد ذلك مقر المدرسة العصفورية ومن بعدها جمعية ثقافية. أنشئت هذه الجمعية سنة 1314 هـ الموافق لسنة 1896م بمبادرة من عدد من قدماء المدرسة الصادقية وشيوخ جامع الزيتونة المعمور.
سميت بالخلدونية نسبة إلى المؤرخ التونسي الشهير ابن خلدون الذي ولد بتونس في بداية القرن الثامن هجري الموافق للقرن الرابع عشر ميلادي.
اثر الاستقلال وتوحيد برامج التربية في تونس, توقف نشاط الجمعية. أما المكتبة التي كانت تتبعها, فقد تم إلحاقها بدار الكتب الوطنية التي تقوم منذ ذلك الوقت بإدارتها, وقد قامت المصالح المختصة لبلدية تونس بترميم المدرستين الحمزية والعصفورية الملحقتين بفضاء الخلدونية لتصبحا فضاء ثقافي متكاملا