الخزنجي "حسن باشا"، (وزير التجارة في الدولة العثمانية في القرن 16م)، اشترى قصرا فخما، وأهدى ابنته الأميرة الكفيفة "خديجة" إياه، فسمي منذ ذلك الحين بـ"قصر خداوج العمياء"، خديجة كانت البنت الصغرى المدلّلة عند الأب حسن باشا، وكانت شديدة الحسن، كثيرة الإعجاب بنفسها، أما الوالد، فقد شغل منصب قائد للأسطول البحري الجزائري، ويقال إنه عند عودته من إحدى سفرياته أحضر لابنته مرآة ثمينة من الزجاج الماسي، وتقول الروايات الشعبية إنها صارت كثيرة النظر في المرآة، بعد أن صار جمالها يزداد يوما بعد آخر، كثيرة التسريح لشعرها، كثيرة التغيير لملابسها، حتى فقدت بصرها، وفشل الأطباء والحكماء في علاجها، فخاف حسن باشا على مصيرها بعد وفات ه، فاشترى لها القصر المذكور، وأثّثه بكل جميل وغال، ووضع في خدمتها عددا كبير من الإماء والعبيد.
وللقصر الواقع في "سوق الجمعة" بالقصبة السفلى، والذي تم تشييده على أنقاض زاوية وضريح سيدي احمد بن علي (والذي هو الآن متحف للفنون الشعبية) قصة أعجب من قصة مالكته، فقد أشرف على بنائه ضابط بحرية روماني يدعى "الرايس يحيى"، ثم جاء الخزنجي حسن باشا عهد الداي محمد بن عثمان، فأدخل عليه تعديلات كثيرة.
وبعد قرنين من وفاة الأميرة خديجة، أي عام 1783، استأجر القصر، تاجر يهودي ثري ومفاوض بارع يدعى "ميشيل كوهين بكري"، قدم من مدينة جنوة الإيطالية، للإقامة مع أسرته في قصر "خداوج"، واستقرّ به المقام في المدينة، ويشاع أن ثروته نمت بشكل مدهش من معاملاته التجارية، وهو اليهودي الذي اشتغلت حفيدته "عزيزة" -كدأب كل يهود الإيالة- مترجمة لدى الحاكم الفرنسي عند سقوط الجزائر.
وقد استولت عليه السلطات الفرنسية عقب استسلام الداي حسين وسقوط مدينة الجزائر عسكريا عام 1830، ليصبح مقرا لأول بلدية فرنسية بالعاصمة، ولم يستطع ملك فرنسا نابليون الثالث وزوجته أوجيني، بعد احتلال الجزائر، كبت عشقهما لهذا القصر الجميل، فاتخذاه مزارا لهما ابتداء من الع ام 1860، كلما حلا بالجزائر.
ويحوي القصر حاليا معروضات وتحفا صوفية وجلدية وفضية ونحاسية وخشبية، من مختلف أنحاء الوطن، وفي إحدى الغرف يندهش الزائر عند مشاهدة المرايا البديعة، ومن بينها المرآة التي أفقدت الأميرة خديجة بصرها.