فى 2 مارس 1895 وبعد 16 عاما من النفى عاد الخديو إسماعيل إلى مصر، لكنه عاد جثة هامدة ليستقر للأبد فى مسجد الرفاعى، كان قبل موته حزينا لكون ابنه "توفيق" أول من "تخلى عنه" وباعه لأوروبا وقواتها حتى يصبح خديو مصر الجديد.
لكن السؤال الصعب: هل تذكر "إسماعيل" فى أيامه الأخيرة شقيقه الراحل "أحمد رفعت" الذى كان وليا للعرش قبله، والذى مات أو "أغتيل" سنة 1858 أى قبل تولى إسماعيل الحكم فى سنة 1863 .
إسماعيل هو ابن إبراهيم ابن محمد على، ولد فى31 ديسمبر 1830 فى الجماليّة فى قصر "المسافرخانة"، لكن "أحمد رفعت" كان قد سبقه للوجود بنحو 5 سنوات.
حدث فى سنة 1858، أن أقام سعيد باشا وليمة كبيرة بالإسكندرية، دعا إليها جميع أمراء الأسرة، بمن فيهم ولى العهد رفعت باشا، وبعد انتهاء الوليمة عاد رفعت باشا وبصحبته الأمير عبد الحليم بن محمد على وبعض رجال الحاشية بقطار خاص إلى القاهرة، وتصادف عند وصول القطار إلى كوبرى كفر الزيات أن الكوبرى كان مفتوحاً لمرور السفن، فسقط القطار فى النيل وغرق كل من فيه إلا الأمير عبد الحليم باشا.
يذهب البعض أن هناك الأمير أحمد رفعت كان ضحية مؤامرة متقنة، خاصة أن سعيد باشا كان يفضل عليه إسماعيل الذى جربه كثيرًا فى إدارة بعض شئون الدولة وكان خير سند له، فعندما زار بلاد الشام عام 1859 ترك إسماعيل ـ وليس ولى عهده رفعت باشا ـ قائمقامًا بدله، وعندما سافر إلى الحجاز حل محله إسماعيل أثناء هذه الزيارة حتى أنه عينه سرداراً للجيش المصرى بعد عودته، وعهد إليه بإخماد الفتنة بين بعض القبائل السودانية فوفق إسماعيل فى ذلك. وفى 19 يناير 1863 توفى سعيد بعد فترة علاج طويلة من مرض السرطان، فانتقلت ولاية مصر إلى إسماعيل باشا.