تركوا مصر وهجروها بعد أن وصل هو إلى سدة الحكم في البلاد، على الرغم من أنه عاش وسطهم في حارة اليهود، ولم يعاديهم كما زعموا حيث عاملهم كمواطنين مصريين طالما اتبعوا قوانين البلاد، فقد قضى جمال عبد الناصر فترة طفولته في منزل بسيط بحارة عدس بالخرنفش المجاورة لحارة اليهود وسط القاهرة.
منزل ناصر في الخرنفش، ما يزال موجودًا حتى الآن حاملاً الطابع اليهودي القديم، حيث تعلو مدخله نجمة داوود، محفورة بشكل بارز لأعين الناظرين، لم يكن المنزل بكاملة ملكًا لعبد الناصر والد جمال، بل كان يسكن في إحدى وحداته السكنية بالدور الثاني، وكان تتكون من ثلاث غرف وصالة كبيرة وممرًا ممتدًا بين حمامين ومطبخ كبير، عبد الناصر عاش هو ووالده وزوجة والده، في هذا المنزل حتى إلتحق بالجيش المصري.
المنزل الذي اشتراه والد جمال كان يعد مثالاً جلياً للوحدة الوطنية في مصر حيث ضم بين جنباته يهودًا ومسيحيين ومسلمين، حيث كانت تسكن في الشقة المقابلة لتلك التي يملكها جمال عبد الناصر أسرة مسيحية، فيما كانت أخرى يهودية تسكن في الطابق العلوي.
أما عن أسباب اختيار والد جمال للعيش في هذه المنطقة هو عمله في مكتب بريد الخرنفش القديم، ما أدى إلى أن يلتحق الرئيس الراحل بمدرسة النحاسين الإبتدائية القريبة بالمنزل.
أما عن المنزل الذي يعود إلى أسرة مفجر الثورات في ذلك الوقت جمال عبد الناصر، فهو يقع في قرية تدعى بني مر التابعة لمركز الفتح بمحافظة أسيوط، والذي كان قد تحول بفعل عوامل المناخ والإهمال إلى منزل إيل للسقوط والإنهيار.
المنزل الذي يتكون من طابقين والمبني من الطين والطوب اللبن، وسقفه من جريد النخيل والعروق الخشبية، باتت جدرانه متصدعة متهالكة ما ينذر بإقتراب سقوطه، دون استفادة الدولة منه كمزار سياحي قد يجلب الكثير من الأموال لخرينها بفضل الحب الكبير والكاريزما التي كان يتمتع بها الرئيس الراحل، على الرغم من ضم محافظة أسيوط له إلى تعداد المباني التراثية ذات القيمة التاريخية،
جمال بعد التحاقه بالجيش وتركه منزل جده "حسن خليل" في "بني مر" بأسيوط، كان كثير التردد هو وزملاؤه عليه في فترات إجازاتهم من الخدمة العسكرية، ليكون بعد ذلك شاهدًا على اجتماعات الضباط الأحرار للتحضير لقيام ثورة 23 يوليو 1952 وكان في مقدمتهم الرئيس الراحل محمد نجيب.
بعد وفاة جمال عبد الناصر حضر إلى منزل العائلة كل من الرئيس الراحل أنور السادات وحسين الشافعي وبعض قيادات الثورة، وأدوا واجب العزاء، وقال السادات حينها داخل المنزل: "هذا منزل عبد الناصر، به طوبة حمراء وطوبة خضراء، كان عبد الناصر يملك أن يرفع هذا الطوب ويجعله طوبة من ذهب وطوبة من فضة، لكن كانت مبادئ عبد الناصر أن يبقى كما هو حتى الموت" ثم أجهش بالبكاء.
أما في عام 1923 فقد انتقلت أسرة جمال عبد الناصر من أسيوط إلى الخطاطبة بسبب نقل مقر عمل والده إلى مكتب البريد هناك، والخطاطبة قرية صغيرة كانت تملكها في ذلك الوقت سيدة تدعى "تفيدة هانم"، ويمر بها خط للسكة الحديد تتوقف في محطة صغيرة يعمل فيها بعض العمال إذ كانت وظيفتهم هي إستقبال الفحم الذي ينقله الإنجليز إلى وادي النطرون.
جمال عبد الناصر إلتحق بمدرسة الخطاطبة الأولية التي تتكون من فصل دراسي واحد ومدرس وحيد وناظر، وكانت وقتها تابعة لمصلحة السكك الحديدية، منقولاً من مدرسة جبل الزيتون بالإسكندرية حيث قضى فيها الفترة ما بين عامي 1923 و1924.