اشتاق بيرم التونسى إلى العودة لمصر من منفاه فى فرنسا، فلجأ إلى حيلة وهى اختصار اسمه فى جواز سفره الجديد الذى كان يحمل ختم القنصلية البريطانية، واستطاع بهذا الجواز أن يصعد إلى السفينة: «دون أن ينتبه أحد فى قلم الجوازات»، وفقًا لما يذكره هو فى مذكراته الصادرة عن «قطاع الثقافة - أخبار اليوم - القاهرة»، وينزل فى ميناء بورسعيد يوم 27 مارس 1922 ويتجه منها إلى «الأنفوشى» بالإسكندرية للقاء زوجته التى تركها وهى حامل، ثم وضعت طفلة أسمتها عايدة، لكنه فوجئ بأنها حصلت على الطلاق فى غيابه، بعد أن أثبتت أن زوجها مغضوب عليه ولا أمل فى رجوعه.
كانت عودته متخفيا محطة درامية فى حياة هذا الاستثنائى فى تاريخ الإبداع المصرى والعربى والمولود فى «الأنفوشى» بالإسكندرية يوم 23 مارس سنة 1893 وفقًا لمذكراته، وتم نفيه إلى تونس فى 25 أغسطس 1920 حسبما يذكر عبدالغنى داود فى كتابه «بيرم التونسى قيثارة الفن» «كتاب الهلال - القاهرة»، مضيفًا«ترك نص أوبريت «شهر زاد» وكانت اسمها فى البداية «شهو زاد»، ويذكر هو سبب نفيه قائلا: «كان على رأس البلد السلطان فؤاد أخو توفيق الذى أدخل الإنجليز إلى مصر، وبدلًا من أن يكون راعيًا للبلد مسؤولًا عن رعيته، لم يكن يهمه هو وعائلته سوى نهب خيرات البلد بالمشاركة مع الاستعمار، وأغرق فؤاد ابن إسماعيل البلاد فى الديون من أجل نزواته الجنسية، ويظهر أنه أراد تقليد أبيه فى هذه الناحية، فتزوج ودماء الناس تسيل فى مصادمات مع الإنجليز، وسط إشاعة تقول إنه ما تزوج إلا بعد علاقة غير شرعية بينه وبين من تزوجها».
يضيف بيرم «نشرت قصص الفضائح السلطانية فى أزجال ساخرة سميتها «قصائد البامية السلطانى والقرع الملوكى والباذنجان العروسى، ودأبت كل يوم على نشر فضيحة جديدة عن فؤاد وأنصاره، واتصل بى أذنابهم واعدين بالمناصب الكبيرة والخدمات الكثيرة، إذا أنا رجعت عن طريقى ولكنى رفضت أى شىء من متاع الدنيا على حساب ضياع استقلال البلاد واستغلال الناس، ولما وجدت الحكومة المصرية أنها عجزت عن إغرائى كما أنها عاجزة عن أن تنال منى بمحاكمها أصدرت أمرا إداريا بإبعادى إلى تونس»، وهناك اتصلت بالعائلة التى قال جدى وأبى أنهم ينتمون إليها هناك، فاقتصرت صلتى بها على المجاملات البسيطة، فالعائلة صارت عائلة إقطاعية ذات مناصب وتنطوى على نفسها فيما عدا ذلك».
يتحدث عن معاناته فى تونس، قائلا: «وجدت الجميع يعتقدون أن التعاون معى كان بمثابة عمل عدائى ضد الاستعمار الذى كان قد خرج منتصرًا من الحرب العالمية الأولى، وتفرغ إلى البطش بالشعوب المغلوبة، ولم أجد بدا من الذهاب إلى فرنسا عسى أن أجد أبواب العمل مفتوحة بها والجو كله حرية»، وفى فرنسا يتواصل عذابه بحثًا عن عمل، ويتصل ببعض أهل الصحافة فى مصر عارضًا عليهم قصائده التى تقارن بين الحياة فى فرنسا.. يؤكد: «وجدت من أحدهم تجاوبا وصرت أحرر له جريدته الأسبوعية من الجلدة إلى الجلدة ولا يصلنى منه إلا ما يعنينى على حياة الكفاف، وكان من أطرف ما كتبت كتيب «السيد ومراته فى باريس» الذى كان مشحونا بالمفاجآت الطريفة التى تقابل سيدة مصرية من صميم الأحياء الشعبية لدى ذهابها إلى فرنسا»..يضيف: «كان جو فرنسا القارص الذى يحتاج شتاؤه إلى مصاريف تدفئة تساوى جميع نفقات الإنسان الأخرى، جعلنى أسقط فريسة البرد إذ لم أملك ما يساعدنى على التدفئة، حتى أتمكن من الإنتاج، وهجرنى من كنت أراسلهم رغم أننى علمت أنهم أكلوا من إنتاجى المن والسلوى واقتنوا العزب والعمارات».
يعود إلى مصر لكنه بقى منفيا أيضًا فيها.. يذكر عبدالغنى داود، أنه اختبأ فى منزل سيد درويش بحى «كلوت بك»، لكن عيون السلطة تشى به فتعيده القنصلية الفرنسية منفيًا إلى فرنسا فى 25 مايو، مثل هذا اليوم، 1923.. يتهم بيرم زملاءه من «أهل الأدب» بأنهم وشوا به، يذكر: «إذا كان رجال السياسة لم يشعروا بى حينئذ فقد شعر بى الزملاء من أهل الأدب، فأبلغوا السلطات عنى وعن أمكنة وجودى وحركاتى وسكناتى فقامت بترحيلى من جديد إلى خارج مصر، ولم أكد أغادر مصر حتى علمت بوفاة سيد درويش «15 سبتمبر 1932» فى مقتبل العمر، بعد أن اعتصر شبابه فى تحويل الموسيقى المصرية من أنات مملة إلى نغمات تعبر عن أحاسيس الناس وانفعالاتهم فى مختلف أحوال حياتهم اليومية وتتجاوب آماله وأحلامه».