پدرش مردی درویش و وارسته بود و دورش را عده ای از دوستان هنرمند و اهل شعر گرفته بود.
همیشه در منزل آنها درباره شعر و هنر، بخصوص موسیقی بحث می‌کردند و با تاری که در منزل آنها بود گاهی شور و حالی به مجلس می‌ادند.
پس از رفتن دوستان پدر، فریدون، با پنجه‌های کوچک خود شروع به نواختن تار می کرد و آنقدر این کار را ادامه داد تا توانست قطعاتی را که از دوستان پدرش شنیده بود، بنوازد.
در سال 1323 فریدون حافظی برای گذراندن کلاس ششم از کرمانشاه به تهران آمد.
یک روز آگهی هنرستان موسیقی ملی توجهش را جلب کرد و برای یادگیری نت و تکمیل هنرش جهت نام نویسی به این هنرستان می‌رود و در آنجا موسی‌خان معروفی استاد بنام تار این هنرستان از او امتحان بعمل آورد. وقتی فریدون شروع به زدن تار می‌کند، موسی معروفی از زدن او بسیار خوشش می‌آید و صورت او را بوسیده و تار مخصوص خود را به او می‌بخشد و می‌گوید:
«بیا جوان از تار من استفاده کن ما دیگر پیر شده ایم و حالا دیگر نوبت شما جوان‌هاست».
حافظی هم اکنون این تار را که از بهترین تارهای ایران و از ساخته های یحیی خان، استاد و سازنده تار در ایران است نزد خود دارد و با آن می‌نوازد.
حافظی علاوه بر تار به نواختن سه تار هم مهارت کامل دارد او اولین برنامه رادیویی خود را روز شنبه 23 آذر 1323اجرا کرد و پس از آن با ارکستر استاد مهدی خالدی شروع به همکاری نمود و سپس برای شرکت در برنامه گلها دعوت شد.
حافظی به تمام دستگاه‌های موسیقی سنتی ایران علاقه‌مند است ولی در بین آنها شیفته دستگاه همایون است.
او آهنگ‌های بسیاری ساخت که اکثر آنها از جمله قطعات شناخته شده موسیقی ایران به شمار می‌روند.
فریدون حافظی خرداد سال 1392 در سن 87 سالگی درگذشت.