نیای مادری او، میرزا مهدی خوشنویس، از خوشنویسان بنام دوره قاجار بود.پدرش كارمند شهربانى بود و تار مى‌نواخت و عمويش تمبك، با اين وجود پدر مخالف ساز زدن ناصر و گرایش او به سمت موسیقی به عنوان یک حرفه بود. اما فرهنگفر هفت ساله بود که نخستین بارقه‌های علاقه به موسیقی و رفتن به سمت یادگیری ساز را در خود حس کرد. وی با کوزه‌های گلی نخستین تمرینات خود را انجام می‌داد و بعدها با خرید تنبک عمویش که ساز نفیسی در دوران خود بود، شروع به فراگیری این ساز کرد، در همین دوران علاقه و ممارست وی در فراگیری تنبک پیشرفت خوبی به همراه داشت.
فرهنگفر داشته‌های مقدماتی تنبک را نزد یکی از اقوام خود محمد ترکمان که شاگرد امیرناصر افتتاح تنبک‌نواز سرشناس دوران به شمار می‌رفت؛ فراگرفت، همین امر مقدمات دیدار وی با حسین تهرانی را برای او فراهم کرد. استعداد فرهنگ فر، استاد حسین تهرانی را مجاب می‌کند که وی را به شاگردی بپذیرد، وی مدت کوتاهی در نزد این استاد شاگردی کرد که در بالا بردن کیفیت نوازندگی و شکوفایی استعدادهای نهفته وی بسیار مؤثر بود و با راهنمایی او برای فراگیر نت مدت یک سال نزد محمد اسماعیلی کتاب تمبک استاد تهرانی را آموخت.
در این دوره ناصر فرهنگفر از داشته‌های اساتید به نامی همچون عبدالله دوامی در آموزش ردیف آوازی و از ، سیدحسن میرخانی، سید حسین میرخانی و علی اکبر کاوه در آموزش خوشنویسی بهره جست. علاقه فرهنگ فر به شعر، ادبیات و خوشنویسی وی را به عنوان موسیقیدان آگاه به دیگر اقسام هنر مطرح کرد، وی در سرودن شعر و کار با قلم خطاطی نیز همچون نوازندگی تبحر داشت که همین امر سبب شد نوازندگی تحت تأثیر این هنرها قرار گیرد.
در همان سالها به دانشکده هنرهای زیبارفت و با نورعلی برومند و داریوش صفوت آشنا شد. در سال ۱۳۴۲ با آغاز کار مرکز حفظ و اشاعه موسیقی به عنوان مدرس ساز تنبک به فعالیت پرداخت، در این مدت وی با تلاش خود تأثیرات قابل توجهی در شیوه نوازندگی ساز تنبک بر جای گذاشت، پس از حدود یک دهه فعالیت در این مرکز در سال ۱۳۵۰ وارد رادیو و تلویزیون شد و به پیشنهاد دوستش بهمن رجبی در برنامه‌های معروفی به نام هفت شهر عشق، گل‌های تازه و گلچین هفته با علی اصغر بهاری و لطف‌الله مجد و... اجرای برنامه کرد.
از اجرای ادوار ریتمیک با تکنیک‌های غیر مرسوم می‌توان به عنوان برجسته‌ترین خاصیت نوازندگی او یاد کرد، شناخت وی از اوزان اشعار، خلاقیتش را در اجرای ادوار ریتمیک به همراه داشت، چرا که این دورهای ریتمیک وابستگی بسیاری به اشعار کلاسیک دارند.
از سال ۵۱ با محمد رضا شجریان، محمد رضا لطفی، حسین علیزاده، داریوش طلایی، داوود گنجه‌ای، پرویز مشکاتیان و... در جشن هنر شیراز برنامه‌های متعددی را اجرا کرد.
در سال ۵۲ به همراه گروه مرکز حفظ و اشاعه موسیقی به بلژیک رفت و با گروه باله موریس بژار همکاری نمود و در همانسال همان برنامه را نیز در تخت جمشید اجرا کرد. در سال ۵۴ به دعوت رابرت ویلسون به نیویورک رفت و با گروه تئاتر وی همکاری کرد.
عضویت وی در گروه شیدا و اجراهای زیبایش با محمدرضا لطفی در همین سال و در گروه عارف بهمراه پرویز مشکاتیان و حسین علیزاده و.. در سال ۵۶ و با تأسیس گروه هنری چاووش تا سال ۶۳ ادامه یافت.در همین دوره بود که حاصل دونوازی او با پرویز مشکاتیان در قالب آلبوم بر آستان جانان با صدای محمدرضا شجریان عرضه عمومی شد که از جمله آثار ماندگار در سنت بداهه‌نوازی و بداهه‌خوانی در موسیقی ایران به شمار می‌رود. آلبوم بسته‌نگار با تار لطفی و نیز آلبومی با سنتور مجید کیانی و تار محمدرضا لطفی از جمله کارهای درخشان او در این دوره به شمار می‌رود.
آلبومی نیز در دستگاه سه‌گاه منتشر شده است که حاصل دو نوازی او با پرویز مشکاتیان است که به چاووش ۱۲ شهرت پیدا کرده است.
او به ظرایف آوازی و گوشه‌ها و لحن‌های ردیف بسیار مسلط بود در نواختن ضرب زورخانه و نیز آواز به شیوه‌هایی چون هنگامه‌خوانی، زورخانه‌خوانی(مرشدی) مهارت زيادي داشت. آثار او از جمله آلبوم خلوت‌گزیده نمونه‌هایی از توانایی های او در این زمینه‌‌هاست.
فرهنگ فر طبع و قریحه خاصی در سرودن شعر و غزل داشت. در شعر متمایل به ایرج میرزا بود و اشعار طنز گونه‌ای از خود برجا گذاشت. اولین غزلش را در سن ۱۲سالگی سرود. غزلی که فقط چند بیت از آن باقی‌مانده است. از جمله اشعار او که بسیار هم در میان اهل موسیقی شهرت پیدا کرد قطعه‌ای بود که برای مسافرت لطفی و ترک وطن او در سال‌های اولیه دهه شصت سرود که نیم‌مصراع زیر به تمثیلی در میان اهلی موسیقی تبدیل شد: او(لطفی) حوصله اهل هنر بود که سر رفت.
فرهنگفر طبعی ملودیک داشت و گفته می‌شود برخی از تصنیف‌های شناخته شده موسیقی با زمزمه‌های او در ابتدا همراه بوده است و سپس توسعه یافته و تبدیل به تصنیفی کامل شد.
صورتگر چین، پیر میفروش و... از جمله تصنیف‌های اوست.
ناصر فرهنگ فر پس از یک دوره کناره گیری و انزوای کاری روز پنجشنبه ۲۳ مرداد ۱۳۷۶ در ۵۰ سالگی چشم از جهان فروبست. فرزند او آرش فرهنگفر از جمله نوازندگان شناخته شده تمبک است که راه پدر را ادامه داده است.