پدرش کمانچه‌نواز خوبی بود و رحیمی در کنار پدر و از سن 8 سالگی به آموختن و نواختن کمانچه پرداخت. وی در نواختن سبک قدیم کمانچه نوازی منحصر به فرد بود و بسیاری از لحن‌هاو نواهای منطقه را به خوبی و استادانه می‌نواخت.
عمده فعالیت رحیمی به نواختن کمانچه با گروهی 8 نفره در مراسم شادیانه منطقه اختصاص داشت، اما در سال‌های میانی دهه 70 که توجه به نوازندگان شاخص موسیقی مناطق رونق گرفت، وی به همراه سهراب محمدی( بخشی و دوتار نواز نامی) به جشنواره‌های مختلف دعوت شدند که آخرین آن جشنواره موسیقی نواحی کرمان در سال 83 بود که کتیبه‌ای را در کنار سایر استادان به خود اختصاص داد.
وی به همراه سهراب محمدی نوازنده نامی دوتار و خنیاگر خبره، از آخرین راویان و منادیان موسیقی منطقه کرمانج به شمار می رفتند.
رحیمی شب 12 بهمن 1388 در سن 77 سالگی بر اثر سکته قلبی در منزلش در آشخانه در گذشت. وی قرار بود در جشنواره فجر سال 88 هم مورد تقدیر قرار گیرد.
