پدرش، حجت‌الاسلام حاج شیخ عباس از روحانیون و وعاظ معروف شهر کرمان بود و در زمان رضاشاه به دلیل اعتبار فراوانی که در این شهر در میان مردم داشت؛ با وجود یک شکل شدن لباس، جواز لباس روحانیت دریافت کرده بود.
وی تحصیلات مقدماتی‌اش را در حوزه علمیه کرمان گذراند و سپس برای ادامه تحصیلاتش به حوزه علمیه قم رفت. کشور عراق و حوزه علمیه نجف اشرف نیز مقصد بعدی آیت‌الله موحدی کرمانی برای تحصیل علوم دین بوده است.
استادان وی در کرمان مرحوم آیت الله صالحی، شیخ الرئیس، مرحوم حجت‌الاسلام حقیقی و در قم مرحومین حضرات آیات بروجردی، داماد و آیت الله العظمی خمینی بودند.
آیت‌الله موحدی کرمانی در حوالی سال ۱۳۳۵ و در نجف اشرف نیز درس مرحوم آیت الله العظمی خوئی و آیت الله العظمی میرزا باقر زنجانی را درک کرده است. وی همچنین مدت کوتاهی نیز در مشهد از محضر آیت الله میلانی بهره‌مند شد.
مباحثات علمی او در حوزه علمیه قم بیشتر با آقایان هاشمی رفسنجانی و ربانی املشی بوده و همچنین با حضرات آیات مطهری، بهشتی، مومن، جنتی، طاهری خرم آبادی و مهدوی کنی نیز مجالست و مؤانست داشته است.
آیت‌الله موحدی پس از مراجعت از نجف و قم، به مدت چند سال در زادگاه اصلی خود یعنی کرمان ساکن شد و سپس در سال ۱۳۴۸ به دعوت شهید باهنر به تهران آمد و با متمرکز کردن فعالیت های خود در مسجد مسلم بن عقیل در شرق تهران، آن را به یکی از پایگاه های اصلی مبارزان ناحیه شرق تهران علیه رژیم ستمشاهی بدل کرد.
بر اساس اسناد موجود، آیت‌الله موحدی به دلیل فعالیت‌های تبلیغی علیه رژیم شاه، در کرمان نیز توسط ساواک ممنوع‌المنبر شده بود.
آیت الله موحدی کرمانی از موسسین جامعه روحانیت مبارز تهران به شمار می رود که از ابتدا به عنوان یکی از اعضای شورای مرکزی فعالیت داشته است.
از جمله اقدامات وی در دوران مبارزه، دیدارهای متعددش با حضرت امام(ره) در نجف و کربلا بود که در این نشست‌های خصوصی برنامه‌های جامعه روحانیت مبارز را به عرض حضرت امام(ره) رسانده و متقابلاً دستورات مهم ایشان را به اعضای شورای مرکزی جامعه روحانیت مبارز منتقل می کرد.
وی در حزب جمهوری اسلامی نیز در تمامی سالهای فعالیت این تشکل انقلابی، به عنوان عضو شورای مرکزی و عضو داوری حزب حضور داشته است.
آیت الله موحدی کرمانی در انتخابات اولین دوره مجلس شورای اسلامی به عنوان نماینده مردم کرمان برگزیده شد و پس از آن در دوره‌های دوم، سوم، چهارم و پنجم به نمایندگی از مردم تهران، ری، شمیرانات و اسلامشهر در مجلس شورای اسلامی حضور داشت.
ریاست کمیسیون امور داخلی مجلس، ریاست کمیسیون امور دفاعی مجلس و نیز نایب رئیسی مجلس شورای اسلامی از جمله مسئولیتهای او در خانه ملت بوده است. وی همچنین رئیس هیات اجرائی بین المجالس نیز بوده است.
امامت جمعه کرمانشاه پس از شهادت آیت الله شهید اشرفی اصفهانی نیز از جمله سوابق آیت‌الله موحدی کرمانی است. امامت جمعه‌ای که حضور بیشتر وی را در جبهه‌های نبرد حق علیه باطل در برداشت.
وی پس از پایان دفاع مقدس نیز برای مدت ۱۴ سال و تا سال ۱۳۸۴، نمایندگی ولی فقیه در سپاه پاسداران انقلاب اسلامی را عهده دار بود.
موحدی کرمانی عضو مجمع تشخیص مصلحت نظام و عضو مجلس خبرگان رهبری بوده و از ابتدای انقلاب اسلامی به نمایندگی از مردم کرمان در تمامی ادوار مجلس خبرگان رهبری حضور داشته است.
آیت‌الله موحدی کرمانی در سال ۱۳۹۱ با حکم مقام معظم رهبری به سمت امامت جمعه موقت تهران منصوب شد.