جد وی، مرحوم شیخ محمدعلی، از یزد به اصفهان هجرت کرد و در مدت زمان کوتاهی، در حوزه علمیه اصفهان، به درجات علمی بالایی نائل آمد.
پدر آیت‌الله یزدی، مرحوم شیخ علی یزدی نام داشت که از شاگردان شیخ عبدالکریم حائری و از روحانیون معروف اصفهان بود و امامت جماعت یکی از مساجد اصفهان را برعهده داشت و به حل مشکلات مردم عالم پرور اصفهان می‌پرداخت.
مادر آیت‌الله یزدی نیز زنی مؤمن از خانواده متدین و دوستدار اهل بیت(ع) بود که پدرش از مریدان شیخ یزدی به شمار می‌آمد و ارادت او به شیخ یزدی در ازدواج پدر و مادر وی بی تأثیر نبوده است.
آیت‌الله محمد یزدی تحصیلات خود را ابتدا در محضر پدر و با فراگیری زبان فارسی آغاز کرد و پس از آن، عازم مکتبخانه شد؛ پس از گذراندن دوره مکتب، برای گذراندن کلاس چهارم آن نظام آموزشی، به نخستین مدرسه‌ای که در اصفهان به سبک جدید تأسیس شده بود و یکی از روحانیون که با پدر او نیز سابقه دوستی داشت و، آن را اداره می‌کرد، رفت.
وی در بدو ورود به قم، در مدرسه فیضیه مستقر شد. در آن زمان، آیت‌الله بروجردی، از برخی طلاب به سبب آشنایی با میزان توانایی علمی آنان، امتحان به عمل می‌آورد.
وی با شرکت در دروس سطح، کتاب‌های رسائل، مکاسب و کفایة‌الاصول را به خوبی فراگرفت و در درس خارج علمای بزرگ حوزه، از جمله آیت‌الله بروجردی(ره) و امام خمینی(ره) شرکت کرد.
تلاش علمی ایشان در آن سال‌ها باعث شد تا بتواند از حضرت امام خمینی(ره) اجازه نامه اجتهاد دریافت کند. وی در درس خارج علمای بزرگی همچون آیت‌الله بروجردی(ره)، آیت‌الله اراکی، آیت‌الله شیخ محمدتقی آملی، آیت‌الله شاهرودی و نیز یک دوره کامل در درس خارج امام خمینی(ره) شرکت کرد.
از جمله کتب ایشان که در زمان طاغوت به چاپ رسید، کتاب گمشده شما بود که چاپ آن باعث شد فردی به نام مردوخ به بهانه آن، تهمت‌های ناروایی را به ساحت تشیع ابراز دارد. این مسأله باعث شد که آیت‌الله یزدی تهمت‌های او را در کتابی با عنوان پاسخ تهمت‌های مردوخ پاسخ دهد که هر دو کتاب مورد عنایت حضرت امام خمینی(ره) قرار گرفت.
آیت‌الله یزدی در طول دوران مبارزه بر ضد رژیم شاهنشاهی، حتی در زمان تبعید، دست از نگاشتن در جهت تبیین معارف اسلامی برنداشت و کتاب‌های و مقالات بسیاری را به چاپ رساند. وی با ورود به حوزه علمیه قم، مبارزه و درس را توأمان می‌آغازد و با شرکت در درس امام خمینی(ره) و جلساتی عمومی و خصوصی ایشان، توانایی و عزم خود را برای پی‌گیری جریان‌های سیاسی و پیروی از خط مشی امام(ره) اعلام می‌دارد.
ساواک بارها ایشان را تبعید کرد که طولانی‌ترین آنها پس از بندر لنگه و بوشهر، رودبار بود؛ منزل او در آستانه پیروزی انقلاب مرکز تلاش‌ها و نیز حل و فصل بسیاری از امور جریان‌های انقلاب بود. همان منزلی که امام(ره) پس از پیروزی انقلاب و مراجعت به قم، در آن ساکن شدند.
آیت‌الله محمد یزدی، از آغازین روزهای تأسیس جامعه مدرسین حوزه علمیه قم، با آن همکاری داشته است. وی پس از پیروزی انقلاب اسلامی همواره در خدمت نظام و بازوی توانای امام و رهبری بود.
وی بعد از پیروزی انقلاب اسلامی سمت‌های، رئیس دفتر امام (ره) در قم، عضویت در مجلس خبرگان قانون اساسی، نمایندگی مجلس شورای اسلامی دو دوره از قم و تهران، رئیس دادگاه انقلاب و قم، عضو شورای نگهبان، ریاست قوه قضاییه دو دوره ۵ ساله، نماینده خبرگان رهبری از تهران را در کارنامه خود دارد.
وی در سال‌های آخر عمر درگیر بیماری بود و به همین دلیل از سمت های سیاسی خویش کناره گیری کرد. و در ۱۹ آذر ۱۳۹۹ بر اثر بیماری و کهولت سن در سن ۸۹ سالگی جان به جان آفرین تسلیم کرد.