آخوندى تحصيلات ابتدايى خود را در شهرستان اهر آغاز كرد و براى آموزش دوره متوسطه ۶سال به تبريز رفت.
محمود آخوندى در روزگار جوانى به دليل علاقه و استعدادى كه در درس رياضى داشت ، هميشه مى‌خواست در اين رشته ادامه تحصيل دهد اما به علت عظمتى كه آن زمان قاضى بودن داشت، اصرار خانواده‌اش باعث شد تا حقوق را براى ادامه تحصيل در رشته حقوق قضایی دانشگاه تهران برگزيند.
آخوندی خود می‌گوید:"زمانى فارغ التحصيل شدم كه ۲۳ يا ۲۴ ساله بودم و براى قضاوت كردن بايد حداقل ۲۵ ساله بودم و نمى‌توانستم قاضى شوم. به همين علت بايد ادامه تحصيل مى‌دادم و چون كشور سوئيس از لحاظ قضاوت در رتبه بالايى بود و مثلاً سالى چندبار بيشتر دادگاه‌هايش تشكيل جلسه نمى‌داد و هر وقت جرمى اتفاق مى‌افتاد قاضى را دعوت مى‌كردند كه پرونده‌اى تشكيل شده براى رسيدگى تشريف بياوريد براى من جالب بود و به همين دليل اين كشور را براى ادامه تحصيل انتخاب كردم."
آخوندى در رشته حقوق جزا پايان‌نامه دكتراى خود را با فرانسوا كلر گذراند كه پايان‌نامه‌اش در باره حقوق جزاى اسلامى و تأثير آن در حقوق جزاى ايران در سال ۱۳۴۰ بود.
حقوقدان و استاد دانشگاه پس از شركت در كنكور دادگسترى و گذراندن دوره كارآموزى در اهر به عنوان اولين دادرس دادگاه شهرستان اهر و بعد رئيس اين دادگاه مشغول به كار شد و شش ماه دادرس على‌البدل بود و سپس بازپرس دادسراى تبريز شد و مأموريت پيدا كرد كه در دانشگاه ملى (شهيد بهشتى) حقوق جزا تدريس كند.
به همين دليل او مجبور شد از آذربايجان به كرج منتقل شود و در اين شهر داديار شود. او سپس به عنوان داديار دادسراى تهران منصوب شد و پس از آن به اداره حقوقى دادگسترى انتقال پيدا كرد و مأمور خدمت در دانشگاه ملى و معاون آموزشى دانشكده حقوق آن دانشگاه شد.
مهمترین اثر او كتاب ۱۰جلدى "آيين دادرسى كيفرى" است که تجربه ها علمی و عملی اش را در آن انعکاس داده و همین کتاب و تلاش هایش در عرصه آیین دادرسی او را به عنوان پدر آیین دادرسی ایران شناسانده است.
به گفته آخوندی کتاب «طى سال‌ها مطالعه در كشورهاى مترقى جهان و تحقيق در روش‌هاى دادرسى كيفرى آنها و مدت‌ها اشتغال به امر قضا و تدريس در دانشكده‌هاى حقوق تهيه شده است.»
وي در اين كتاب تلاش مى‌كند تا مطالبش را برمبناى حقوق مدون جمهورى اسلامى ايران و براى استفاده علمى و عملى دانشجويان حقوق و كارآموزان قضايى كه دراين كشور با قانون و امور جزايى سر وكار دارند تهيه كند و تمام هم و غمش تلاش براى ارائه آيين كيفرى «به گونه اى كه بايد باشد » و نه «به صورتى كه وجود دارد » است و هدفش از اين كار را چنين بيان مى‌كند: « سعى شد آيين دادرسى كيفرى را به گونه‌اى كه بايد باشد ارائه نمايم نه به صورتى كه وجود دارد ؛ تا دانشجويان عزيز ضمن يادگيرى اصول دادرسى كيفرى درجمهورى اسلامى ايران با تئورى‌ها و نظريات دانشمندان ديگر كشورها نيز آشنا گردند.»
محمود آخوندى از معدود كسانى است كه معتقد است: روش‌هاى دادرسى كيفرى، اصول شناخته شده‌اى است كه در دنياى فعلى به آن عمل مى‌شود و منطبق با تحقيق دانشمندان در شناخت شخصيت انسان‌هاست. بشريت بعداز قرن‌ها مبارزه، چاره‌انديشى، ايثار و از خود گذشتگى توانسته است آنها را به دست آورد و در پناه آن از امنيت قضايى بهره‌مند گردد. بنابراين نبايد غفلت ورزيد و به سهولت آنها را از دست داد.»
همسر محمود آخوندى از دانشجويان خودش در دوره كارشناسى ارشد شهيد بهشتى است كه فوق ليسانس حقوق است و فوق ليسانس آمار را نيز از يکي از دانشگاه‌هاى آمريكا دارد. آخوندى دو فرزند دارد كه هر دو پسرند و اولى پزشك است و در آمريكا دوره ديده و دومى مهندس الكترونيك و در صدا و سيما مشغول به كار است.
دکتر محمود آخوندی دوم فروردین 1394 دار فانی را وداع گفت.