پدرش حاج میرزا اسدالله منتخب‌السادات خوری و مادرش شاعر و از تبار یغمای جندقی بود و به همین علت وی فامیلی یغمایی را برای خود برگزید.
نیای پدری و نیای مادری حبیب یغمایی هر دو فقیه و دانشمند و عالمان دین بودند. حبیب راه اجداد را دنبال کرد.
وی در دوران کودکی در مکتب‌خانه‌های خور و در خدمت پدر درس خواند و یغمایی در جوانی برای دانش اندوزی رهسپار شاهرود شد و در ۲۰ سالگی زدواج کرد.
یغمایی در سال ۱۳۰۰ شمسی پس از ازدواج راهی تهران شد و در مدسه آلیانس و پس از آن در دارالمعلمین عالی نزد استادانی چون علامه اقبال آشتیانی و عبد العظیم خان قریب به تحصیل پرداخت.
وی در سال ۱۳۱۴ به مدیریت کل نگارش وزارت معارف منصوب شد و به کار تدوین کتب درسی نظارت داشت.
در سال ۱۳۱۲ همکاری مستمر او با محمدعلی فروغی آغاز شد که تا پایان عمر فروغی در ۱۳۲۱ ادامه یافت. در این دوران کلیات سعدی به تصحیح فروغی با همکاری یغمایی انتشار یافت.
همزمان یغمایی گرشاسب‌نامه اسدی طوسی را ویرایش و چاپ کرد و کتابی محققانه به نام سعدی‌نامه گردآوری کرد و جزو انتشارات مجلهٔ آموزش و پرورش به چاپ رساند.
مرحوم یغمایی در سال ۱۳۲۷ شمسی مجله یغما را تاسیس کرد و در همین سال به ریاست معارف کرمان برگزیده شد.
در سال ۱۳۳۱ در زمان وزارت فرهنگ دکتر مهدی آذر، یغمایی رئیس اداره انطباعات شد. به پیشنهاد او نام اداره به اداره نگارش تغییر یافت. در هنگام تصدی این مقام با تعدادی از شخصیت‌های برجستهٔ فرهنگی و ادبی آشنا شد. نیما یوشیج زمانی کارمند اداره او بود.
یغمایی پس از سال‌ها تدریس در دارالفنون، دارالمعلمین عالی و دانشگاه تهران از کار دولتی بازنشسته شد. در سال ۱۳۵۵ دانشکده ادبیات دانشگاه تهران به پاس خدمات ارزنده‌اش به فرهنگ کشور، دکترای افتخاری زبان و ادبیات فارسی به او اعطاء کرد.
در آخرین مجمع کنگره تحقیقات ایرانی در شهریور ۱۳۵۶ در دانشگاه کرمان، مقارن با سی‌امین سال انتشار مداوم مجله یغما، در یکی از جلسات کنگره از مجله و مدیر آن حبیب یغمایی به اتفاق چند تن دیگر تجلیل شد.
حبیب یغمایی در ۲۴ اردیبهشت سال ۱۳۶۳ در تهران درگذشت، پیکر او به زادگاهش؛ خور و بیابانک انتقال یافت و در آرامگاه احداثی خود آرام گرفت.
برخی از آثار استاد حبیب یغمایی:
- جغرافیای جندق و بیابانک، ۱۳۰۴
- علم قافیه، ۱۳۴۰
- دخمه ارغون (مجموعه اشعار)
- گلستان سعدی (تصحیح)
- گرشاسب‌نامه، اسدی طوسی (تصحیح)، ۱۳۱۷
- منتخب شاهنامه (تصحیح)
- ترجمه تفسیر طبری (تصحیح)، ۱۳۳۹-۱۳۴۴
- صص‌الانبیا، ابواسحاق نیشابوری (تصحیح)، ۱۳۴۰
- نمونه نظم و نثر فارسی، ۱۳۴۳
- فردوسی در شاهنامه، ۱۳۵۴
- غزلیات سعدی (تصحیح)، ۱۳۶۱
به اهتمام حبیب یغمایی:
- یادنامه تقی‌زاده، به اهتمام حبیب یغمایی، انجمن آثار ملی ۱۳۴۹
- نامهٔ مینوی، ۱۳۵۰
- مقالات فروغی درباره شاهنامه فردوسی، ۱۳۵۱
- عامری نامه، ۱۳۵۳
- مقالات فروغی، جلد اول ۱۳۵۳
- مقالات فروغی، جلد دوم ۱۳۵۵