دوره دبیرستان را در مدرسه شهید بهشتی (دین و دانش سابق) سپری کرد و پس از آن به مشهد عزیمت رفت و درنزد علمای آن سامان، به فراگیری علوم دینی پرداخت.
درسال 1345 وارد دانشکده حقوق شد و کارشناسی آن رشته را در رشته علوم قضایی کسب کرد. او سرانجام پس از گرفتن مدرک کارشناسی زبان و ادب فارسی با اخذ درجه دکترای زبان و ادبیات فارسی از دانشگاه تهران فارغ التحصیل شد.
گرمارودى در چندین دوره در عرصه شعر و ادبیات کشور حضور مؤثر داشته است و از پیشتازان شعر مذهبى امروز شناخته مى‌شود. او تحصیلات مقدماتى خود را در قم و مشهد به پایان رساند و ادبیات عرب را نزد ادیب پیشاورى فراگرفت.
وی با شاعر بزرگ معاصر اخوان ثالث نیز آشنایى و رفت و آمد داشت و اخوان شعرى نیز به نام او سروده بود.
در اسفند ۱۳۵۷ شوراى انقلاب، موسوى گرمارودى را به سرپرستى سازمان آموزشى نومرز منصوب کرد.
همان مؤسسه فرانکلین سابق که در اواخر دهه ۶۰ با ادغام در تشکیلات وزارت فرهنگ و آموزش عالى از صورت یک مؤسسه خارج شد و از آغاز سال ۱۳۷۳ نیز با نام شرکت انتشارات علمى و فرهنگى با انتشارات علمى و فرهنگى (بنگاه ترجمه و نشر کتاب سابق) ادغام شد.
علاوه بر این گرمارودى مدتى رایزن فرهنگى ایران در تاجیکستان بود و مدتى نیز مسئولیت تالار وحدت تهران را بر عهده داشت. او در مدت اقامتش در تاجیکستان جریان شعر معاصر آن کشور فارسى زبان را دنبال کرد و در این باره مقالات تحقیقى متعدد نوشت.
موسوی گرمارودی مدت یک سال در حوزه فردوس به امر تدریس مشغول بود.
با پیروزی انقلاب اسلامی، موسوی گرمارودی به همراه مرحومه طاهره صفارزاده کانون فرهنگی نهضت اسلامی را بنیاد نهاد.
موسوی گرمارودی علاوه بر سرودن شعر و شرکت درانجمن‌های ادبی، راه اندازى، مدیریت و سردبیرى نشریه گلچرخ و انتشار یک مجله ادبی در تاجییکستان را نیز برعهده داشته است.
وی در سال 1385 به عنوان «چهره ماندگار بخش شعر» به وسیله بنیاد چهره‌هاى ماندگار انتخاب شد.
برخی از آثار على موسوى گرمارودى:
- سرود رگبار
- عبور
- در سایه سار نخل ولایت
- چمن لاله
- خط خون
- تا ناکجا
- دستچین
- صدای سبز