نخستین بنای آرامگاه حافظ شیرازی، به دستور میرزا ابوالقاسم گورکانی؛ حکمران فارس در سال 865 قمری ساخته شد.
در آن زمان شمس‌الدین محمد یغمایی وزیر ابوالقاسم گورکانی، بر فراز قبر حافظ عمارت و گنبدی ساخت که جلوی آن نیز حوض آب قرار داشت.
در زمان شاه عباس، این آرامگاه مورد مرمت قرار گرفت. کریم خان زند نیز به علت خرابی‌های این بنا، ساختمان زیبایی به سبک بناهای آن دوره بر مدفن خواجه شیراز ساخت. همچنین در جلو آن تالاری با 4 ستون سنگی یکپارچه و بلند برای آرامگاه حافظ طراحی و اجرا شد.
ستون‌های سنگی بلند با نقش شاخ و برگ و گل رنگی ساخته شد و بخ دستور کریم خان زند سنگ مرمر نفیس برای قبر خواجه تهیه و غزل معروف حافظ با این مطلع با خط خوش نستعلیق بر آن نقر شد:
- مژده وصل تو کو کز سر جان برخیزم طایر قدسم و از هر دو جهان برخیزم
پس از کریم خان زند، در سال 1295 معتمد الدوله فرهاد میرزا؛ والی فارس نرده آهنی اطراف قبر خواجه شیراز کشید و این آرامگاه را مرمت کرد.
در سال 1317 قمری ملا شاه جهان زردشتی، تصمیم به تخریب و بازسازی بنای جدیدی برای آرامگاه حافظ می‌گیرد، اما با مخالفت یکی از سادات شیراز مبنی بر این که یک زرتشتی می‌خواهد چنین کاری بکند، آرامگاه حافظ تخریب می‌شود و شکستگی در سنگ قبر خواجه به وجود می‌آید.
بعد از این واقعه، آرامگاه حافظ به شکل نیمه ویران می‌ماند تا سال 1319 قمری. در آن سال منصور میرزا فرمانفرمای فارس به دستور مظفرالدین شاه تعمیراتی در این ارامگاه صورت می‌دهد.
در سال 1311 شمسی فرج الله بهرامی نیز تعمیراتی اساسی در باغ، آرامگاه و دیوارهای اطراف آن انجام می‌دهد.
این اثر تاریخی که قدمت آن به دوره مظفریان برمی‌گردد، در سال 1316 شمسی به دستور رضا پهلوی و با طرح آندره گدار؛ معمار مشهور فرانسوی، با حفظ 4 ستون به شکل امروزی تجدید بنا شد. همچنین در جنوب آن، باغ و نارنجستان زیبایی با 2 حوض مستطیل ساخته شد.
آندره گدار فرانسوی که در آن زمان مدیرکل باستانشناسی بود، دستور داد 4 ستون دوره زندیه در جای خود حفظ شود و 16 ستون در اطراف آن اضافه و ایوان فعلی ساخته شود.
جمع کل بنای حافظیه در آن سال 2200 مترمربع بود و با یک ایوان 20 ستونی به 2 قسمت تقسیم می‌شد. قبر حافظ شیرازی نیز در وسط محوطه شمالی و یک متر بلندتر از اطراف که به وسیله 5 ردیف پله در دسترس است، قرار دارد.
در دوره جمهوری اسلامی و در سال ۱۳۸۶ اولین مرمت جدی و بازسازی، تمیز کردن سطح مسی روی گنبد، مرمت بخش‌های خراب ساختمان‌های اطراف و همچنین متصل کردن مقبره‌ها و باغ‌های اطراف به مجموعه صورت گرفت.
حافظ شیرازی از جمله مشاهیر ایران و استان فارس است و آرامگاه وی نیز یکی از معروف‌ترین جاذبه‌های گردشگری شهر شیراز به حساب می‌آید. به طوری که سالانه گردشگران داخلی و خارجی فراوانی برای دیدن این آرامگاه به شیراز سفر می‌کنند.
آرامگاه خواجه شمس الدین محمد حافظ شیرازی، در سال 1354 توسط وزارت فرهنگ و هنر با شماره 1009 در فهرست آثار ملی ایران به ثبت رسید.