گویا او از این محل به ییلاقات شمال تهران می‌رفت و ایام تابستان را به سر می‌آورد و آنگونه که برخی سفرا و جهانگردان خارجی نوشته‌اند، جنون «قصرسازی» از همان زمان میان پادشاهان این سلسله اوج گرفت و سرآغازش را شاید بتوانیم همین قصر قاجار بدانیم، هرچند او حتی برای «نوش‌آفرین خانم» یکی از زنان حرمسرایش - که طبق نوشته مورخین بالغ بر 800تن بوده‌اند- در خیابان سوم اسفند، ساختمانی را بنا کرد که نامش را «برج نوش» گذارد . این خیابان در روزگار قاجار و پهلوی اول، به خیابان برج نوش شهره بود و بعدا به سوم اسفند تغییر نام یافت و امروز ما نام افسر رشید کشورمان که در کودتای 28مرداد در شهر کرمان، به طرز فجیعی به شهادت رسید را روی این خیابان می‌بینیم: سرهنگ سخایی.
دوستعلی‌خان معیرالممالک، نوه دختری ناصرالدین شاه‌قاجار، راجع به شکل ظاهری قصر، در خاطراتش نوشته است: «... بنای قصر، سه طبقه و نمای اصلی آن رو به جنوب بود. در ورودی کاخ در وسط ضلع‌جنوبی قرار داشت. در طبقه دوم تالار بزرگ آیینه واقع بود و بالای آن اتاقی که از چهارسمت به مناظر اطراف نگاه میکرد قرار داشت که تنها بنای طبقه سوم به شمار می‌رفت.
سقف و دیوارهای این اتاق از گچبری‌های زیبا زینت یافته و با طلا و لاجورد و شنجرف رنگ‌آمیزی شده بود و در میان هر بدنه دیوار مناظر شکار و مجالس بزم درون قاب‌هایی با گل‌های برجسته از گچ نقاشی شده بود. ازاره [سنگ‌هایی که در کنار دیوار تا ارتفاع خاص نصب می‌شوند] تالار آیینه از سنگ مرمر بود و روی درهای آن بر متن طلا به شیوه سرلوح و حواشی کتاب‌های مصور قدیمی تذهیب و رنگ‌آمیزی شده بود. چهاربرج زیبا در چهارگوشه بنا دیده می‌شد که هریک دارای اتاقی بود آیینه کاری با سقف مقرنس در طبقه اول و اتاقی دیگر مزین به گچبری‌های ظریف و نقش‌های رنگارنگ در طبقه دوم. نمای شمالی قصر نسبتا ساده‌تر و مشرف به حیاطی بود که در وسط، حوض مربع با لبه بلند از سنگ مرمر داشت.
70پله پهن و دراز بنای قصر را به سطح باغ مربوط می‌ساخت. برابر پله‌ها استخری وسیع و لبریز از آب صافی خودنمایی میکرد و نمای زیبای قصر در سطح آیینه‌آسای آن پیوسته منعکس می‌نمود». وی در ادامه می‌نویسد: «...وجه‌تسمیه آن چنین است که خشت اول آن را خاقان به دست خود نهاد و امر کرد کلیه مصالح آن را جوانان ایل قاجار به آنجا حمل کنند. چیزی که در آنجا بیش از همه توجه هرکس را جلب میکرد، میله‌هایی بود که در امتداد تقریبا دوهزار قدم به فواصل معین ساخته و به توسط آن آب را روی تپه می‌بردند. در ساختمان آن هنر و ظرافتی به کار رفته بود که اغلب اروپایی‌های مقیم تهران برای دیدن آن رفته و دقت و تحسین بسیار می‌کردند. میله‌ها به شکل برج بابل (البته به مراتب کوچک‌تر) و پیچاپیچ ساخته شده و به تدریج بر ارتفاعشان افزوده می‌شد، تا میله آخر که با تپه هم‌سطح و آب را روی آن جاری می‌ساخت».
سیاحان و سفرای بسیاری از این قصر بازدید کرده‌اند و برخی همچون مادام‌کارلا سرنا در مقام تمجید و برخی چون جورج ناتانیل کرزن، با دیده تحقیر به آن نگریسته‌اند. کارلاسرنا که جزو معدود زنانی بوده است که در عصر قاجار، به تنهایی ایرانگردی کرده، راجع به قصر قاجار می‌نویسد: «... به صورت آمفی‌تئاتر بر فراز جایگاه بلندی ساخته شده و بر قصرهای مرتفع دیگری که بعد از آن قرار دارند، تسلط دارد. مقابل آن باغی است به وسعت 600متر درازا و 400متر پهنا که خیابان‌های مشجر بزرگی به موازات هم از میان آن می‌گذرد. تعداد زیادی بوته‌های گل سرخ و گل یاس و درختان مختلف مانند هلو که این میوه در ایران بسیار مرغوب است و میوه‌های مختلف دیگر، منظره دلپذیر و چشم‌نوازی به آن باغ داده است. شاخه‌های مو یا انگورهای درشت بیدانه، تا پشت بام رفته و دور تا دور باغ را فرا گرفته‌اند. چندین حوض و فواره به همه چیز در این محیط، زندگی و شادابی می‌بخشد و گل باغچه‌ها را همیشه تر و تازه نگه می‌دارد. در وسط باغ، بر بالای چهارستون مرمری ظریف کوشک زیبایی ساخته و با گنبد مطبق، روی آن را پوشانده‌اند. داخل قصر به سبک خالص ایرانی و با وسایل گرانبها تزیین یافته است. آیینه‌های بسیار بزرگ و نقاشی‌ها، وسایل اصلی تزیینات داخلی قصر را تشکیل می‌دهند. باوجود زیبایی‌هایی که در قصر قاجار مشهود است و با آنکه اولین کاخ تفریحی و ییلاقی شاهزادگان قاجار بوده است ولی بیشتر اوقات متروک افتاده و ناصرالدین‌شاه، زیاد از آن خوشش نمی‌آید و خیلی کم به آنجا می‌رود...».
قصر قاجار، در دوره نوه فتحعلی‌شاه و فرزند عباس میرزا، محمدشاه قاجار چندان مورد استفاده قرار نمی‌گرفت و شاه قاجار سرانجام در قصر محمدیه جان سپرد. در دوران نزدیک به نیم قرن پادشاهی ناصرالدین‌شاه، آنقدر قصر- ازجمله قصر فیروزه، قصر یاقوت یا سرخه‌حصار، قصر عشرت‌آباد، قصر سلطنت‌آباد و حتی عمارت شمس‌العماره- در داخل و خارج از شهر ساخته شد که قصر قاجار به چشم نمی‌آمد و مقرر شد در سال1260 شمسی این محل تحویل قزاق‌ها شود و سرهنگ روسی، چارکوفسکی، محل قزاقخانه را از داوودیه- که در زمان خلع میرزا آقاخان نوری صدراعظم خیانت‌پیشه ناصرالدین‌شاه، از فرزندش میرزا داوودخان لشکرنویس گرفته شده بود- به قصر قاجار آورد و 12سال بعد، کلنل کاسا کوفسکی روسی، رسما قزاقخانه را از تبعیت وزارت جنگ خارج ساخت و با آنکه عمارت شهری برای قزاقخانه ساخت، اما همچنان این محل، برای اسکان قزاق‌ها و تعلیم آنان مورد استفاده قرار می‌گرفت و سرانجام با پایان حیات قاجارها، این باغ و عمارت، کاملا رو به ویرانی نهاد تا آنکه تصمیم گرفتند این محل را که دور از تهران آن موقع بود، تبدیل به زندان کنند.
محبس قاجار
در عصر قاجار، شناخته شده‌ترین زندان «انبار شاهی» بود که در جوار قصر سلطنتی و در جنوب آن- تقریبا محل فعلی کوچه تکیه دولت تا نزدیک بانک ملی شعبه سبزه‌میدان- قرار داشت و با روی کار آمدن وستاهل، رئیس پلیس نظمیه تهران که از سوئد او را فراخوانده بودند، محل فعلی ایستگاه اصلی مترو در میدان امام‌خمینی که در آن روزگار مقر اصلی نظمیه بود، زندان کوچکی ساخته بودند اما حکومت پهلوی اول، نیاز به زندان بزرگ‌تری داشت و بنا به پیشنهاد محمد درگاهی، قرار شد قصر قاجار، تبدیل به زندان شود و با یک تیر دو نشان زدند؛ هم یکی از آثار دوره قاجار از بین می‌رفت و هم محل وسیعی به دست می‌آمد تا زندان در آن ساخته شود و نیکلای مارکوف روسی - که معماری بسیاری از بناهای دوره پهلوی اول به وسیله او صورت گرفت- نقشه زندان را ترسیم کرد و ساخت زندان آغاز شد. حسین مکی می‌نویسد: «روز 11آذرماه 1308 خورشیدی، درگاهی شاه را برای افتتاح به زندان جدیدالتاسیس قصر قاجار دعوت کرد. این محبس دارای 192 اتاق است و گنجایش 800نفر زندانی را دارد و 96اتاق آن پنج‌نفری و بقیه یک نفری (سلول مجرد= انفرادی) است. در قسمت بیمارستان هم شش اتاق شش نفری و شش اتاق یک نفری دارد و دارای باغ و حمام و لوازم دیگری است...
روزی که شاه به همراهی درگاهی، سلول‌ها و قسمت‌های دیگر را بازدید میکرد، چند نفر از وزیران هم همراه پهلوی بودند، من جمله تیمورتاش و سردار اسعد که هیچ نمی‌دانستند روزی خود آنها در آن سلول‌ها گرفتار خواهند شد. دو روز بعد هم از سفرا و وزرای مختار از طرف رئیس نظمیه دعوت به عمل آمد تا زندان قصر را بازدید کنند که ببینند ایران محبس مدرن دارد»!
هنگام بازدید از سلول‌ها، در حالی‌که تمامی اعضای هیات دولت- جز یک تن- به همراه شاه بودند و در داخل سلول‌ها به توضیحات درگاهی گوش می‌دادند، پهلوی اول قصد داشت که وارد سلول شود اما تیمورتاش او را متوجه ساخت و اشاره به طینت بد درگاهی کرد. درگاهی که در دوران نوجوانی به «ممدچاقو» معروف بود و از اشرار محله حسن‌آباد به‌حساب می‌آمد، در سنگدلی همانند آیرم و رکن‌الدین مختاری بود و با اشاره تیمورتاش، شاه پا پس کشید و دو روز بعد، درگاهی دستگیر و زندانی شد.
محبس قصر، بعدها جایگاه بسیاری از آزادیخواهان ایران شد و گویا علی‌اصغر حکمت جرات یافته بود و به پهلوی اول گوشزد کرد: مقام سلطنت با افتتاح زندان همخوانی ندارد و شاه باید مراکز عام‌المنفعه را افتتاح کند و طبق معمول پهلوی به تریج قبایش بر خورده بود.
در سال1302 و قبل از شکل‌گیری زندان قصر در بخشی از باغ وسیع آن اولین بی‌سیم تهران تحت عنوان «بی‌سیم پهلوی» افتتاح شد و مورد استفاده ارتش قرار گرفت و سرانجام نخستین ایستگاه رادیویی در بخشی از قصر قاجار راه‌اندازی شد. برای نخستین‌بار مردم تهران، از گیرنده‌های خود شنیده بودند:« اینجا تهران است». این ساختمان خوشبختانه در روزگار ما مورد مرمت قرارگرفته و بسیار خوب از آن حفاظت می‌شود و در مجموعه باشگاه پیام قرار دارد.