در رابطه با زمان احداث این تالار اطلاعات دقیقی در دست نیست اما براساس منابع موجود تاریخ ساخت تالار عاج به قبل از تالار سلام و تالار آیینه باز میگردد.
این تالار از بناهای دوره ناصری است که بعدها در زمان ناصرالدین شاه در نمای بیرون آن تغییراتی انجام و ایوان به داخل تالار منتقل شد و نما و پنجره‌های آن را هم‌سطح و قرینه با تالار سلام ساختند.
در این تالار ناصرالدین شاه، هدایان پادشاهان و کشورهای خارجی را نگهداری میکرد و در زمان پهلوی محل پذیرایی و برپایی مهمانیهای دربار بود، به همین دلیل در معماری داخلی این تالار تغییراتی صورت گرفت و به نام تالار سفره خانه نامگذاری شد.
یک تابلو نقاشی آبرنگ اثر محمود خان ملک الشعرا در کاخ گلستان نگهداری می‌شود که نمای بیرونی تالار عاج را قبل از بازسازی و در سال 1248 هجری شمسی به تصویر کشیده است.
با توجه به این تابلو، تالار عاج در نمای بیرونی دارای سه ارسی سه دری بزرگ و ایوانی با شش ستون ظریف و یک راه پله از سمت مغرب بوده است.
