این برج که از جمله برج‌های بدون سقف است، ساختمانی آجری دارد و در سال 490 قمری ساخته شده است.
ساختمان این برج با دقت فراوانی ساخته شده به طوری که بعد از حدود هزار سال که از عمر آن می‌گذرد، تیزی لبة تزئینات آجری قرنیزهای آن همچنان چشم‌نواز هستند.
برج مهماندوست شباهت زیادی به برج طغرل شهر ری دارد و به همین منظور، برخی این برج را برج طغرل سمنان نیز می‌نامند.
تاریخ بنا با زمان سلطان سنجر سلجوقی مطابقت دارد. قسمتی از ساختمان این برخ خراب شده ولی قسمت باقیمانده قدمت آن را تأیید می‌کند.
دور دایره این برج از خارج ۳۴ ذرع و قطر آن از داخل ۲۰/۷ متر است. این برج دوازده ترک دارد که یکی از ترک‌‌ها مدخل است و عرض هر ترک ۲۳/۱ متر و بعد از 10 ذرع و نیم ارتفاع 3 فقره مقرنس از آجر ساخته شده و پس از آن کتیبه‌‌ای قرار دارد به خط کوفی و بالای آن کتیبه دیگری است به خط بنائی و از آن به بعد گنبد مخروطی شروع میشود، اما گنبد آن خراب و آنچه باقی است به ارتفاع ۱۴ ذرع می‌‌باشد.
در برج، رو به جنوب، یک قبر آجری در وسط و دو قبر دیگر سنگ‌‌چین دیگر دیده میشود. هویت شخص دفن‌شده در برج مشخص نیست و تحقیقی هم درباره آن انجام نشده است؛ اما اهالی روستاهای اطراف اعتقاد دارند که این برج مقبره امامزاده قاسم از اولاد امام موسی بن جعفر (ع) است.
در قسمت جنوبی این برج تپه باستانی امام آباد و در سمت شرقی آن قبرستان روستاهای امام آباد و مهماندوست واقع شده است.
در برخی منابع آمده یکی از جنگ‌های بزرگ نادرشاه افشار و اشرف افغان در اطراف این برج رخ داده است.
ارتفاع اصلی برج در گذشته بیشتر بوده اما بعدها به علت فرو ریختن گنبد مخروطی‌شکل و زیبای این بنا از ارتفاع آن کاسته شد.
تزیینات بالای برج شامل: کتیبه‌ها و مقرنس‌کاری‌های زیبایی است که کتیبه‌ها به خط کوفی و دورتادور برج را فرا گرفته‌اند.
در این کتیبه‌ها تاریخ بنای برج سال ٤٩٠ هجری قمری نوشته شده است. برج روی پایه دایره‌ای‌شکلی قرار گرفته و قسمت تزیینات آن از ١٢ضلعی به استوانه تبدیل شده است که به‌دلیل این ویژگی جزو برج‌های استثنایی محسوب میشود.