تاریخ نگاران قدمت این بنای باستانی را به زمان پادشاهی جمشید نسبت داده‌اند و مردم این شهر در زمان حمله آزادخان افغان به این منطقه در این قلعه پناه می‌بردند به طوری که نیروهای آزادخان افغانی بعد از مدت‌ها محاصره نتوانستند وارد این قلعه شوند.
مسجد جامع تاریخی نیمور / پل باقرآباد / جاذبه‌های گردشگری محلات
این قلعه، دارای خندق و دروازه چوبی مجهز به ابزارهای ضد حریق بوده است و راه‌های پنهانی، آن را به خارج وصل می‌کرده.
بالای دروازه قلعه، تالاری بوده که ۲۰ نفر می‌توانسته‌اند در آنجا تیراندازی کنند. در داخل این قلعه کانال‌های زیر زمینی وجود داشته که به زمین‌های زراعی اطراف شهر منتهی می‌شده‌است.
این محاصره مدت‌ها ادامه یافت و هیچ کس قادر به نفوذ به داخل قلعه نشده‌است. اهالی شهر در زمان محاصره به صورت محرمانه از کانال‌های زیر زمینی بیرون رفته و آذوقه به داخل قلعه حمل می‌کرده‌اند.
در داخل این قلعه کانال‌های زیر زمینی وجود داشته که به زمین‌های زراعی اطراف شهر منتهی می‌شده است. بخشی از دیواره جنوبی و شرقی این قلعه که در حال تخریب است، هنوز باقی مانده.
بر خلاف ظاهر معمولی و خرابه قلعه، این بنا، تماشایی‌ترین و جالب‌ترین بنای نیمور به حساب می‌آید.
بیش از یک قرن پیش، ناصرالدین شاه در سفرش به عراق عجم از قلعه جمشیدی به عنوان دو قلعه خیلی محکم یاد کرده است.
در پشت‌بام قلعه و روی دروازه، سنگابی بزرگ بوده است که حدود 20 من شاه، (6 کیلو) آب می‌گرفته و هنگام نیاز لحظه‌ای راه آب آن را باز می‌کردند.
این آب از سنگاب به وسیله تنبوشه‌ای، مخصوص به روی دروازه قلعه پخش و آن را خیس نگاه می‌داشته است.
آنچه که در خاطر مردم نیمور مانده این است که این قلعه بارها نیموری‌ها را از حمله دشمنان و همچنین از تاخت و تاز و غارت یاغیان، در امان نگه داشته است.