برج خورموج یکی از قلعه‌های معروف و تاریخی و یکی از نقاط نگهبانی و جایگاه پاسداران شهر در دوران گذشته بوده‌است.
برجی که تا به حال برجای مانده‌است بقایای قلعهٔ عظیمی است که به نام قلعهٔ خورموج مشهور بوده‌است.
این برج یکی از آثار شکوهمند و تاریخی استان بوشهر [چهارگوشه ایران: استان بوشهر] است که در حال حاضر یکی از برج‌های آن باقی مانده‌است.
قلعه خورموج شامل چهار حصار، چهار قلعه، اندرونی، عمارت مرکزی و قراولخانه و اصطبل می‌باشد.
سبک معماری آن سلجوقی و متاثر از سبک قلعه سازی دوره ساسانی است که با استفاده از طاق‌نماها و گچبری در آرایش دیوارها و درون اتاق‌ها بنا شده است.
قسمتی از این قلعه به نام قلعه محمدخان دشتی و قسمت دیگر آن به نام قلعه جلال خان معروف بوده است.
حدود 150 سال پیش محمد خان دشتی حاکم دشتی قلعه‌ای ساخت که دارای چهار برج گلی بود و دیوارها و باروها گچی که به ارتفاع 10تا12 متر و با وسعت تقریبی 120در110 متر مربع بود.
در داخل قلعه مهمانخانه و قراولخانه به سبک معماری ایتالیایی و به سبک بناهای زمان صفوی ساخته شده بود که معماران شیرازی و اصفهانی کار ساختن آن را بر عهده داشتند.
قلعه دارای در بزرگی رو به شمال به اندازه 4 در 5 متر بود که از چوب درختان جنگلی ساخته شده بود که به آن هشتی می‌گفتند و محل ورود ماشین و سواران بود.
در کوچک جنوبی به ارتفاع 5/3 متر و عرض 5/1 متر که محل رفت و آمد پیاده‌ها بود و به آن چیله می‌گفتند. چشمه آب روان بنگه از کنار در جنوبی قلعه می‌گذشت و در کنار آن محمد خان حمامی به سبک معماری دوره قاجار بنا کرده بود.
20 سال محمد خان در این قلعه حکومت کرد و سپس جمال خان دشتی در قسمت جنوب غرب آن قلعه‌ای گچی بسیار زیبا بنا کرد.
در اواسط دوره پهلوی اول قلعه به تصرف ارتش درآمد و پس از تخریب قسمت مهم ساختمان، تنها تنها برج جمال خان باقی ماند.
برج قلعه خورموج دارای 3 طبقه و یک زیرزمین است. در زیرزمین بنا سقف به شکل گنبدی و با تقارن زیبایی ایجاد شده‌است.
این تقارن در طبقات دیگر نیز حفظ شده‌است. در طبقهٔ اول سقف چندان تفاوتی نکرده و تنها فرق آن، نقش و نگار‌هایی است که به آن اضافه شده است.
قلعه محمد خان دشتی در سال 1379 در فهرست آثار ملی به ثبت رسید. این اثر که یکی از با شکوه‌ترین نمونه‌های معماری دوره قاجاریه و دارای تزئینات بدیع و منحصر به فرد است، بارها مورد تاخت و تاز قرار گرفته است.
این اثر ملی که زمانی با برج‌های متعدد و گوشواره‌های زیبا، هیبت و شکوه خود را به رخ هر رهگذری می‌کشید، امروز در میان انبوهی از ساختمان‌های چند طبقه شهری محاصره شده است.