برج خاموشان را به نام برج سکوت یا دخمه زرتشتیان نیز شناخته می‌شود. دخمه یا برج خاموشان سردابی است سنگی که در قدیم زرتشتیان مرده‌های خود را در آن قرار می‌دادند.
دخمه در فرهنگستان‌های مختلف معانی مختلفی دارد؛ مثل گورخانه گبران، سردابه مردگان، خانه زیر زمینی برای مردگان، گور و گورستان زرتشتیان. دخمه‌ها معمولا بر فراز بلندی‌های شهر ساخته می‌شده است. زرتشتیان در گذشته مردگان خود را به دخمه می‌بردند و با آیین خاصی در مرکز این دخمه‌ها قرار می‌دادند.
سطح داخلی برج خاموشان به صورت پهنه مسطح و گردی است که تمام آن با تخته سنگ‌های بزرگ پوشیده شده و از سه بخش زنانه، مردانه و بچگانه تشکیل شده است.
نوار دایره انتهای دخمه که به دیوار اطراف دخمه چسبیده، به مردها اختصاص داشته و نوار دایره میانی بعد از قسمت مردها، مخصوص زن‌ها بوده است.
نوار دایره داخلی بعد از زن‌ها هم جایگاه کودکان بوده است. اما در مرکز همه این نوارها، یک چاه بزرگ به نام استودان (استخوان‌دان) قرار دارد.
استخوان‌دان عبارت است از چاهی که در مرکز برج حفر می‌شده تا بعد از پاک شدن اسخوان‌های مردگان از گوشت و پوست و غیره، استخوان‌ها را در آن چاه قرار دهند.
در دامنه ضلع شمالی کوه دخمه نیز چند عمارت خشت و گلی، آجری، سنگی و یا ترکیبی از این‌ها وجود دارد که به دوران صفویه تعلق دارند و از سازه‌های رفاهی این دوران هستند که به نام خیله شهرت دارند.
برج خاموشان در سال 1381 توسط سازمان میراث فرهنگی و گردشگری با شماره 6312 در فهرست آثار ملی ایران به ثبت رسید.