این کاروانسرای مستحکم به مساحت 35 × 45 متر از سنگ و آجر ساخته شده است. ابعاد آجرهای موجود در دیوارهای این اثر قدیمی 20 در20 در 4 سانتی‌متر می‌باشد که قالبی یکسان با بناهای موجود دوران صفوی دارد.
از عجیب‌ترین مشخصه‌های این بنا، شالوده سنگی بنا می‌باشد. معماری سنگی بنا کامل و بی نقص بوده در حدی که گمان می‌رود معمار آن، بسیار آگاه به سازه‌های سنگی بوده است. قطر دیوار از ابتدا تا انتها تغییر داشته و چیدمان سنگ و ملات چنان جداناپذیر می‌باشد که تمامی فاصله بین سنگ‌ها با ملات به خوبی پر شده و کار دقیق معمار و بنا، دلیلی را برای بندکشی دوباره بین سنگ‌ها نمی‌گذارد.
ارتفاع بیش از 9 متر دیوارها و نیز وجود برج‌های چهارگوشه بنا و نیز برج‌های نیمه در میان اضلاع شرقی، غربی و جنوبی که جنوبی کمی هم بلندتر می‌باشد و نیز سردر بیش از 15 متر با دو برج، همه و همه حاکی از وضعیت امنیتی بد منطقه و اهمیت راه‌گذری از این منطقه می‌دهد.
تأمین آب از طریق چاه می‌باشد که در داخل کاروانسرا قرار دارد و این اهمیت وجود آب در این منطقه بیابانی را می‌رساند. نبود قنات و تأمین آب داخلی و نیز مکان‌هایی برای انبارکردن آذوقه، بیانگر این مطلب است که زمان‌هایی رباط در محاصره نیز بوده است.
صاحب جامع مفیدی در وصف این رباط یا کاروانسرا می‌نویسد:
- "به سرحد یزد و اصفهان در میان بیابان واقع است. جایی است خوفناک و مکانی است پر وحشت. در قدیم الایام قلعه ای ساخته بودند از سنگ؛ اما خرابی تمام در بنیان آن راه یافته بود. ایالت و شوکت پناه، جانی خان قورچی باشی در زمان اقتدار به تعمیر آن همت گماشت و در نهایت استحکام به اتمام رسانید و بر اطراف آن برج های عالی ترتیب داده و در ساحت آن چاهی حفر نمود که مترددین از آن مستفیض می گردند و بانی را به دعا یاد می‌کنند."
وضع فعلی کاروانسرا نیز موید نوشته صاحب مفیدی است. یعنی دیوار های قسمت قدیمی رباط همه از سنگ سرخ و بسیار محکم است و بعداً تعمیرات و مرمت‌هایی که در آن شده، با آجر به انجام رسیده و مخصوصاً برج ها و گاوپهلوهایی به آن الحاق شده است.
سردر ورودی که در طرف دیوار شمالی است تماماً از آجر و احداث عصر صفوی است. دو برج متصل به سردر به محیط خارجی پانزده متر از آجر و یک گاوپهلو و جرز که حکم شمع و حمال برای دیوار دارد در همین قسمت ساخته شده. در دو زاویه دیوار سمت راست یا مغرب دو برج و در وسط آن یک برج سنگی هست و یک شمع آجری هم در همین سمت دیده می شود.
در دیوار سمت چپ یا مشرق دو برج سنگی اصلی و دو گاوپهلوی آجری متصل دیده می شود. بلندی دیوار ها قریب نه متر است. بالای سر شاه نشین برجی از آجر به بلندی سه متر ساخته اند و در همانجا سه سوراخ تعبیه شده که جای ریختن روغن داغ و آب جوش بوده است.
دو متر از سر دیوار برج های اطراف قلعه از آجر ساخته شده. در داخل رباط صفه ها، و عقب سر آنها طویله و اصطبل ها همه از آجر بنا گردیده و به طور کلی این رباط از حیث استحکام و استواری از رباط های مهم و نسبتاً سالم صفحات یزد و از لحاظ نقش و طرح هم استادانه و خوش کار است.
یغمیش از نظر ریشه‌شناسی، ریشه و وجه تسمه، چندان مشخص نیست ولی در کتب تاریخی یغمیش را نامی مغولی و برگرفته از آثار یغمیش شحنه اصفهان در عصر غازان‌خان می‌دانند [ایرج افشار، یادگارهای یزد].
این بنای جالب و عجیب شالوده‌ای سنگی و با ملات گل وآهک دارد. البته این شالوده اوّلی بنا بوده که به احتمال زیاد، به دوران حکومت ایلخانان مغول برمی‌گردد. ولی در دوران صفوی با آجر و افزودن چند پاپیل و پشت بند به استحکام بنا افزوده‌اند، از جمله سردر ورودی که با دو برج آجری و دروازه میانی ایجاد شده و برج‌های گوشه‌ای ضلع شمالی.
در ضمن در قسمت‌های شرقی و غربی با دو پیلک نیم‌برج جهت استحکام بخشیدن به دیوارها افزوده اند. مصالح اصلی بنا بومی بوده و از سنگ لاشه منطقه می‌باشد و نیز آهک را نیز از معادن اطراف برداشت کرده‌اند. ولی مرمت دوران صفوی با آجر می‌باشد.
کاروانسرای یغمیش در سال 1382 توسط سازمان میراث فرهنگی با شماره 8558 در فهرست آثار ملی ایران به ثبت رسید.