قلعه پهلوان بادی در کنار آسیاب بادی و متروکه قرار گرفته است و مردم منطقه در محاوره های عمومی از این قلعه به نام پلوون یاد می کنند.این قلعه در مسیر آبشار دره گاهان که تنها آبشار استان یزد محسوب می شود، در مسیر دره ای به نام لاکانو و برفراز کوهی به همین نام قرار د ارد.

طول مسیر دره تا قلعه سه کیلومتر است و طی کردن آن به علت سنگلاخ بودن، خرابی جاده و باریک بودن آن بسیار مشکل بوده و به راه بز رو معروف بوده. بنای قلعه از آجرهای نازک ساخته شده و ۱۵۰۰ متر مربع مساحت دارد.