در یک کیلومتری جنوب شرقی قصر شاه عباسی یا قصر بهرام , یک بنای دیگر صفوی به چشم می خورد که حرمسرا نامیده میشود و ظاهرا در هنگام مسافرت خاندان سلطنتی، حرمسرا و در سایر مواقع محل سکونت شکارچیان سلطنتی بوده است.

آب آشامیدنی این بنا از چشمه های واقع در دامنة سیاه کوه، توسط یک کانال و پس از عبور از یک دره به استخری در بیرون جبهه جنوبی حرمسرا می رسید و پس از پر کردن آن از طریق کانالی دیگر به حوضی درداخل حرمسرا منتقل می‌شد.

در نیمه جنوب غربی حرمسرا، یک تالار بزرگ و در شمال آن تالار دو ایوان وجود دارد. در شمال ایوانها دو اتاق بنا شده است، که ابتدا وجود نداشته ولی بعد ها به بنا افزوده شده است. تالارهای موجود در ضلع شمال کاملاً منهدم شده اند و چنین به نظر میرسد که زلزله ای شدید باعث انهدام آنها شده است.