در اواسط خیابان حکیم الهى و بر سر راه شهر به محلات ثلاث (کوشمغان، زاوغان و کدیور) و بین محله کوشمغان و زاوغان سمنان، برج کهنه و قدیمى و نیمه مخروبه‌‌اى وجود دارد که به نام برج چهل دختر یا چهل دختران نامیده مى‌شود. وجه تسمیهٔ این برج چنین است: عده‌اى از مردم سمنان معتقدند برج مذکور را چهل دختر که دست از تعلقات دنیوى کشیده و تارک دنیا شده بودند، با گل و خشت ساخته‌اند.

قدر مسلم این است که تاریخ بناى برج یا آتشکده به زمان قبل از اسلام برمى‌گردد. همان‌طور که از نام کوشمغان (کوشک مغان) و زاوغان (زاویه مغان) که در نزدیکى برج قرار دارد، برمى‌آید و با توجه به مقام مغ که پیشواى زردشتیان بود، مى‌توان اطمینان داشت که برج مذکور زمانى آتشکده و یکى از امان متبرکهٔ زردشتیان بوده است.

این بنا به صورت برج هشت ضلعى است که هر ضلع آن در خارج ۴/۵ و در داخل ۲/۸۰ متر است، ارتفاع برج در بعضى قسمت‌ها ۱۰ متر و در قسمت‌هاى نسبتاً سالم دیگر به ۱۲ متر مى‌رسد. ضخامت دیوار تقریباً ۵۰ تا ۶۰ سانتى‌متر است.

به عقیدهٔ ‌مردم سمنان، برج چهل دختر یکى از بناهاى شوهریاب سمنان است. به این صورت که دختران دم‌بخت براى باز شدن گره‌ بخت خود و پیدا کردن شوهر به داخل برج مى‌روند و سه تا هفت سنگ را از داخل به خارج پرتاب مى‌‌کنند، اگر سنگ به خارج برج بیفتد معتقدند که بخت آن‌ها باز خواهد شد و حتماً همان سال به خانهٔ شوهر خواهند رفت، ‌ در غیر این صورت باید براى بخت‌گشایى تا سال دیگر صبر کنند.

هم اکنون برج مذکور به دلیل توسعهٔ‌ شهرى و احداث مدرسه، داخل حیاط مدرسه قرار گرفته و کماکان ارزش تاریخى خود را حفظ کرده است. سمت‌های نسبتا سالم دیگر به دوازده متر می‌رسد ضخامت دیوار تقریبا ۵۰ تا ۶۰ سانتیمتر است .