یکی از اثار باستانی شهرستان حاجی آباد قلعه تاریخی این شهر می باشد که قدمت آن به دوران ایلخانان، تیموریان و صفویه می رسد این قلعه در ورودی شهر حاجی آباد قرار دارد و احتمالاً در دوره صفویه نیز از آن استفاده می شده است. این قلعه روی صخره ای در جنوب غربی شهر قرار دارد. ارتفاع آن بین ۳۰- ۲۷ متر و طول و عرض۸۰ متر می باشد و دارای چهار برج است . ظاهراً این قلعه در روزگار دولت های قبل از اسلام بنا شده و بعدها توسط پادشاهان هرمز بازسازی گردیده است. احتمال می رود قلعه کهن حاجی آباد به دلیل موقعیتی که داشته توسط سپاهیان تیمورلنگ تخریب و پس از قتل عام اهالی به آتش کشیده شده سپس به وسیله سیفین یکی از پادشاهان هرمز بازسازی میگردد . و به نام قلعه سیفین (دو شمشیر) نامگذاری میشود . شهرحاجی آباد در اطراف همین قلعه بوجود آمده و رشد کرده و درحال حاضر یکی از محلات قدیمی این شهرستان به نام پای قلعه مشهور میباشد.