روستای خشت سر جمعیتی بالغ بر ۸۰۰ خانوار و ۳۵۰۰ نفر دارد .این روستا از شمال به دریای مازندران از جنوب به جنگلهای نه چندان انبوه شمال ، از سمت شرق به شهرستان محمودآباد و از طرف غرب به ایزد شهر منتهی می شود. براساس آمارهای موجود ۶۵ درصداهالی کشت سر از راه کشاورزی امرار معاش می کنند و بقیه در مشاغل خدماتی و کارگری فعالیت دارند. آستانه امامزاده فضل درکنار جاده ی اصلی روستا با بنایی زیبا و پرجاذبه رهگذران را مجذوب خود می کند.این امامزاده از نوادگان امام موسی کاظم (ع) است ومکان آن ۹۰۰ سال قدمت دارد.بنای جدیدامامزاده درسال ۱۳۶۰ شمسی مجددا با معماری زیبا و چشم نواز ساخته شده است. شغل اصلی مردمان روستای خشت سر صیادی است.