آب‌انبار سردار کوچک روبروی مدرسه سردار در انتهای جنوبی محله قملاق و جنب خیابان تبریز شهر قزوین قرار گرفته است. این آب‌انبار یکی از آب‌انبارهای مهم شهر قزوین به شمار می‌رود که توسط دو برادر به نام‌های محمدحسن خان و محمدحسین خان سردار (از امرای فتحعلی شاه قاجار) در سال ۱۲۲۹ هجری قمری ساخته شد.سردرِ آب‌انبار مزین به کاشی‌کاری و داخل ورودی آن دارای رسمی‌بندی است. راه شیر آب‌انبار دارای ۳۶ پله است و ۴ شیر آب، ۴ گنبد و ۴ هواکش دارد. گنجایش مخزن این آب‌انبار ۳۸۰۰ مترمکعب می‌باشد. از آنجا که این آب‌انبار منتسب به برادر کوچک‌تر می‌باشد به آب‌انبار سردار کوچک معروف شده است در حالی از لحاظ ابعاد و گنجایش مخزن، از آب‌انبار سردار بزرگ وسیع‌تر است.این آب‌انبار جزو مجموعه مسجد و مدرسه سردار می‌باشد.

آب انبار سردار کوچک بر خلاف نام آن از آب انبارهای بزرگ و مهم شهر قزوین به شمار می‌رود.این آب انبار در انتهای جنوبی محله قملاق (به لهجه قزوینی، مغلواک) و شمال محله آخوند، جنب خیابان تبریز و به فاصله کمی در شمال بقعه سلطان سید محمد روبروی مدرسهٔ سردار واقع شده‌است.خیابان شهید انصاری (کوروش) پس از طرح توسعه به سمت غرب، از شمال این آب انبار عبور کرده‌است که دسترسی گردشگران به این آب انبار و سایر آثار تاریخی بافت قدیم قزوین را آسان ساخته‌است.این آب انبار سی و هفت پله دارد با چهار شیر و انبار آن به چهار گنبد و چهار بادگیر یا بخارکش مسقف است.نمای آن با آجرهای کاشی تزیین یافته و دارای کتیبه‌ای از سنگ مرمر است.

بانی این آب انبار محمد حسن خان و محمد حسین خان سردار، دو برادر از امرا و سرداران فتحعلی شاه و محمد شاه قاجار بوده‌اند که در سال ۱۲۹۹ هجری قمری اقدام به ساخت این بنا کرده‌اند. چون این آب انبار منتسب به برادر کوچک تر می‌باشد به آب انبار سردار کوچک معروف شده‌است در حالی که که از لحاظ اندازه وسیع تر از آب انبار سردار بزرگ است.