یکی از بناهای تاریخی شهر کازرون که تا حدود سی و پنج سال پیش هنوز خرابه های آن وجود داشت، قلعه کلب علی خان بود که به دستور او ساخته شده بود.

کلب علی خان به مدت چهارده سال از سال 1226 تا 1240 ه.ق حاکم کازرون بود. این قلعه که امروز در اثر گسترش شهر و احداث خیابان (چهارراه ارشاد) از بین رفته، حدود یک هکتار وسعت داشت و در واقع ارگ حکومتی و منزل مسکونی کلب علی خان محسوب می شده است

این قلعه تا سال ها پس از مرگ کلب علی خان همچنان مورد استفاده قرار می گرفته است. (تا اواخر دهه 1320ش) و بیشتر مراسم اعیاد مذهبی، روضه خوانی های ماه های محرم و صفر و رمضان در آن برگزار می شد که در این بینف حوض شربتی قلعه معروف بود که از سنگ یک پارچه مرمر سفید تراشیده شده بود و در مراسم های مختلف در آن شربت درست می کردند

درباره چگونگی استفاده از نقاره خانه قلعه، مرحوم مظلوم زاده می نویسد: "در زمان کلانتری ناصر دیوان این قلعه آباد و نقاره خانه آن هنوز پا برجا بود و شب ها در سه نوبت نقاره (طبل) نواخته می شد. بار اول در اوایل شب که به طبل اول معروف و جهت آگاهی اهالی شهر نواخته می شد. بار دوم بین سرشب و نیمه شب (حدود ساعت 10) می نواختند که به طبل دوم معروف بود و در این موقع همه کسانیکه در کوچه و بازار بودند راهی منزل می شدند و نوبت سوم که در نیمه شب نواخته می شد به طبل "بگیرو به بند" معروف بود. در این موقع شب گردان حاکم که به آنها گزمه می گفتند، هرکس را در کوچه و بازار می دیدند بازداشت می کردند و روز بعد هر کدام بی گناه بود آزادش می کردند.

گزمه ها تا صبح در شهر رفت و آمد می کردند و امنیت شهر را بر عهده داشتند. همچنین آهنگ نقاره همراه با دعا برای کلانتر وقت ناصر دیوان بود که عبارت بود از:

سلامتی، سلامتی آقای کلانتر

خدا نگهدارت باشه به حق حیدر

سلامتی، سلامتی کهزاد خان

خدا نگهدارت باشه به حق قرآن

(کهزادخان نام دیگر مرحوم حسنعلی خان فرزند ارشد ناصر دیوان بود)"

 کلب علی خان از طایفه خواجگان کوی علیا بود. این طایفه در زمان صفویه به امر شاه عباس به حکومت کازرون منصوب شدند. اصل آنها از ایل افشار خراسان بود که به مدت حدود 250سال از سال 1000 تا 1260 ه.ق بر کازرون حکومت کردند. مهمترین کسانیکه از این طایفه بر کازرون حکومت کردند عبارت بودند از:

- خواجه حسام الدین افشار کازرونی که مدتی در دربار صفویه در اصفهان کارگزار بود. از آثار خیریه او احداث قنات آب خیرات در سال 1117ه.ق، مدرسه صالحیه در سال 1119ه.ق(حوزه علمیه کنونی) و مسجد مدرسه است.

- خواجه محمدرضا افشار کازرونی که به همراه حاکم یاسوج در سال 1146 ه.ق علیه نادرشاه سر به شورش برداشتند و در نزدیکی نورآباد ممسنی از سپاه نادر شکست خوردند و در این جنگ خواجه محمدرضا افشارکازرونی کشته شد ولی حاکم یاسوج به لارستان گریخت. سپس نادرشاه به کازرون آمد و از مردم غنایم فراوان گرفت.

- علی قلی خان افشار کازرونی که در سال 1167ه.ق همراه با قشون خود کریم خان زند را در راه رسیدن به پادشاهی کمک کرد و سپس یکی از سرداران سپاه کریم خان شد

لازم به یاد آوری است، در حدود چهل سال پیش که کارگران در نزدیکی قبرستان مقام خضر نبی در حال کندن زمین برای ساخت و ساز بودند، سنگ قبر کلب علی خان پیدا شد که متاسفانه پس از مدتی در همان روزها از بین رفت اما روی آن این اشعار نوشته شده بود:

تا به کی منت خورشید کشی و مه نو

اندرین دیر کهن بهر دو نان گندم و جو

فرض کردم که ز اموال شدی کیکاوس

خود گرفتم که ز اجلال شدی کیخسرو

بکنی وزر و وبال بنهی این زر و مال

نه بکن آن و نه بنه این و سبکبال برو

* موسوی دبیر تاریخ دبیرستان های کازرون