হরিপুর
উপজেলার কেন্দ্রস্থলে হরিপুর রাজবাড়ি। এই রাজবাড়ি ঘনশ্যাম
কুন্ডুর বংশধরদের দ্বারা প্রতি''ষ্ঠত। মুসলিম শাসন আমলে আনুমানিক ১৪০০ খ্রিস্টাব্দে ঘনশ্যাম কুন্ডু নামক একজন ব্যবসায়ী এন্ডি কাপড়ের ব্যবসা করতে হরিপুরে আসেন। তখন মেহেরুন্নেসা নামে এক বিধবা মুসলিম
মহিলা এ অঞ্চলের জমিদার
ছিলেন। তাঁর বাড়ি মেদিনীসাগর গ্রামে। জমিদারির খাজনা দিতে হতো তাজপুর পরগনার ফৌজদারের নিকট। খাজনা অনাদায়ের কারণে মেহেরুন্নেসার জমিদারির কিছু অংশ নিলাম হয়ে গেলে ঘনশ্যাম কুন্ডু কিনে নেন।
ঘনশ্যামের
পরবর্তী বংশধরদের একজন রাঘবেন্দ্র রায় ঊনবিংশ শতাব্দীর মধ্যভাগে বৃটিশ আমলে হরিপুর রাজবাড়ির কাজ শুরু করেন। কিন্তু তাঁর সময়ে রাজবাড়ির কাজ শেষ হয়নি। রাঘবেন্দ্র রায়ের পুত্র জগেন্দ্র নারায়ণ রায় ঊনবিংশ শতাব্দীর শেষদিকে রাজবাড়ির নির্মাণ কাজ সমাপ্ত করেন। এসময় তিনি বৃটিশ সরকার কর্তৃক রাজর্ষি উপাধিতে ভূষিত হন। জগেন্দ্র নারায়ণ রায়ের সমাপ্তকৃত রাজবাড়ির দ্বিতল ভবনে লতাপাতার নকশা এবং পূর্ব দেয়ালের শীর্ষে রাজর্ষি জগেন্দ্র নারায়ণের চৌদ্দটি আবক্ষ মূর্তি আছে। তাছাড়া ভবনটির পূর্বপাশে একটি শিব মন্দির এবং মন্দিরের সামনে নাট মন্দির রয়েছে। রাজবাড়িতে ছিল একটি বড় পাঠাগার যার
অস্তিত্ব এখন নেই। রাজবাড়িটির যে সিংহদরজা ছিল
তাও নিশ্চিহ্ন হয়েছে। ১৯০০ সালের দিকে ঘনশ্যামের বংশধররা বিভক্ত হলে হরিপুর রাজবাড়িও দু'টি অংশে
বিভক্ত হয়ে যায়। রাঘবেন্দ্র-জগেন্দ্র নারায়ণ রায় কর্তৃক নির্মিত রাজবাড়িটি বড় তরফের রাজবাড়ি
নামে পরিচিত। এই রাজবাড়ির পশ্চিমদিকে
নগেন্দ্র বিহারী রায় চৌঃ ও গিরিজা বল্লভ
রায় চৌঃ ১৯০৩ সালে আরেকটি রাজবাড়ি নির্মাণ করেন যার নাম ছোট তরফ।