কালিয়াগঞ্জের শ্রীমতী নদীর ধারে বয়রা গাছের নিচের বেদিতে ফুল বেলপাতা দেখতে পেয়েছিলেন স্থানীয় জেলেরা। চারিদিকে ছড়িয়ে ছিল ধূপ-ধুনোর গন্ধ। তখনই তাঁরা ঠাওর করতে পেরেছিলেন, কেউ বা কারা সেখানে কালীর আরাধনা করেছেন রাতভর। সে কথা গিয়ে গ্রামবাসীদের জানিয়েছিলেন জেলেরাই। এর পর গ্রামবাসীরা নিজেদের উদ্যোগে সেই বয়রা গাছের নিচের বেদিতে শুরু করেছিলেন কালীর পুজো। সেই থেকেই বয়রা কালীপুজোর শুরু।
গ্রামের ঐতিহ্যবাহী এই পুজোকে ঘিরে ফি বছর বহু ভক্ত সমাগম হয় কালিয়াগঞ্জে। টিনের চালা আর বাঁশের বেড়ার মন্দির থেকে আজ বিশালাকার মন্দির তৈরি হয়েছে। মৃন্ময়ীর মূর্তির বদলে বসেছে মায়ের অষ্টধাতুর মূর্তি। দীপাবলির রাতে দেবীর সারা অঙ্গজুড়ে থাকে সোনার অলঙ্কার। স্থানীয় বাসিন্দা থেকে মন্দির কর্তৃপক্ষ এবং ভক্তদের বিশ্বাস, এখানে মা বয়রা কালীমাতার কাছে মানত করলে তা ফলে যায়। ফলে মানত পূরণ করতেই হাজার হাজার ভক্ত আসেন প্রতিবছর। কালিয়াগঞ্জের রাজনন্দিনীর এই পুজোতে শোল, বোয়াল-সহ পাঁচ রকমের মাছ ও পাঁচ রকমের সবজি দিয়ে মায়ের ভোগ হয়।
কথিত আছে শ্রীমতি নদী দিয়েনৌকা আর বজরা নিয়ে দূর-দূরান্ত থেকে এই শহরে বানিজ্য করতে আসতেন বনিকেরা। বিশ্রাম নিতেন এই বয়রা গাছের তলায়। পাশাপাশি এখানেই বেদি তৈরি করে ডাকাতরা মায়ের পুজো দিয়ে দক্ষিণের জেলাগুলোতে যেত ডাকাতি করতে। দীপাবলির রাতের বয়রা কালীবাড়ির পুজোকে ঘিরে কালিয়াগঞ্জ, রায়