বাগবাজারে রবীন্দ্র সরণিতে রয়েছে সিদ্ধেশ্বরী কালীবাড়ি। কথিত আছে, প্রায় ৫০০ বছর আগে তপস্বী কালীবর নামের এক শক্তি উপাসক স্বপ্নাদেশ পেয়ে হিমালয় থেকে নেমে আসেন। বাগবাজারের গঙ্গাপাড়ে হোগলা বনের মধ্যে কালীবর শুরু করেন দেবীর উপাসনা। ভক্তের পুজোয় তুষ্ট হয়ে দেবীর আশির্বাদে বেতবনে বসে কালীর মূর্তি। তখন থেকেই দেবীর নামকরণ হয় সিদ্ধেশ্বরী কালী।
চোনা যায়, জঙ্গলে ঘেরা ওই মন্দিরে এরপর পুজো শুরু করে ডাকাতরা। মায়ের আরাধনায় দেওয়া হয় নরবলিও। তবে কথিত আছে, গঙ্গায় ভেসে আসা দুই বালককে ডাকাতরা বলি দিতে উদ্যত হলে, ওই বালকদের বাঁচান এক কাপালিক। পরবর্তীতে ওই বালকদের পরিবারের হাতেই পুজো পেতে শুরু করেন বাগবাজারের সিদ্ধেশ্বরী কালী।
দীপান্বিতা অমাবস্যায় এখনও মহা সমারোহে পূজিতা হন বাগবাজারের সিদ্ধেশ্বরী কালী।দুর্গাপুজোর অষ্টমীর দিন দেবীর পোশাক বদলেরও রীতি রয়েছে। শোনা যায়, কারণবারি বাগবাজারের এই কালীপুজোর অন্যতম উপকরণ। শুধু পুজোর সময় নয়, পুরোহিত পুজোয় বসার আগেও নাকি চানাচুরের সঙ্গে কারণবারি পান করেন আজও।