মনে ছেলেটিকে বাড়ীতে রাখবার একটি বিশেষ উদ্দেশ্য ছিল। বাবামশায় সম্মত হওয়ায় রায়মশায় তাঁকে যত্নের সহিত লালন-পালন করতে লাগলেন। তখনকার মতে বিয়ের বয়স হলে রায়মশায় তাঁর নবম বর্ষীয়া কন্যা নিস্তারিণী দেবীর সঙ্গে বাবামশায়ের বিয়ে দিয়ে ঘরজামাই করে রাখলেন। আমার ঠাকুরদাদা তাঁর ছেলে ঘর থেকে বেরিয়ে যাবার পর থেকে বরাবরই তাঁর খোজ করছিলেন, কিন্তু এতদিন খোঁজ পাননি। বাবামশায়ের বিয়ে হবার পর তিনি খবর পেলেন যে, তাঁর ছেলে দক্ষিণদিহির কোন ভদ্রলোকের বাড়ীতে আছেন। খোঁজ পেয়ে যখন তিনি দক্ষিণদিহিতে এসে শুনলেন যে, পিরালী ঘরের মেয়ের সঙ্গে তাঁর ছেলের বিয়ে হয়েছে, তখন তিনি রাগে দুঃখে একেবারে যেন ভেঙ্গে পড়লেন আর পৈতে ছিঁড়ে শাপ দিলেন যে, অভয়াচরণ নির্বংশ হোক্। বাবামশায়ের নাম ছিল অভয়াচরণ মুখোপাধ্যায়।
বছর কতক পরে বাবামশায়ের মনে ঘরজামাই থাকতে ভারী একটা বিতৃষ্ণা জন্মালো। তখন তিনি কোনরকমে লুকিয়ে ওখান থেকে বেরিয়ে পড়বার নানান উপায় চিন্তা করতে লাগলেন। একদিন দুপুর রাত্রে স্ত্রীকে জাগিয়ে তাঁর হাত ধরে দক্ষিণদিহি থেকে নরেন্দ্রপুর গ্রামে চলে এলেন। শ্বশুরের অনেক চেষ্টাতেও আর শ্বশুরবাড়ী ফিরলেন না। নরেন্দ্রপুরে কোন এক কাছারিতে তিন চার টাকা মাইনের একটা চাকরি করতে লাগলেন। মায়ের কাছে শুনেছি সেই সময়টা তাঁর বড়ই কষ্টে গিয়েছে। বাপের বাড়ী ছেড়ে আসার দুঃখ, তাছাড়া তখন তিনি ঘরসংসারের কাজকর্ম কিছুই জানতেন না। পাড়ার কোনো কোনো গৃহিণী তাঁর দুঃখকষ্ট দেখে কিছু কিছু ঘরের কাজ দেখিয়ে শুনিয়ে দিতেন। অল্প আয়ের সংসার, জ্বালানি কাঠ পর্যন্ত তাঁকে বনজঙ্গল থেকে সংগ্রহ করে আনতে হত, কাঁটা খোঁচায় হাত ছড়ে গেলেও কাঁদতে কাঁদতে ডাল ভেঙ্গে এনে উনুন ধরাতে হত। কতক দিন এরকম দুঃখেকষ্টে কাটবার পর কলকাতার এক খুব ধনী জমিদার