পরে উপেন্দ্রকিশোরের সবচেয়ে ছোট ভাই প্রমদারঞ্জনের সঙ্গে তাঁর বিয়ে হয়েছিল। উপেন্দ্রকিশোরের ষষ্ঠ সন্তান জন্মানোতে এবং কুলদারঞ্জনের স্ত্রীর মত্যুর পর তিনি তাঁর তিন সন্তানসহ এই পরিবারের অন্তর্ভুক্ত হলে পরিবারটির আয়তন আরো বাড়ে। অদ্ভুত এই বাড়িটায় একদিকে জাতীয় নবজাগরণের উপকরণ, অন্যদিকে জাতির ভবিষ্যতের উপাদান, দুয়ের আদান-প্রদানে একটা নতুন সত্তা জেগে উঠছিল৷
যে-সব বড়রা এই বাড়িতে সর্বদা আসা-যাওয়া করতেন তাঁদের মধ্যে ছিলেন ব্রাহ্মসমাজের আচার্য বিখ্যাত সমাজসংস্কারক, পণ্ডিত শিবনাথ শাস্ত্রী, ধার্মিক নবদ্বীপচন্দ্র দাস, আচার্য প্রফুল্লচন্দ্র রায়, আচার্য জগদীশচন্দ্র বস ও বিশ্বকবি রবীন্দ্রনাথ ঠাকুর৷
ছোটবেলা থেকেই উপেন্দ্রকিশোরের সংগীতে ঝোঁক ছিল, তিনি বাঁশি ও বেহালা বাজাতেন এবং কলকাতায় আসার পর সম্ভবত গানবাজনার সূত্র ধরেই জোড়াসাঁকোয় যাতায়াত করতে থাকেন। এই সময় থেকে রবীন্দ্রনাথের সঙ্গে তাঁর যে আজীবনসখ্য স্থাপিত হয়েছিল তার রেশ তাঁর মৃত্যুর পরও তাঁর সন্তানদের বিশেষত সুকুমার ও তাঁর স্ত্রীর প্রতি স্নেহরূপে বর্ষিত হয়েছিল।
এই পরিবারের আবহাওয়াটা অসাধারণ ছিল: লীলা মজুমদার লিখেছেন—“মনে হয়, ওঁদের ছিল অবারিত দ্বার, কোনো দুঃখী, নিরাশ্রয় ওঁদের বাড়ি থেকে ফিরে যেতো না। কত রুগ্ণ লোক এসে চিকিৎসা করিয়ে যেত। একবার এক বৃদ্ধ পাগল ভদ্রমহিলাও অনেকদিন থেকে গেলেন। বাড়িসুদ্ধ সকলে নাস্তানাবুদ, কিন্তু উপেন্দ্রকিশোরের বাড়ির দরজা তবুও তেমনি খোলা রইলো৷” পুণ্যলতা চক্রবতীও স্মৃতিচারণ করেছেন, “আমাদের বাড়িটা ছিল আত্মীয় স্বজন, বন্ধু বান্ধব অতিথি অভ্যাগত সকলেরই সুখের মিলনের জায়গা—‘বারো মাসে তেরো পার্বণে’র মতো ছোটখাটো কত আনন্দের উৎসব নিত্য লেগে থাকতো। ভগবানের নামগানে, প্রাণখোলা আদর-যত্নে, হাসি-আলাপে, গান-বাজনায় সকলেই কত তৃপ্তি ও আনন্দ পেতেন। বাবার এক বন্ধু বলতেন, ‘এ বাড়ির মানুষগুলো সব সময়েই যেন হাসছে বাড়িটাও যেন হাসছে’!”
এই বিরাট বাড়িটাতেই বাংলার নতুন সমাজের একটা ছোট সংস্করণ ছিল। ব্রাহ্ম বালিকা শিক্ষালয়ে ছোট ছেলেমেয়েরা এক সঙ্গেই পড়তো, বিকেলবেলায় বাড়িটার আবাসিক সমস্ত ছেলেপিলে প্রকাণ্ড ছাতে খেলা করতো, পণ্যলতা চক্রবর্তী লিখেছেন, “লুকোচুরি, চোর-চোর, কুমির-কুমির, কানামাছি এ-সব খেলা তো ছিলই। তাছাড়া মন থেকে বানিয়ে কতরকম খেলা হত নতুন নতুন খেলার কল্পনা দাদার মাথায় খুব আসতো৷”
সন্ধেবেলায় সকলে মিলে গোল হয়ে বসাটা একটা মস্ত ব্যাপার ছিল। কোন-কোনদিন অনেক ছেলেমেয়ে জড়ো হয়ে ম্যাজিক লণ্ঠন, শ্যাডোপ্লে এই-সব দেখা হতো আর “রোজ সন্ধ্যায় ছিল গল্প শোনার পালা কত দেশ-বিদেশের কথা, রূপকথা, রামায়ণ মহাভারতের গল্প, যুদ্ধ ও বিপদের কত রোমাঞ্চকর গল্প, শুনতে শুনতে যেন কোন স্বপ্নরাজ্যে চলে যেতাম৷”
সাধনার তীর্থক্ষেত্র এই বাড়িতে কয়েকটা কাজের ঘর ছিল। পণ্যলতা চক্রবর্তী বলেছেন, “একটাকে আমরা বলতাম, কংকালের ঘর’...এটা ছিল আমাদের ডাক্তার দিদিমার পড়াশোনার ঘর। আরেকটা ছিল ‘অন্ধকার ঘর’ তার চারদিক বন্ধ। ভিতরে