তাঁহার পিতার মৃত্যুর পরে বিষয়বিভাগ লইয়া সহোদরদের সহিত মনান্তর হওয়ায় তিনি সংসার ত্যাগ করিয়া চলিয়া গিয়াছিলেন। বহুকাল পরে তর্কভূষণ দেশে ফিরিয়া আসিয়া দেখিলেন তাঁহার স্ত্রী দুর্গাদেবী ভাশুর ও দেবরগণের অনাদরে প্রথমে শ্বশুরালয় হইতে বীরসিংহগ্রামে পিত্রালয়ে পরে সেখানেও ভ্রাতা ও ভ্রাতৃজায়ার লাঞ্ছনায় বৃদ্ধপিতার সাহায্যে পিতৃভবনের অনতিদূরে এক কুটিরে বাস করিয়া, চরকা কাটিয়া দুই পুত্র ও চারি কন্যা সহ বহুকষ্টে দিনপাত করিতেছেন। তর্কভূষণ ভ্রাতাদের আচরণ শুনিয়া নিজের স্বত্ব ও তাঁহাদের সংশ্রব ত্যাগ করিয়া ভিন্নগ্রামে দারিদ্র্য অবলম্বন করিয়া রহিলেন। কিন্তু যাঁহার স্বভাবের মধ্যে মহত্ব আছে, দারিদ্র্যে তাঁহাকে দরিদ্র করিতে পারে না। বিদ্যাসাগর স্বয়ং তাঁহার পিতামহের যে চরিত্র বর্ণনা করিয়াছেন স্থানে স্থানে তাহা উদ্ধৃত করিতে ইচ্ছা করি।—
তিনি নিরতিশয় তেজস্বী ছিলেন, কোনো অংশে কাহারো নিকট অবনত হইয়া চলিতে, অথবা কোনোপ্রকারে অনাদর বা অবমাননা সহ্য করিতে পারিতেন না। তিনি সকল স্থলে, সকল বিষয়ে, স্বীয় অভিপ্রায়ের অনুবর্তী হইয়া চলিতেন, অন্যদীয় অভিপ্রায়ের অনুবর্তন তদীয় স্বভাব ও অভ্যাসের সম্পূর্ণ বিপরীত ছিল। উপকার প্রত্যাশায় অথবা অন্য কোনো কারণে, তিনি কখনো পরের উপাসনা বা আনুগত্য করিতে পারেন নাই।
ইহা হইতেই শ্রোতৃগণ বুঝিতে পারিবেন, একান্নবর্তী পরিবারে কেন এই অগ্নিখণ্ডটিকে ধরিয়া রাখিতে পারে নাই। তাঁহারা পাঁচ সহোদর ছিলেন, কিন্তু তিনি একাই নীহারিকাচক্র হইতে বিচ্ছিন্ন জ্যোতিষ্কের মতো আপন বেগে বাহিরে বিক্ষিপ্ত হইয়াছিলেন। একান্নবর্তী পরিবারের বহুভারাক্রান্ত যন্ত্রেও তাঁহার কঠিন চরিত্রস্বাতন্ত্র্য পেষণ করিয়া দিতে পারে নাই।
