মহারাজের চিত্তে শ্রীশ্রীবৃন্দাবনচন্দ্রের মূর্ত্তি দিবারাত্র বিরাজ করিত তাই সেই লীলাভূমিতে ভগবানের বিগ্রহ স্থাপন করিতে তাঁহার ইচ্ছা হইয়াছিল। এই উদ্দেশ্যে তিনি খণ্ডল দেশের কাশীবাসী গৌরীচন্দ্র চৌধুরীকে বৃন্দাবনে মন্দির স্থাপন করিবার জন্য পাঠান। গৌরীচন্দ্র বৃন্দাবনে পৌঁছিলে মহারাজ পঁচিশ হাজার টাকা পাঠাইয়া দেন। গৌরীচন্দ্র স্থান নির্ব্বাচন করিয়া কুঞ্জ নির্ম্মাণ করিলেন—শুভদিনে কুঞ্জ মধ্যে রাসবিহারী প্রতিষ্ঠিত হইলেন। অদ্যাপি ‘ত্রিপুরা মহারাজ কুঞ্জ’ নামে এই স্থান বৃন্দাবনে সুপরিচিত। মহারাজ রামগঙ্গা দীর্ঘকাল স্বর্গীয় হইয়াছেন কিন্তু তাঁহার কীর্ত্তি লোক চক্ষে তাঁহাকে অমর করিয়া রাখিয়াছে।
মহারাজ অত্যন্ত গুরুভক্ত ছিলেন। স্বীয় গুরু ভুবনমোহনের মূর্ত্তি নির্ম্মাণ করিয়া তাঁহার নিকট হৃদয়ের ভক্তি নিবেদন করিতেন। মৃত্যুকালে গুরু-পাদপদ্মে মাথা রাখিয়া শেষ নিশ্বাস ত্যাগ করেন। ১৮২৬ খৃষ্টাব্দে (১২৩৬ সনে) মহারাজ রামগঙ্গার মৃত্যু হয়।
