এই হল দক্ষিণের ভূবনগরী দুর্গ যার অসাধারণ স্থাপত্য সম্পর্কে আমাদের ইতিহাস বই খুব বেশি কিছু বলে না, যতটা বলে দিল্লি অথবা আগ্রার যে কোনো একটি সাধারণ সৌধ সম্পর্কে। পশ্চিম চালুক্য রাজবংশের শাসক ত্রিভুবনমল্ল ষষ্ঠ বিক্রমাদিত্য কর্তৃক তৈরী করা হয়েছিল এই মহান স্থাপত্য। এটি আসলে খোদাই করা হয়েছিল বিচ্ছিন্ন একটি মাত্র বিশাল আকারের শিলাখন্ড থেকে। যাকে বলে মনোলিথিক স্ট্রাকচার। প্রাথমিকভাবে প্রতিষ্ঠাতা ত্রিভুবনমল্ল'এর নামানুসারে এই দুর্গের ত্রিভুবনগিরি নামকরণ করা হয়েছিল। তবে এই নামটি ধীরে ধীরে ভুবনগিরি এবং তারও পরে কেবল ভৌঙ্গির নামে পরিচিত হয়।
পরবর্তী কালে অবশ্য দুর্গটি কাকাতীয় বংশের রানি রুদ্রমাদেবী এবং তার নাতি প্রতাপরুদ্রের শাসনের অধীনে চলে আসে।