Goa Gajah diketahui dari masa pemerintahan beberapa raja, antara lain: Sri Dharmawangsawardhana Marakatapangkajastono Tunggadewa (1022 M), Raja Anak Wungsu (1053 M), Paduka Sri Mahaguru (1324 M). Dalam kitab Negarakertagama yang ditulis oleh mpu Prapanca pada masa pemerintahan Raja Hayam Wuruk pada zaman Majapahit, disebutkan bahwa Goa Gajah terletak di desa Bedulu sebagai tempat bersemayamnya Bodadyakasa. Disebutkan juga istilah Kunjarakunjapada yang berarti “asrams kunjara” dimana kunjara dalam bahasa Sansekerta berarti Gajah. Asrama ini merupakan asrama Rsi Agastya yang terletak di Mysore di selatan India dimana pada saat itu memang banyak terdapat gajah liar yang hidup di sekitar asrama. Jadi Goa Gajah kemungkinan besar adalah memori dari asrama Knapada di India dan merupakan salah satu destinasi terbaik yang wajib dikunjungi ketika berkunjung ke Bali.