Ketika menginjak sekolah dasar, Rhoma Irama semakin menunjukkan bakat bermusiknya. Ketika masih kecil, ia bahkan sudah gemar menyanyikan lagu-lagu Barat dan juga India dengan baik. Rhoma Irama semakin terlihat bakat bermusiknya ketika ia semakin memperluas referensi lagu dengan menikmati lagu-lagu Timur Tengah dari Ummu Kultsum.
Ayahnya meninggal ketika ia masih duduk di bangku kelas 5 SD dan meninggalkan 8 anak. Ibunya kemudian menikah lagi dengan seorang perwira ABRI, Raden Soma Wijaya yang juga mempunyai darah ningrat. Dari sang ayah tirinya, Rhoma Irama mendapatkan keleluasaan untuk bisa belajar banyak hal, terutama musik. Sang ayah bahkan membelikan Rhoma Irama alat musik seperti gitar, bongo, dan lain sebagainya.
Rhoma Irama remaja, masuk ke sebuah SMA, yaitu SMA Negeri VIII Jakarta. Rhoma saat itu dikenal sebagai seorang murid yang cukup bandel, pasalnya, tidak hanya ikut dalam geng remaja, Rhoma Irama juga menjadi pemimpin dari geng tersebut. Sehingga itu berdampak langsung pada kehidupan sekolah yang ia jalani. Pada masa SMA, Rhoma Irama dikatakan beberapa kali pindah sekolah, hingga akhirnya ia menetap di SMA 17 Agustus Tebet, Jakarta. SMA tersebut terletak tidak jauh dari rumahnya.
Menjadi Pengamen di Solo
Sebelum lulus SMA, salah satu kisah unik yang penting sekali untuk diulas adalah perihal bahwa sosok ningrat Rhoma Irama pernah menjadi seorang pengamen di Solo karena terdampar. Ketika itu Rhoma bermaksud untuk melanjutkan pendidikan dan menuntut ilmu agama di Pesantren Tebuireng, Jombang.
Rhoma tidak mempunyai biaya untuk berangkat ke Jombang, hingga akhirnya dengan modal nekat, ia pergi. Dari Jakarta, ia bersama dengan Benny kakaknya dan tiga orang temannya, Daeng, Umar, dan Haris. Tanpa membawa uang, Rhoma akhirnya kucing-kucingan dengan kondektur bus agar bisa naik bus tanpa harus membeli karcis, dan akhirnya turun di Stasiun Yogyakarta.
Dari Yogya, Rhoma dan tiga temannya kemudian menumpang sebuah kereta untuk sampai di Kota Solo. Di Solo ia terpaksa harus menjadi pengamen jalanan dan ditampung oleh seorang pengamen jalanan bernama Mas Gito untuk tinggal di rumahnya. Di sana, Rhoma sempat melanjutkan pendidikan SMA nya di SMA St. Joseph dengan biaya yang ia peroleh dari mengamen.
