Yohanes lahir di Tuscany, kira-kira pada tahun 470. Sebelum diangkat sebagai Paus di Roma menggantikan Paus Hormisdas (514-523) pada tanggal 13 Agustus 523, ia melayani umat Roma sebagai diakon agung. Sebagai Paus, ia adalah Uskup Dioses Roma ke-53. Masa kePausaannya yang singkat itu (523-526) diisinya dengan berbagai tindakan untuk membela kebenaran agama di hadapan para penganut Arianisme. Di kalangan umat, ia dikenal sebagai Paus yang ramah. Dengan Theodorikus, Raja Ostrogotik di Italia, ia menjalin hubungan baik tetapi

segera berubah menjadi permusuhan karena dia tidak membela kepentingan Theodorikus yang Arian itu.

Permusuhan itu berawal dari keberhasilan Paus Hormisdas mengakhiri skisma antara Gereja Barat dengan Gereja Timur berkat kerjasama yang baik dengan kaisar Yustinus I pada tahun 519. Perbaikan hubungan ini membawa serta sejumlah hukum baru yang tidak menguntungkan bagi Thedorikus bersama pengikut-pengikutnya yang menganut ajaran sesat Arianisme. Untuk memperbaiki posisi mereka, Theodorikus yang bersahabat baik dengan Yohanes itu mendesak Paus Yohanes untuk memimpin sebuah delegasi menghadap kaisar. Misi ini tidaklah tercapai seluruhnya seperti yang diinginkan Theodorikus. Dalam kunjungan ke Konstantinopel Paus Yohanes bersama delegasinya diterima dengan senang hati oleh Yustinus, Patriakh Timur bersama umatnya. Bahkan disana Yohanes diperkenankan merayakan Paskah.

Selama beberapa waktu, Theodorikus menaruh curiga besar padaYohanes tentang segala hal yang dibicarakan di Konstantinopel. Ia mencurigai bahwa Yohanes telah mengadakan persekongkolan untuk mengembalikan lagi kuasa kaisar Byzantium di Italia. Keberhasilan Paus Yohanes dalam kunjungannya ke Konstantinopel dilihatnya sebagai suatu tanda perlawanan terhadap dirinya. Oleh karena itu, sekembalinya delegasi itu ke Ravenna, Paus Yohanes ditangkap dan dipenjarakan di Ravenna. Ia disiksa hingga mati. Jenazah Yohanes di bawa ke Roma untuk dimakamkan di Basilik Santo Petrus.