作為報(bào)復(fù)，教皇把亨利四世逐出教會，并要求德意志的王公貴族遠(yuǎn)離這位不稱職的國王。德意志的王公們正巴不得除掉亨利四世，于是他們邀請教皇來到奧格斯堡，幫他們選出一位新皇帝。

于是，格里高利離開了羅馬，動身前往北方。亨利四世也不是傻瓜，他清楚地知道自己的處境非常危險(xiǎn)。他必須不惜一切代價(jià)，換取與教皇的和平相處。時(shí)值嚴(yán)冬，亨利顧不得天氣寒冷，匆匆翻過阿爾卑斯山，來到教皇臨時(shí)歇腳的卡諾薩城堡。

從公元1077年1月25日～28日整整三天的時(shí)間里，亨利都打扮得像個(gè)虔誠的教徒一樣（他破舊的僧服下面其實(shí)穿著保暖的毛衣），一直等候在卡諾薩城堡的大門外。最終教皇允許他進(jìn)入城堡，并赦免了他的罪責(zé)。但他的懺悔并沒有持續(xù)多久。亨利一回到德國，就和以前一樣，我行我素。于是教皇再次把他逐出教會，而亨利也再次召開了德意志主教會議，廢黜了格里高利。

這次亨利帶著一支軍隊(duì)，翻越了阿爾卑斯山。他們包圍了羅馬，逼格里高利退位，并把他流放到薩勒諾，格里高利最終死在那里。但這次流血沖突并沒能解決任何問題。亨利一回到德意志，教皇和皇帝之間的戰(zhàn)爭就又展開了。

不久之后，霍亨施陶芬家族取得了德意志帝國的皇位，他們變得比前任更加獨(dú)立。格里高利曾經(jīng)聲稱，教皇凌駕于所有君主之上，因?yàn)榻袒室谀┤諏徟心翘鞛樗乒艿乃懈嵫蜇?fù)責(zé)；而在上帝看來，一個(gè)國王不過是牧羊人中的一分子而已。