그레고리 7세의 인격과 권위 때문에 하인리히 4세의 협박장보다는 교황의 파문장이 더 효력을 발생하고 있었다. 당시 하인리히 4세는 백성들의 예쁜 딸들을 강제로 탈취, 첩으로 삼고 포악한 삶으로 백성들의 원성을 사고 있었다. 파문된 황제는 교회 출입이 금지되었고 왕실의 모든 예식에 참석할 자격을 상실한다. 이에 귀족들은 존경받는 스와비아의 공작 루돌프를 새 국왕으로 추대한다. 이런 상황에서 교황 그레고리 7세는 반란 귀족들과 공조하기 위해 독일로 오고 있었다. 하인리히 4세는 황제위까지 위협받는 상황이 되면서 교황과 맞서는 일을 포기하기에 이른다. 그는 반란군보다 먼저 교황을 만나 사죄하기로 결심하고 교황이 오는 길목을 지키고 있었다. 이런 하인리히 4세의 의중을 알 수 없었던 교황 그레고리 7세는 알프스에 위치한 고성 카놋사로 피신한다.
1077년 1월 25일 북풍한설이 몰아치는 가운데 하인리히 4세는 황제의 의복대신 거친 수도복을 입은 채로 굳게 닫힌 카놋사 성채 앞에 맨발로 서서 교황의 용서를 기다리고 있었다. 이 때 하인리히는 교황의 동정을 사기 위해 별로 사랑하지도 않는 황후와 세 살짜리 아이 콘라트를 옆에 세운 채 성문이 열리기를 기다리고 있었다. 드높은 성채 안의 교황은 고민하기 시작한다. 그레고리 7세는 교회의 독립과 사제의 도리를 놓고 고민 하던 끝에 사제의 도리 쪽으로 마음을 굳히고 1월 28일 3일 만에 성문을 열어 주었다. 하인리히 4세는 양팔을 십자가 모양으로 펴고 엎드린 채 용서를 구했다. 교황은 하인리히 4세에게 내린 파문을 철회하고 사면을 내린다. 그리고 돌려보내기 전 만찬을 베풀었으나 하인리히 4세는 음식을 입에 대지 않은 채 말 없이 앉아 있었다.
독일로 귀환한 하인리히 4세는 공작 루돌프를 제압하고 교황에 대한 복수를 다짐한다. 그레고리 7세가 독일 반란군을 지지하며 하인리히 4세를 파문하자 황제는 더 이상 참을 수 없어 군대를 이끌고 로마로 내려간다. 그레고리 7세는 자리를 피했고 하인리히 4세는 자신이 직접 새 교황을 임명한 후 신성로마 황제의 대관식을 치른다. 1085년 노르만과 사라센의 연합군이 로마를 침공하자 그레고리 7세는 노쇠한 몸을 이끌고 남서해안도시 살레르로 피신해 그곳에서 70세를 일기로 영면하였다.