A l’origine, ce bâtiment a été construit par Charles IV à la suite de l’aile Nord du couvent, de 1663, pour servir d’écurie et d’abri de carrosses.

Ceinturé d’un mur au début du XVIIIème siècle et agrandi par les Oblats après 1869, la cour sera dotée d’un préau couvert, au XIXème. Rénové en 2002 grâce aux chantiers éducatifs sur la colline, «l’abri du pèlerin» offre aujourd’hui aux visiteurs un espace de repos et de pique-nique, et accueille des expositions.