Op een heuvel boven het Bliestal, de zogenaamde Han, staat de bedevaartskapel Heilig-Kreuz. Deze werd gebouwd in de jaren 1682/83. De opdrachtgevers waren de in Koblenz regerende baronnen Carl Caspar en Damian Adolph von der Leyen. Het wapen van von der Leyen siert nog steeds het portaal. Op het voorplein werden een kruisigingsgroep, de kruisweg van Christus en een heilig graf opgericht. Een zuilengalerij vormde de afsluiting van het totale complex. Een bijzondere attractie in die tijd was een kruisrelikwie in de Heilig-Kreuz-kapel. Blieskastel is vandaag de dag een belangrijk bedevaartsoord in het bisdom Speyer vanwege de pijlenmadonna "Unsere Liebe Frau mit den Pfeilen" (Onze-Lieve-Vrouw met de pijlen). Volgens de kloostertraditie van Gräfinthal wordt vermeld dat soldaten in de middeleeuwen op het "Brudermannsfeld" bij Bebelsheim een kluizenaar hebben overvallen die een vesperbeeld vereerde. Het Mariabeeld werd met pijlen beschoten. De pijlpunten bleven in het gesneden houten beeld steken. Uit de wonden vloeide bloed, waarmee gravin Elisabeth von Blieskastel haar zieke ogen bevochtigde en zo genas. Uit dankbaarheid liet ze in het nabijgelegen Gräfinthal een klooster stichten en daar de Madonna plaatsen. Tijdens de ontbinding van het klooster van Gräfinthal in 1785/86 kwam de Pfeilen-Madonna in de parochiekerk van Blieskastel terecht. In 1829 werd ze uit de parochiekerk verwijderd en in de Heilig-Kreuz-kapel geplaatst. Na lange tijd verborgen en vergeten te zijn geweest, werd de oude Pietà begin 1911 herontdekt en na een uitgebreide restauratie weer op het altaar van de Heilig-Kreuz-kapel geplaatst.
