Auf einer Anhöhe über dem Bliestal, dem sogenannten Han, steht die Wallfahrtskapelle Heilig-Kreuz. Sie entstand in den Jahren 1682/83. Bauherren waren die in Koblenz regierenden Freiherren Carl Caspar und Damian Adolph von der Leyen. Das von der Leyensche Wappen ziert noch heute das Portal. Auf dem Vorplatz wurden eine Kreuzigungsgruppe, der Kreuzweg Christi und ein Heiliges Grab errichtet. Ein Säulengang bildete den Abschluss der Gesamtanlage. Besonderer Anziehungspunkt war in dieser Zeit eine Kreuzreliquie in der Heilig-Kreuz-Kapelle. Blieskastel ist heute wegen der Pfeilen-Madonna „Unsere Liebe Frau mit den Pfeilen“ ein bedeutender Wallfahrtsort im Bistum Speyer. Nach der Klostertradition von Gräfinthal wird berichtet, dass im Mittelalter Soldaten auf dem „Brudermannsfeld“ bei Bebelsheim einen Eremiten überfallen haben, der ein Vesperbild verehrte. Die Marienstatue wurde mit Pfeilen beschossen. Die Pfeilspitzen blieben in der geschnitzten Holzfigur stecken. Aus den Wunden floss Blut, mit welchem die Gräfin Elisabeth von Blieskastel ihre kranken Augen benetzte und damit heilte. Aus Dankbarkeit ließ sie im nahen Gräfinthal ein Kloster gründen und dort die Madonna aufstellen. Während der Auflösung des Klosters von Gräfinthal 1785/86 kam die Pfeilen-Madonna in die Pfarrkirche nach Blieskastel. 1829 wurde sie aus der Pfarrkirche entfernt und in der Heilig-Kreuz-Kapelle aufgestellt. Lange Zeit eingehüllt und vergessen, wurde die alte Pieta Anfang des Jahres 1911 wiederentdeckt und nach umfangreicher Restaurierung wieder auf dem Altar der Heilig-Kreuz-Kapelle aufgestellt.