De vissers uit Heist kwamen in de prille middeleeuwen regelmatig vissen in de kreken van Lissewege. Op zekere dag vonden zij een beeld van een vrouw met kind op de arm. Dit aanzagen ze als Maria. Ze namen het beeld mee naar Heist, maar de dag nadien lag het beeld opnieuw in de kreek.

Dit gebeurde enkele malen waaruit de vissers begrepen dat Maria op die plek wou vereerd worden. Zo werd er een kerkje gebouwd, maar dit werd snel te klein door de massale toeloop van pelgrims die het beeld kwamen groeten. Met de inkomsten van de giften van de pelgrims bouwde men in Lissewege vanaf 1225 de huidige vroeggotische monumentale kerk.

Het beeld wordt nog steeds in de eeuwenoude 'Ommegang van Lissewege' meegedragen vanuit de kerk naar de kapel van Ter Doest (de 3de zondag van mei).

Op 15 augustus draagt men ook het beeld in de 'zeewijdingsprocessie' in Heist. Zo blijft de link met de Heistenaars, die ooit het beeld vonden in het Witte dorp.