De stelling dat de naam Kalfort afkomstig zou zijn van "kalfskop" berust op een oude legende. Ter gelegenheid van Puurs kermis ging er zoals elders een processie uit. In de kerk van Puurs was er echter geen Onze-Lieve-Vrouwebeeld.

Omdat de Puursenaren geen processie wilden zonder Onze-Lieve-Vrouw, besloten ze de zusters van het gasthuis van Kalfort te vragen het beeld van Onze-Lieve-Vrouw van Kalfort te lenen. De nonnekes gaven hun toelating en de Puursenaars gingen fier als pauwen in hun processie. Na de processie begon de kermis en er werd veel bier gedronken, zodat ze vergaten het beeld opnieuw naar Kalfort te brengen.

Enkele dagen later brak er een hevig onweer los. De nonnekes wisten niet waar kruipen van schrik en misten hun Onze-Lieve-Vrouwebeeld, waarvan ze de redding verwachten. De overste van het klooster deed een rondgang in de gebouwen, om te kijken of de bliksem en het water geen schade hadden veroorzaakt. Toen zij in de tuin kwam, bemerkte zij plots een kalfskop in de beek en boven op die kop troonde Onze-Lieve-Vrouw. Zij was alleen van Puurs naar Kalfort gekomen. Het spreekt vanzelf dat de heren van Puurs het beeldje nooit meer in leen kregen.