O santuário de Brotas liga-se, segundo a lenda, a um milagre ocorrido cerca de 1400: uma vaca que pastava teria caído ao fundo do barranco no qual hoje se ergue a igreja; um pastor achando o animal já morto propunha-se esfolá-lo quando lhe surgiu a Virgem com o Menino e lhe disse que no local construísse um templo em veneração da sua imagem. Imagem essa que miraculosamente ali talhou do osso da perna da vaca, já amputado pelo pastor; após a aparição o pastor constatou que a vaca estava viva e com os membros intactos.

A fama do milagre levou ao local inúmeros romeiros em particular do Alentejo e da Península de Setúbal. O número de peregrinos que acorriam ao local era tal modo elevado que o culto da Virgem se desenrolava no adro da igreja, num altar exterior construído para o efeito.

O culto de Nossa Senhora de Brotas expandiu-se rapidamente para fora de Portugal, pois os navios dos descobrimentos levavam a sua imagem.