Es probablemente el único testimonio de un antiguo pueblo llamado Castrillejo o Castriello, cuya existencia se documenta ya a principios del siglo X y que perduró hasta la primera mitad del siglo XIV, como se recoge en varios documentos del Obispado de Palencia (especialmente las relaciones de sus lugares elaboradas en la época del obispo Don Vasco -1344 a 1352-, donde se dice que todavía tenía parroquia con tres clérigos a su cuidado). Hace algunos años se descubrieron en sus proximidades varios enterramientos antropomorfos y está pendiente de iniciativa pública una deseable prospección arqueológica de todo su entorno.
El poblado debió de quedar vacío a principios del siglo XIV (o quizá como consecuencia de la peste de 1348) y la actual ermita, reconstruida entre 1621 y 1626 (en 1648 se le añadió el pórtico o portal exterior), y restaurada parcialmente en 2002, es con toda probabilidad heredera de lo que fuera su iglesia parroquial; en Ampudia sigue existiendo una cofradía de la Virgen del Castrillo, cuya imagen se guarda en la iglesia parroquial (capilla de Santa Ana), y sigue celebrándose su fiesta el último domingo de julio, aunque ya no se lleva a cabo la antigua procesión que conducía a la imagen desde su ermita la víspera y la devolvía a ella el mismo día de la fiesta por la tarde.
