Fundado por el Mariscal de Castilla y señor de Ampudia, Pedro García de Herrera y otorgado el 3 de enero de 1455.
En un principio fue un hospital para los pobres del pueblo y los alrededores que funcionó hasta el año 1946. A partir de esta fecha prestó un servicio llamado «Socorro Domiciliario», que consistía en ofrecer a los pobres y enfermos alimentos y medicinas. Lo regía la fundación Nuestra Señora de Clemencia, que estaba formada por el sacerdote, el alcalde y dos hombres buenos del pueblo.
Es un edificio de dos plantas, en cuyo interior se encuentra un patio porticado. A través del patio, se tiene acceso a las dependencias interiores. Posee una capilla en la que se conserva un magnífico retablo.
Actualmente, ha sido totalmente restaurado y alberga en su interior la Oficina Municipal de Turismo, así como un Centro de Exposiciones, en el que encontramos las muestras permanentes de Maquetas de Sebastián Vaquero y El Museo de la Medicina.
