Landgoed ’t Hartelaer, oorspronkelijk een zelfstandige hofmark, werd in de 14e eeuw met enkele kleine hofmarken samengevoegd tot de Silvolder of Teugse mark.
Omstreeks 1382 wordt 't Hartelaer reeds vermeld in de leenakteboeken als ‘t guet too Herteler’.
In de Middeleeuwen fungeerde het gebouw als ‘spieker’, een opslagplaats voor granen.