Es lo único que queda de la iglesia románica de San Esteban, fundada en el año 1086 para conmemorar la victoria castellana sobre el almorávide Alí. La torre, es gótica, del siglo XIII y el reloj fue colocado en ella en el siglo XIX. Declarada Bien de Interés Cultural desde 1981.

La Torre del Reloj goza de una perpetua vinculación con Peñafiel, y es que es la edificación conservada de mayor antigüedad en la villa.
Por sus peculiares características, este edificio ostentaba una doble función: la de uso defensivo y la de albergar las campanas que llamaban a los fieles del barrio de San Esteban, una de las primeras barriadas de Peñafiel.
La Iglesia de San Esteban fue uno de los primeros recintos religiosos de Peñafiel y una de las iglesias más importantes de la comarca hasta los siglos XV y XVI. No obstante, esos tiempos de esplendor acabaron y el templo quedó en el más profundo abandono desde mediados del siglo XVII, momento en el que fue desmantelado. De su legado histórico-artístico sólo quedan muestras en algunos muros de piedra que se encuentran fijados a la torre, varios contrafuertes, diversos restos aparecidos en obras realizadas, así como una virgen románica de piedra que se expone actualmente en el Museo Comarcal de Arte Sacro de Peñafiel.
Al ser la torre el único vestigio de la Iglesia de San Esteban, la atalaya cambió de titularidad y pasó a manos municipales, aunque se conservaron diferentes símbolos religiosos, como la cruz de hierro que la corona.
La denominación de esta edificación como Torre del Reloj es relativamente joven, y es que fue en el siglo XIX cuando el Concejo de Peñafiel instaló un reloj en lo alto de esta parte de la torre, y desde ese instante pasó a llamarse la Torre del Reloj de Peñafiel.