Documentat el 1153 va ser cedit el 1165 a Joan de Santboi per a repoblar-lo i erigir en ell una comunitat de canonges agustins.
El castell i la seva església van ser centre de la baronia, estant habitat per canonges fins a 1574 que es van instal·lar els franciscans fins a 1835 romanent com convent i sense les fortificacions inicials ja que van ser desmantellades.
 |
 |
|
| Façana principal de l’església | Vista d’una de les torres |
Segons sembla el castell (Castro de Cornu Bovis) inicialment estava situat a la part alta del pujol de Santa Bàrbara o de la Mola. Com centre de la baronia d’Escornalbou, tenia jurisdicció sobre vuit pobles del Camp de Tarragona.
Els orígens de la construcció defensiva estan lligats als del monestir que va ser fundat a mitjan segle XII sobre una anterior construcció àrab.
Els elements més notables del conjunt són l'església romànica de Sant Miquel dels segles XII-XIII (diuen que l'àngel va baixar dels cels i va ajudar a les tropes cristianes), les restes de la sala capitular i del claustre.
Des dels arcs del claustre i, especialment, des de l'ermita de Santa Bàrbara, situada en el cim del conjunt, es pot gaudir d'una de les millors vistes del Camp de Tarragona.
 |
 |
|
| Interior de la capçalera de l’església | Una de les sales de la casa senyorial |
Després de la reconquesta cristiana el castell va quedar molt danyat i va ser restaurat pels agustins, cedint-lo en el segle XVI als franciscans que ho van abandonar en 1835 .
Posteriorment, va ser adquirit pel diplomàtic o bibliòfil Eduard Toda que ho va restaurar segons el seu peculiar gust entre 1910 i 1925 afegint-li les torres actuals i percebent-se un cert estil anglès possiblement adquirit en el temps que Eduard Toda va residir en terres angleses.
Destaca la seva àmplia biblioteca, la seva col·lecció de ceràmiques i nombrós mobiliari d'època. La visita també permet observar com era una casa senyorial de principis del segle XX.
Actualment és propietat de la Generalitat de Catalunya.
