В Средние века Жизор являлся центром стратегически важной области Вексен, на полпути между столицей Нормандии Руаном и Парижем.
В 1097 Робер де Беллесме (Robert de Bellesme), начинает строительство замка по приказу короля Англии Вильгельма Рыжего, сына Вильгельма Завоевателя для защиты герцогства Нормандия от притязаний Капетингов.
В 1106 король Генрих I продолжает строительство замка. В 1144 по мирному договору между Генрихом II Английским и Людовиком VII Французским, замок отошел к Франции.
В 1158 Людовик передал его под защиту тамплиеров, с этого момента история замка тесно связана с этим орденом.
В 1160 Генрих II Плантагенет вновь вернул себе замок.
Около 1170 по его приказу были начаты работы по усилению укреплений. В 1184 они были завершены.
В 1188 в Жизоре на встрече Генриха II и Филиппа Августа достигнута договоренность о III крестовом походе.
В 1193, когда Ричардом Львиное Сердце находился в плену у Леопольда Австрийского, Филипп II Август благодаря измене коменданта замка Жильбера де Васкоэля (Gilbert de Vascoeuil) занял замок. Филипп Август в свою очередь усилил замок, достроив большую круглую башню, позднее получившую название Tour du Prisonnier.
В 1195 англичане проиграли Филиппу II Августу битву и подтвердили по мирному договору, заключенному в Исодуне (Issoudun) принадлежность Жизора Франции).
В 1196 Ричард сумел вернуть замок и город.
1202-1204 Филипп II в ходе завоевания Нормандии возвращает замок себе. Замок вновь передан тамплиерам.
Ядром замка и его старейшей частью является классическое норманнское мотт - насыпной холм конической формы высотой 20 м и диаметрами 70 м у основания и 25 у вершины. На верхней площадке мотта, обнесенной стеной с единственным, довольно узким входом стоит восьмигранный в плане донжон диаметром ок.10 м. Внутри он разделен на четыре этажа. С восточной стороны к донжону примыкает башня-турель с винтовой лестницей, пристроенная в 14 в. Внутри стен мотта располагалась замковая капелла и колодец.
Посмотреть на Яндекс.Фотках При Филиппе Августе на стыке стен города, барбакана и замка была построена мощная круглая башня, в последствии получившая название Tour du Prisonnier (Башня заключенных). Вход в нее был возможен только со стены, со стороны главных ворот.