L'origine des remparts
La forteresse était composée d’une haute muraille de forme pentagonale, ponctuée de tours adaptées à l’artillerie, et d’une porte à double pont-levis à l’ouest.
L’appareillage des remparts est mixte : les maçonneries sont réalisées en moellons de schiste, tandis que les pierres de taille en granit sont utilisées principalement pour les encadrements des portes et des meurtrières.
L’ensemble de l’enceinte telle que l’on la connait aujourd’hui peut être attribuée à Jean IV de Rieux, qui la rénove à la fin du XVème siècle tout en conservant des éléments antérieurs. D’autres modifications auront lieu plus tard réalisées par la Famille de Larlan.
Jean IV de Rieux était un noble breton, seigneur de Rieux et de Rochefort-en-Terre, nommé maréchal de Bretagne en 1470 et général des armées du duc de Bretagne en 1472. Il fut aussi désigné comme tuteur de la jeune duchesse Anne de Bretagne en 1488.