Il possédait une chapelle dédiée à Saint Martin, puis à Saint Georges. Montdidier était composé d'une forteresse et d'une cour en contrebas disposées en terrasse. Les ruines de la forteresse forment un petit quadrilatère sur la partie nord du sommet de la colline.
La tour au sud-est est assez petite et pleine ; au sud-ouest, une autre tour de 6 mètres environ de diamètre, la plus haute, est évidée au-dessus du rempart et visible de Marsonna.
En contrebas, entre le château et le rebord du plateau, une belle terrasse aménagée appartient à la cour en contrebas d'où l'on a une vue imprenable sur la vallée de la Valouse.