Les fouilles archéologiques effectuées en 1947-1948 et en 2002-2003 ont permis d'attester la présence humaine sur le site dès la préhistoire. Plusieurs objets en pierre du mésolithique ont été retrouvés, ainsi que quelques objets en pierre et en céramique datant du néolithique. Du matériel en céramique et en pierre datant de l'âge du Bronze moyen et final attestent également l'occupation humaine du site pendant cette période. Les témoignages de l'âge du Fer et de l'époque romaine sont peu nombreux. L'occupation du site au Moyen-Âge est attestée par les sources historiques depuis le XIIIème siècle jusqu'au XVIIème siècle. Puis le bourg et le château sont abandonnées et les bâtiments servent de carrières de pierre.
En période d'étiage, il est possible d'y aller à pied sec. Pendant le reste de l'année, l'île est accessible par bateau, et les dimanches après-midi, de mai à octobre, l'association Île d'Ogoz organise des excursions depuis le port d'Ogoz à le Bry.
Coordonnées nationales: 574'117, 171'953
Actuellement, les éléments les plus marquants du château sont les deux tours, visibles de loin. Les fouilles de 1947-1948 ont pu mettre en évidence l'existence d'une troisième tour, dont les fondations, faites en gros boulets morainiques et différentes des deux autres tours, construites en molasse, semblent indiquer une construction durant le XIIème siècle. La tour centrale, trop petite pour être habitable, a probablement été construite vers le milieu du XIIIème siècle et elle était liées à plusieurs corps de bâtiments. La tour Sud, construite entre la fin du XIIIème et la première moitié du XIVème siècle, avait des dimensions plus importantes mais son état de conservation ne permet pas de dire si elle a pu être habitable. Un bâtiment lui était accolé à l'Est.
La chapelle est le seul bâtiment non ruiné de l'ancien bourg. Elle est mentionnée dans les sources pour la première fois en 1226. De plan rectangulaire, l'édifice actuel est le résultat de plusieurs transformations. La construction a été effectuée principalement entre le XIIIème et le XVème siècle, avec quelques modifications, dont l'aménagement du retable restauré en 1999, entre la fin du XVIème et la première moitié du XVIIème siècle.