Στο νοτιοανατολικό άκρο της Κεφάλου, όπου κατά την αρχαιότητα ήταν η πρώτη πρωτεύουσα του χωριού, στην κορυφή του λόφου, βρίσκονται τα απομεινάρια του κάστρου, που χρονολογείται στην εποχή του Βυζαντίου και συγκεκριμένα στο 1420.
Το κάστρο Κεφάλου, κατασκευασμένο από μικρές πέτρες, πλήγηκε ανεπανόρθωτα από το μεγάλο σεισμό του 1493 που χτύπησε το νησί και εγκαταλείφθηκε το 1505.
Από εκεί, ο επισκέπτης μπορεί να θαυμάσει την πανοραμική θέα στον κόλπο της Κεφάλου.