Το φρούριο της Φορτέτζας είναι κτισμένο πάνω στο λόφο του Παλαιοκάστρου, βόρεια της σημερινής πόλης. Στο λόφο αυτό υπήρχε η ακρόπολη της αρχαίας πόλης της Ρίθυμνας και το ιερό της Ροκκαίας Αρτέμιδος. Τα λαξεύματα που εντοπίστηκαν σε διάφορα σημεία του λόφου, μαρτυρούν την ύπαρξη της ακρόπολης πάνω στο βράχο. Ο οικισμός μάλλον βρισκόταν κοντά στο λιμάνι. Ωστόσο δεν έχουμε στοιχεία ούτε για τη μορφή του οικισμού, ούτε για τη μορφή της ακρόπολης και του ιερού. Το κάστρο χτίστηκε την περίοδο της Ενετοκρατίας και θεμελιώθηκε στις 13 Σεπτεμβρίου του 1573. Πρόκειται για μια πενταγωνική κατασκευή η οποία βοηθούσε στην αντιμετώπιση των εχθρικών επιδρομών. Ο οχυρός περίβολός του διατηρείται μέχρι σήμερα ακέραιος με αναλλοίωτη την αρχική του χάραξη. Το συνολικό μήκος του είναι 1307 μ. και περιλαμβάνει τέσσερις προμαχώνες (Αγίου Λουκά, Αγ. Ηλία, Αγ. Παύλου, Αγ. Νικολάου) και τρεις αιχμές (Αγ. Πνεύματος, Αγ. Ιουστίνης, Αγ. Σώζοντος).