Baronii venețieni din Chania au cerut permisiunea Veneției de a construi cetatea Sfakion pentru a se proteja de pirați și insurgenți proveniți din populația locală.
Dar Senatul a refuzat, pentru că această construcție le-ar costa prea mult. Construcția fortificației a început în 1371 și a fost finalizată în 1374. Între timp, populația locală a încercat să prevină construcția, distrugând noaptea ceea ce a fost construit după-amiaza. Noul castel a fost numit Frangokastello (castelul lui Frank, adică catolici), care a mărit și mai mult nemulțumirea populației locale față de cuceritori.
Castelul de astăzi al lui Frangokastello nu este nimic - o copie exactă a castelului pe desene venețiene. Castelul a fost construit în conformitate cu principiile vechi ale fortificațiilor
Structurile de suprafață care au fost păstrate în curte au fost reconstruite relativ recent pe ruinele zidurilor construite în ultima etapă. Aceasta este o serie de camere dreptunghiulare în care ar trebui plasate soldații sau care ar putea fi folosiți în alte scopuri (cum ar fi depozite, bucătării). Prin hărți și imagini puteți vedea că și ei se uitau în perioada guvernării venețiene. Aceste hărți ilustrează de asemenea biserica Sf. Marcu în curtea fortificației. Cu toate acestea, G. Gerola a remarcat că ruinele acestei biserici se află în afara zidurilor cetății din partea de sud. Acestea erau fundamentele zidurilor clădirilor mici, pe care rămăsese urme de picturi murale.
Biserica a fost distrusă în timpul restaurării castelului lui Mustafa Naili Pasha. După cum am menționat deja, castelul din Frangokastello a fost restaurat de mai multe ori. Prima restaurare se presupune că a avut loc în 1593-1597, de către rectorul general Nikola Don, iar câțiva ani mai târziu, rectorul Scafia a efectuat reparații extinse. În 1645, în timpul războiului cu Imperiul Otoman, care încerca să cucerească Creta, au fost repartizați 1000 de lire sterline pentru reparații. Cu toate acestea, cele mai mari lucrări de reparații au fost efectuate de Mustafa Naili Pasha în timpul revoluției creane din 1866-1869. În timpul lucrărilor de restaurare, s-au găsit obiecte curioase de ceramică venețiană, în cea mai mare parte a secolului al XVI-lea, monede și sigilii.
