Το 1580 μ.Χ. κτίσθηκε το Καστέλι του Πύργου Καλλίστης. Κατά το 19ο αιώνα τα όρια του οικισμού επεκτάθηκαν και έξω από το Καστέλι. Στα Βόρεια οικοδομήθηκαν κτίσματα που εξυπηρετούσαν τις παραγωγικές δραστηριότητες του νησιού, όπως κάναβες που ήταν οινοποιία, ενώ νότια κτίσθηκαν κατοικίες και εκκλησίες. Σήμερα η Βόρεια πλευρά του οικισμού φαίνεται να έχει ως ένα σημείο εγκαταλειφθεί. Υπάρχουν αρκετά ερείπια και πολλά εγκαταλελειμμένα κτίσματα, ενώ οι κατοικίες φαίνεται να απουσιάζουν. Παρ’ όλα αυτά υπάρχουν πολλά παλιά κελύφη τα οποία επαναχρησιμοποιήθηκαν και σήμερα είναι κυρίως ξενοδοχεία.
H βόρεια πλευρά του οικισμού που βρίσκεται πίσω από το Καστέλι δεν ενδείκνυται για την ανάπτυξη κατοικιών. Είναι αισθητά πιο ψυχρή με αρκετή υγρασία, δυνατό αέρα και ιδιαίτερα τους χειμερινούς μήνες δεν είναι φιλόξενη. Πιθανότατα αυτός είναι και ο λόγος που τα ξενοδοχεία σε αυτή την πλευρά του νησιού είναι αυτούς τους μήνες χωρίς καμία εξαίρεση κλειστά.
Αντίθετα η Νότια πλευρά παρουσίασε εξέλιξη κατά τη διάρκεια των χρόνων. Κτίζονταν ολοένα και περισσότερες κατοικίες, η οποίες κάλυπταν σταδιακά, με ακτινωτή μορφή το λόφο. Σήμερα έχει καλυφθεί όλος ο λόφος από τη Νότια πλευρά. Στους πρόποδές του, όπου υπάρχει και η κύρια οδική αρτηρία του οικισμού, εμφανίζονται κυρίως υπηρεσίες. Κατά μήκος αυτής έχει αρχίσει και παρουσιάζεται μια πιο γραμμική ανάπτυξη.