Το Καστέλι στο Εμπορείο άρχιζε να κτίζεται απ’τον 15ο αι. για την προστασία των κατοίκων απ’τις πολλαπλές επιδρομές των πειρατών στην εποχή εκείνη. Οι αρχικοί πυρήνες αυτών των οικισμών που βρίσκονταν μέσα από τα τείχη είναι πυκνοχτισμένοι, με τα κτίσματα να ακολουθούν τις υψομετρικές καμπύλες, με στενούς δρόμους και μικρές κατοικίες μονώροφες ή διώροφες, συχνά με υπόσκαφους χώρους με τις εισόδους του κατευθείαν πάνω στον δρόμο. Όσα κτήρια βρίσκονται στην άκρη του οικισμού χρησιμοποιούν το τείχος της οχύρωσης σαν την τέταρτη πλευρά του οικοδομήματος, η οποία έχει συνήθως ύψος τουλάχιστον 10 μέτρα και πάχος 0,80 με 2 μέτρα. Γενικά έχουμε απουσία μεγάλων ελεύθερων χώρων σε αυτούς τους οικισμούς, με εξαίρεση ίσως τον χώρο κοντά στην εκκλησία. Για την είσοδο στο Καστέλι υπήρχε μια μόνο μοναδική είσοδος, η οποία αποκαλείται απ’τους κατοίκους -η Πορτα-. Μετα τον καταστροφικό σεισμό του 1956 δημιουργήθηκε μια δεύτερη πύλη εισόδου απέναντι απ’την εκκλησία με αποτέλεσμα να επηρεάσει όλη την κίνηση και την πορεία του καστελιού.