Το Καστελι στο Εμπορείο άρχιζε να κτίζεται απ’τον 15ο αι. για την προστασία των κατοίκων απ’τις πολλαπλές επιδρομές των πειρατών στην εποχή εκείνη. Βρισκόταν σε στρατηγικό σημείο και ήταν δύσκολα προσβάσιμο απ’τη θάλασσα. Είχε έντονο φρουριακό χαρακτήρα χάρη στη μορφολογία του εδάφους και στις οργανωμένες ως οχυρά κατοικίες της εξωτερικής περιμέτρου, οι οποίες είχαν ελάχιστα ανοίγματα προς τα έξω και σχημάτιζαν ουσιαστικά το τείχος. Στο εσωτερικο είναι ένας μικρός λαβύρινθος με σοκάκια, όπου χωράει μονάχα ένας άνθρωπος και στο πλάι σκαλιά που αναρριχώνται, σχεδόν κάθετα, σε μικρά πλατύσκαλα. Επίσης υπάρχουν υπέργειες γέφυρες ανάμεσα στα σπίτια και τα κτίσματα ακουμπούν το ένα στο άλλο και είναι διώροφα ή τριώροφα, στενά και επιμήκη, με κοινό μεσότοιχο.
Σε μικρή απόσταση από το Καστέλι, ξεχωρίζει ο Γουλάς και χρονολογείται στον 15ο αι. Ο ρόλος του Γουλά ήταν η προστασία των κατοίκων και των καλλιεργητών και εκεί αποθήκευαν τα προϊόντα τους. Αξίζει να τονιστεί οτι υπήρχε υπόγεια σήραγγα που οδηγούσε στο εσωτερικό του Καστελιού.
Στα χρόνια της Τουρκοκρατίας, όταν μειώθηκαν οι πειρατικές επιδρομές, τα κτίσματα επεκτάθηκαν έξω από τον αμυντικό περίβολο του Καστελιού . Η επέκταση του σε αυτήν την περίοδο, ήταν ακτινωτή με κατέθυνση κυρίως στα νότια του Καστελιού. Οι επεκτάσεις του έγιναν χωρίς σχεδιασμό και με βάση τη μορφολογία του εδάφους. Οι δρόμοι που ένωναν το Καστέλι με τους χώρους δουλειάς και παραγωγής, αποτέλεσαν τις κύριες οδούς των επεκτάσεων.
Η σύγχρονη επέκταση είναι κυρίως γραμμική προς τον νότο. Κυριώς αναπτύσσεται από την κάτω πλευρά της Εμπορικής Οδού Φηρών - Περίσσας.