Η αρχιτεκτονική φυσιογνωμία του οικισμού του Πύργου εντάσσεται στο ευρύτερο πλαίσιο αρχιτεκτονικής της Σαντορίνης και αντανακλά τον χαρακτήρα αλλά και τις συνήθειες των ανθρώπων που ζουν στο νησί.
Όπως προαναφέρθηκε καθοριστικό ρόλο στη διαμόρφωση του χαρακτήρα του οικισμού διαδραμάτισε η χρήση υλικών φυσικής προέλευσης, η εκμετάλλευση της γεωμετρίας του εδάφους, οι κλιματικές συνθήκες λόγω της γεωγραφικής θέσης του νησιού και η ανάγκη προστασίας από τις επιδρομές πειρατών. Έτσι, στον οικισμό εντοπίζονται ενότητες που διαφέρουν, τόσο προς τη μορφή, όσο και προς τη λειτουργία.
Ο ιστορικός, διατηρητέος πυρήνας του οικισμού, το Καστέλι, το οποίο βρίσκεται στην κορυφή του λόφου όπου αναπτύχθηκε ο Πύργος, αποτελεί μια οικιστική ενότητα στην οποία παρατηρούνται συγκεκριμένα ιδιαίτερα χαρακτηριστικά. Τα οικοδομήματα που εντοπίζονται εκεί είναι τα Καστρόσπιτα. Τα κτίσματα αυτά χαρακτηρίζονταν από την έλλειψη αυλής και ήταν κατά βάση τριώροφα, με τον έναν όροφο να είναι υπόσκαφος ή ημιυπόσκαφος. Τα Καστρόσπιτα βρίσκονταν το ένα δίπλα στο άλλο και δημιουργούσαν, εξαιτίας της γεωμορφολογίας του εδάφους, του μεγάλου ύψους και του τρόπου κατασκευής τους, τον οχυρωματικό περίβολο του Καστελιού. Οι λίθινοι τοίχοι των κτιρίων έχουν μεγάλο πάχος που μειώνεται προς τα πάνω με αποτέλεσμα ο σεισμός του 1956, σε συνδυασμό με τις φυσικές φθορές, να προκαλέσει την κατάρρευση πολλών κτισμάτων, τα περισσότερα από τα οποία έχουν πλέον μπαζωθεί.
Στο Βόρειο τμήμα του οικισμού του Πύργου παρατηρείται η ύπαρξη οινοποιείων, οι λεγόμενες Κάναβες. Σήμερα τα περισσότερα βρίσκονται σε κακή κατάσταση και πιθανότατα δε χρησιμοποιούνται. Η ανάπτυξη τους στη θέση αυτή είναι απόρροια των κλιματικών συνθηκών που επικρατούν, αφού το ψυχρό κλίμα και η υγρασία ευνοούν την καλλιέργεια αμπελιών και την παραγωγή κρασιού. Ιδιαίτερα στη Βόρεια πλευρά αλλά και γενικότερα στον οικισμό αναγνωρίζονται κατοικίες που περιλαμβάνουν λινούς, γεγονός που υποδηλώνει ότι η παραγωγή κρασιού ήταν μια από τις κύριες οικονομικές δραστηριότητες των κατοίκων.
Το Νότιο τμήμα του οικισμού, εξαιτίας των ευνοϊκότερων κλιματικών συνθηκών διαθέτει πυκνή δόμηση και μεγαλύτερο αριθμό κατοικιών που με την πάροδο του χρόνου εμφανίζουν ολοένα και μεγαλύτερη επέκταση σε χαμηλότερα επίπεδα. Εξαιτίας της έντονης γεωμορφολογίας του εδάφους, σε αυτό το τμήμα του οικισμού απαντώνται, υπόσκαφα, ημιυπόσκαφα και εξώσκαφα κτίσματα. Αυτά ανάλογα με τη μορφή τους διακρίνονται σε στενομέτωπα (μονόχωρα ή δίχωρα), πλατυμέτωπα (δίδυμα ή διώροφα σπίτια με ανώι) καθώς και σύνθετου τύπου. Τα κτίσματα που είναι κατασκευασμένα με τους παραδοσιακούς τρόπους δόμησης, έχουν οικοδομηθεί εξ’ ολοκλήρου από πέτρα.
Τα σύγχρονα κτίρια που εντοπίζονται τόσο γύρω από τις οδικές αρτηρίες, όσο και διάσπαρτα στον οικισμό, είναι κατασκευασμένα από οπλισμένο σκυρόδεμα. Αρκετά απ’ αυτά, παρά τη χρήση νέων κατασκευαστικών μεθόδων, έχουν διατηρήσει τον παραδοσιακό χαρακτήρα των οικιστικών μονάδων και εντάσσονται ισόρροπα στον οικισμό.
Ωστόσο, τα σύγχρονα οικιστικά σύνολα, σε συνδυασμό με τις οδικές αρτηρίες και την εμφάνιση του αυτοκινήτου, έχουν αλλάξει τη φυσιογνωμία κυρίως της περιφέρειας του Πύργου αλλοιώνοντας έτσι τον παραδοσιακό χαρακτήρα του οικισμού.