Περί το 1580 μ.Χ. χτίστηκε το Καστέλι του Πύργου, το οποίο αποτελεί σήμερα τον ιστορικό πυρήνα του οικισμού. Βρίσκεται κεντρικά του Νησιού και είναι χτισμένο σε ύψωμα, μακριά από τη θάλασσα, κοντά στους πρόποδες του Βουνού του Προφήτη Ηλία,στο υψηλότερο σημείο του νησιού. Πιθανότατα ήταν μοναστηριακό συγκρότημά που οχυρώθηκε στις αρχές του 16ου αιώνα εξαιτίας των πειρατικών επιδρομών και αποτελεί οικισμό της Λατινικής περιόδου.
Το σχήμα του είναι ακανόνιστο κυκλικό και καθορίζεται από το αυστηρό συμπαγές μέτωπο, που σχηματίζουν οι εξωτερικοί τοίχοι των σπιτιών. Τα σπίτια αυτά χαρακτηρίζονταν από πολύ μεγάλο ύψος και από λίγα και μικρά ανοίγματα, με αποτέλεσμα να συμπληρώνουν το τείχος και να δημιουργούν το οχυρωματικό περίγραμμα. Ο διαθέσιμος χώρος ήταν πάντοτε περιορισμένος, συνεπώς τα κτίρια αναπτύχθηκαν, όπως προαναφέρθηκε, καθ’ ύψος και είναι στενομέτωπα με μικρή ή καθόλου αυλή. Συνεπώς η τυπολογία των κτισμάτων, ο διαθέσιμος χώρος αλλά και ο τρόπος κατοίκησης, καθορίστηκε σε μεγάλο βαθμό από τις επιδρομές στο χωριό και από την αναζήτηση ενός τρόπου αντίστασης.
Υπήρχε μία μόνο είσοδος στο Καστέλι, ώστε να είναι ελεγχόμενη, ενώ κάτω από αυτό υπήρχε σύστημα στοών, το οποίο χρησίμευε για τη διαφυγή των κατοίκων, εν ώρα ανάγκης. Μπροστά στην είσοδο του Καστελιού υπάρχει μια πλατεία, όπου ήταν χώρος συγκέντρωσης και ονομαζόταν από τους ντόπιους "Υψηλός Καφενές". Μία από τις παλαιότερες εκκλησίες της Σαντορίνης, το Θεοτοκάκι, που πιστεύεται ότι έχει κτιστεί περίπου τον 10ο αιώνα, βρίσκεται εντός του Καστελιού του Πύργου, ενώ στο υψηλότερο σημείο του, βρίσκεται η εκκλησία των Εισοδίων της Θεοτόκου.
Όταν σταμάτησαν οι αμείλικτες επιδρομές των πειρατών (κατά το 19ο αιώνα), τα όρια του οικισμού επεκτάθηκαν πέρα από το αμυντικό τείχος. Στα Βόρεια και μέχρι τον 20ο αιώνα, δημιουργήθηκαν κτίσματα που εξυπηρετούσαν τις παραγωγικές διαδικασίες του οικισμού, όπως κάναβες, δηλαδή οινοποιεία. Οι κάναβες ήταν συνήθως υπόσκαφες, ή προστατευμένες από διπλανά κτίρια και πρόσφεραν ιδανικές συνθήκες υγρασίας και θερμοκρασίας, για την σωστή ωρίμανση του κρασιού.
Στο Νότιο τμήμα του οικισμού, κτίσθηκαν κατοικίες διαφόρων τυπολογιών, κάποιες από τις οποίες ήταν υπόσκαφες ή ημιυπόσκαφες, λίγα αρχοντικά, καθώς και εκκλησίες. Το «πρώιμο» στάδιο του αρχοντικού τύπου, προήλθε πιθανότατα από τον τύπο κατοικίας των προνομιούχων Λατίνων φεουδαρχών, το οποίο ασπάστηκαν στη συνέχεια οι Έλληνες. Έτσι λοιπόν, φτάνουμε στον τύπο των επιβλητικών μεγάρων, με καθαρά Νεοκλασικά χαρακτηριστικά, τύπος που χαρακτηρίζει αποκλειστικά τη Σαντορίνη.
Ο Πύργος Καλλίστης έγινε πρωτεύουσα της Σαντορίνης, μετά την εγκατάλειψη του Κάστρου του Σκάρου στο Ημεροβίγλι. Αξίζει να σημειωθεί ότι κατά τον 18ο αιώνα ιδρύεται στον Πύργο η πρώτη εκπαιδευτική σχολή της Θήρας.