Κατά την διάρκεια του 18ου αιώνα και μέχρι τα μέσα του 19ου οι κάτοικοι των Καλαρρυτών αριθμούσαν γύρω στους 3.000 με 4.000 κατοίκους. Στην επανάσταση του 1821 ο οικισμός κάηκε με αποτέλεσμα να διασωθούν μόνο 4 κτίρια και να ερημωθεί. Παρόλα αυτά το χωριό αρχίζει να ανοικοδομείται το 1828 και οι κάτοικοι να επιστρέφουν. Το 1831 κατοικούσαν στο χωριό 28 οικογένειες. Με την προσάρτηση του στο ελληνικό κράτος το 1881 και την πρώτη επίσημη απογραφή του πληθυσμού στον οικισμό το 1889 σημειώνονται 1.136 μόνιμοι κάτοικοι. Η ανοδική πορεία του οικισμού συνεχίζει και το 1896 με 1.666 κατοίκους. Έπειτα το 1907 μειώνονται στους 865. Πιθανή αιτία αυτού του αριθμού είναι ο ελληνοτουρκικός πόλεμος του 1897 που έλαβε χώρα στην Θεσσαλία και στην Ήπειρο. Από αυτό το σημείο και μετά αρχίζει η καθόδικη πορεία μέχρι το 1940 όποτε και ο πληθυσμός αυξάνεται ξανά. Μετά τον πόλεμο και την αστυφιλία το 1951 οι κάτοικοι αριθμούν τους 277. Ο αριθμός ολοένα και μειώνεται από αυτό το σημείο και έπειτα και ως αποτέλεσμα οι κάτοικοι σήμερα να είναι λιγοστοί.