Το Βαρβάκειο συνεχίζει να φιλοξενείται στο κτήριο της οδού Κωλέττη με τα προβλήματα που παρουσίαζε την προηγούμενη δεκαετία να μην έχουν επιλυθεί. Συνέχιζε να μην έχει ούτε εργαστήριο Φυσικής ούτε αίθουσα ιδιαίτερη για τη Χημεία ούτε τα αναγκαία όργανα για τα σχετικά πειράματα, γιατί δεν είχε τόπο να τα φυλάξει. Η βιβλιοθήκη για τους καθηγητές συνθλιβόταν στο Γραφείο του Σχολείου μεταξύ ερμαρίων, που περιείχαν τα αρχεία της Σχολής, των γραφείων των Διευθυντών και των καθισμάτων των καθηγητών. Βιβλιοθήκες μαθητικές μέσα στις τάξεις δεν ήταν δυνατό να οργανωθούν, γιατί το μεν πρωί εργαζόταν σε αυτές τα δημοτικά σχολεία, το βράδυ δε μετά τη Βαρβάκειο Σχολή, από τις 7-10.30 μ.μ., λειτουργούσε Νυκτερινό Γυμνάσιο και Επαγγελματική Σχολή.
Ωστόσο, τις δυσκολίες του περιβάλλοντος χώρου τις αντιστάθμιζε η εξαιρετική μαθησιακή διαδικασία. Οι καθηγητές προέτρεπαν τους μαθητές να επισκέπτονται την Εθνική Βιβλιοθήκη ή τη Βιβλιοθήκη της Μαθηματικής Εταιρείας. Πολλοί μαθητές αγόραζαν βιβλία για να λύνουν ασκήσεις, γιατί το θεωρούσαν καθήκον τους να μορφωθούν. Οι καθηγητές ανταποκρίνονταν στη μεγάλη πρόκληση να διδάξουν τόσο καλούς και απαιτητικούς και δύσκολους μαθητές.
Το 1964 συνέβη το εξής παράδοξο: οι μαθητές έδωσαν εισαγωγικές εξετάσεις, αλλά η εισαγωγή, τελικά, έγινε με κλήρωση, λόγω της μεταρρύθμισης Ε. Παπανούτσου. Ο θεσμός της κλήρωσης διατηρήθηκε μέχρι το 1966-1967, καθώς η Χούντα επανέφερε τις εισαγωγικές εξετάσεις τη σχολική χρονιά 1967-1968. Αξίζει να σημειωθεί πως όσοι μαθητές από αυτούς που εισάγονταν με κλήρωση είχαν χαμηλούς βαθμούς αντικαθίσταντο με μαθητές από άλλα σχολεία με βάση τη βαθμολογία τους.