Ο σχεδιασμός του κτιρίου έγινε από τον επιφανή Έλληνα αρχιτέκτονα Πάτροκλο Καραντινό, σημαντικό εκπρόσωπο του μοντέρνου κινήματος της αρχιτεκτονικής στην Ελλάδα.
H ανέγερση του Αρχαιολογικού Μουσείου Θεσσαλονίκης ξεκίνησε το 1960 σε οικόπεδο 17 στρεμμάτων σε κεντρικό σημείο της Θεσσαλονίκης, στην Πλατεία Χ.Α.Ν.Θ., σε άμεση γειτνίαση με το χώρο της Διεθνούς Έκθεσης.
Η κατασκευή του μουσείου και η διαμόρφωση του περιβάλλοντα χώρου ολοκληρώθηκε το 1962, οπότε και ξεκίνησε η λειτουργία του. Αποτελεί ένα από τα πιο αντιπροσωπευτικά δείγματα του μοντερνισμού στην Ελλάδα και το σημαντικότερο μεταπολεμικό έργο του Καραντινού. Ο χαρακτήρας του κτιρίου, η διάταξη των όγκων, οι αναλογίες και οι κτιριολογικές απαιτήσεις του, αποτυπώνονται στη σχεδιαστική προσέγγιση του Καραντινού, που διαχωρίζει σαφώς τους υπηρεσιακούς από τους εκθεσιακούς χώρους. Η γενική διάταξη είναι ορθογώνιας κάτοψης με δύο αίθρια. Το κτίριο χαρακτηρίζεται από έντονη οριζοντιότητα, είναι λιτό, απλό και λειτουργικό, εμπνευσμένο από την αρχιτεκτονική οργάνωση της αρχαιοελληνικής κατοικίας στην οποία οι χώροι οργανώνονταν γύρω από ένα εσωτερικό αίθριο. Έτσι, όλες οι αίθουσές του σχεδιάστηκαν ώστε να ανοίγονται στο κεντρικό εσωτερικό αίθριο για να εισέρχεται από τα υαλοστάσια άπλετο φυσικό φως στις εκτιθέμενες αρχαιότητες, ενώ εξωτερικά η είσοδος του φυσικού φωτός επιτυγχανόταν μέσω τοιχοποιιών με υαλότουβλα και φεγγίτες. Στις όψεις του μουσείου εκτός από την ευρεία χρήση της τοιχοποιίας από υαλότουβλα, εισάγεται για πρώτη φορά στην αρχιτεκτονική του Καραντινού, το στοιχείο της εμφανούς λιθοδομής στη βάση του κτιρίου.
Το 1980 έγινε επέκταση των κτιριακών εγκαταστάσεων με προσθήκη ενός διώροφου κτιρίου στη νοτιοανατολική ζώνη του περιβάλλοντα χώρου του μουσείου, σχεδιασμένο από τον αρχιτέκτονα Αλέξανδρο Βογιατζή.
Το 2002 το κτίριο του Αρχαιολογικού Μουσείου Θεσσαλονίκης με τον περιβάλλοντα χώρο του χαρακτηρίστηκε ως ιστορικό διατηρητέο μνημείο και έργο τέχνης, διότι αποτελεί σημαντικό δείγμα της αρχιτεκτονικής των δημόσιων κτιρίων της πόλης κατά την περίοδο του β’ μισού του 20ου αιώνα.
Η ανάγκη ανακαίνισης του μουσείου και οι σύγχρονες μουσειολογικές επιταγές, οδήγησαν στην απόφαση ενός ριζικού εκσυγχρονισμού – επισκευής – επέκτασης του μουσείου κατά τα έτη 2001-2006 με χρηματοδότηση από το Γ’ Κοινοτικό Πλαίσιο Στήριξης. Την αρχιτεκτονική μελέτη του εκσυγχρονισμού ανέλαβε η ομάδα των αρχιτεκτόνων Νίκου Φιντικάκης και Γιώργου Αλμπάνη. Το κέλυφος του κτιρίου παρέμεινε ανέπαφο, ενώ οι εσωτερικοί χώροι επανασχεδιάστηκαν. Το επίπεδο του κεντρικού εσωτερικού αιθρίου υποβαθμίστηκε με τη δημιουργία νέου χώρου (σημερινή αίθουσα Ι. Βοκοτοπούλου) με στέγαση από γυάλινο χωροδικτύωμα. Το κτιριακό συγκρότημα επεκτάθηκε υπόγεια για την τοποθέτηση σύγχρονων τεχνολογικά ηλεκτρομηχανολογικών εγκαταστάσεων. Το ανακαινισμένο κτίριο, με πλήρη συστήματα ειδικών συνθηκών κλιματισμού και διατήρησης σταθερής θερμοκρασίας στις εκθέσεις, στις αποθήκες αλλά και στα εκσυγχρονισμένα εργαστήρια καθώς και το ανανεωμένο εκθεσιακό πρόγραμμα, κατέστησαν το Αρχαιολογικό Μουσείο Θεσσαλονίκης ένα από τα πλέον σύγχρονα και εξοπλισμένα μουσεία του ελληνικού χώρου. Επίσης, εκτός των συστημάτων κλιματισμού, διαθέτει εσωτερικό δίκτυο υπολογιστών και φωνής, δίκτυα αερίων για χρήση στα εργαστήρια συντήρησης καθώς και εκτεταμένα συστήματα πυροπροστασίας και πυρασφάλειας, ώστε να ελαχιστοποιούνται οι κίνδυνοι για ανθρώπους και εκθέματα.
Το 2009 ολοκληρώθηκε η διαμόρφωση της ανατολικής ζώνης του περιβάλλοντα χώρου με την υλοποίηση της υπαίθριας αρχαιολογικής έκθεσης «Αγρός – Οικία – Κήπος – Τόπος» και το αντίστοιχο τμήμα περίφραξής της.
Τέλος, το 2014 ολοκληρώθηκε η διαμόρφωση τμήματος της δυτικής ζώνης του περιβάλλοντα χώρου με την κατασκευή υπόσκαφης αποθήκης, την υλοποίηση της υπαίθριας αρχαιολογικής έκθεσης «Μνήμη και Λίθοι» και χώρου εκπαιδευτικών προγραμμάτων, ενταγμένα στο ΕΣΠΑ 2007 – 2013.
