Ιδρύθηκε το 1998, με την ονομασία Μουσείο Αθλητισμού με σκοπό την συλλογή, διατήρηση, καταγραφή και τεκμηρίωση της ιστορίας του αθλητισμού καθώς και η προαγωγή του αθλητισμού σε άτομα όλων των ηλικιών.
Αρχικά, το Μουσείο Αθλητισμού στεγάστηκε σε χώρο επιφάνειας 300μ2 στο κέντρο της πόλης, που παραχωρήθηκε από τον ΟΣΕ και στέγασε τις εκθεσιακές δραστηριότητες των πρώτων ετών λειτουργίας του μουσείου.
Κατά το 2004, έτος διεξαγωγής των Ολυμπιακών Αγώνων της Αθήνας, το μουσείο μεταφέρθηκε σε νέο κτίριο κοντά στο Καυτανζόγλειο Στάδιο, στην ευρύτερη περιοχή του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Το νέο, σύγχρονο και μοντέρνο κτίριο, επιφάνειας 4500 τ.μ. εγκαινιάστηκε το ίδιο έτος από τον τότε Πρόεδρο της Διεθνούς Ολυμπιακής Επιτροπής, Ζακ Ρογκ
Στις 30 Ιανουαρίου 2008 η Διεθνής Ολυμπιακή Επιτροπή, μετά από σχετική εισήγηση της Ελληνικής Ολυμπιακής Επιτροπής αναγνωρίζοντας την προσφορά του Μουσείου Αθλητισμού στον αθλητικό και πολιτιστικό χώρο, το μετονόμασε σε Ολυμπιακό Μουσείο Θεσσαλονίκης. Το Ολυμπιακό Μουσείο Θεσσαλονίκης είναι μέλος της ISHA (Διεθνής Ένωση Αθλητικής Κληρονομιάς), του ICOM (Διεθνές Συμβούλιο Μουσείων) και του Δικτύου Ολυμπιακών Μουσείων ενώ συνεργάζεται με διάφορους ευρωπαϊκούς φορείς αθλητικής και πολιτιστικής κληρονομιάς.
Το Ολυμπιακό Μουσείο αποτελείται από τέσσερις αίθουσες εκθέσεων. Στην πρώτη αίθουσα βρίσκεται η μόνιμη έκθεση που είναι αφιερωμένη στους Ολυμπιακούς Αγώνες με τίτλο ‘’Ανάδειξη της Αθλητικής Ιστορίας και του Ολυμπιακού Πνεύματος’’, στη δεύτερη αίθουσα η μόνιμη διαδραστική έκθεση μηχανημάτων με τίτλο ‘’Επιστήμη των Αθλημάτων’’, στην τρίτη αίθουσα μόνιμος εκθεσιακός χώρος με παράλληλη εκθεσιακή δράση και προσομοίωση γηπέδου στίβου και στην τέταρτη εκθεσιακός χώρος περιοδικών εκθέσεων. Όλοι οι εκθεσιακοί χώροι, περιλαμβάνουν ειδικούς χώρους φιλοξενίας εκπαιδευτικών δράσεων και χώρους εκπαιδευτικών εργαστηρίων. Το μουσείο διαθέτει επίσης αμφιθέατρο 300 ατόμων, δύο αίθουσες πολλαπλών χρήσεων, πωλητήριο και ένα μεγάλο χώρο υποδοχής κοινού, που μπορεί να φιλοξενήσει περιοδικές εκθέσεις μικρής έκτασης αλλά και εκδηλώσεις γενικού ενδιαφέροντος.
Το 2013 υπεγράφει Μνημόνιο Συνεργασίας του Μουσείου με τον Σύλλογο Ελλήνων Ολυμπιονικών, επισφραγίζοντας με τον πιο επίσημο τρόπο την αγαστή, την πολυετή και αγαστή συνεργασία μεταξύ των δύο φορέων, που με κοινό στόχο την προώθηση των αρχών του ευ αγωνίζεσθαι, ένωσαν τις δυνάμεις τους, για να μεταλαμπαδεύσουν στη νένα γενιά, μηνύματα για τη σημασία, τις αξίες και τα ιδεώδη του Ολυμπισμού. Παράλληλα οι Έλληνες Ολυμπιονίκες θα συνδράμουν στην παρουσίαση του Νέου Τμήματος Πολυμεσικών Εφαρμογών της μόνιμης Έκθεσης Ολυμπιακών Αγώνων, το οποίο αποτελεί εξέλιξη της σύγχρονης μουσειολογίας και μετάβασή της στη ψηφιακή εποχή.
Η έκθεση αποτελείται από ιστορικά αρχεία και αντικείμενα όλων των σύγχρονων Ολυμπιακών Αγώνων, ενώ τα μέλη του Συλλόγου Ελλήνων Ολυμπιονικών ενισχύουν διαρκώς το Μουσείο, παραχωρώντας προσωπικό αθλητικό εξοπλισμό τους, μετάλλια, δάδες, ενθυμήματα από τις ολυμπιακές διοργανώσεις κ.α.
