Το Μουσείο της Ιστορίας των Ολυμπιακών Αγώνων στεγάζεται στο πρώτο μουσειακό κτίριο της περιοχής , το οποίο οικοδομήθηκε στα 1886 με την χρηματική ενισχύσει του ευεργέτη Ανδρέα Συγγρού. Πρόκειται για ένα κομψό νεοκλασικό κτίριο που είχε υποστεί σημαντικές ζημίες με τον σεισμό του 1954, με αποτέλεσμα να παραμείνει κλειστό για πάρα πολλά χρόνια και αφού επισκευάστηκε ξανάνοιξε πρόσφατα τις πύλες του. Εκεί μπορεί κανείς να δει την ″ πέτρα του Βύβωνα ″ ένα τεράστιο ακατέργαστο λίθο τον οποίο ο αθλητής Βύβων καυχιόταν ότι μπορούσε να σηκώσει με το ένα χέρι.
Επίσης βλέπει δίσκους , αλτήρες – μικρότερες πέτρες λιασμένες και με λαβές τις οποίες κρατούσαν οι άλτες την στιγμή του άλματος για να τους δίνουν μεγαλύτερη ώθηση – και στλεγγίδες , τα χάλκινα ελάσματα δηλαδή , με τα οποία κυρίως οι παλαιστές και οι πυγμάχοι έξυναν το σώμα τους για να αποβάλουν τη λάσπη που είχε σχηματιστεί από την άμμο της κονίστρας και την πάλη με γυμνό και αλειμμένο με λαδί σώμα. Το μουσείο περιλαμβάνει και κάποια εκθέματα που αφορούν την ιστορία των Ολυμπιακών αγώνων μετά την αναβίωσή τους , όπως ολυμπιακές δάδες , ολυμπιακά γραμματόσημα και μετάλλια αθλητών από διάφορες Ολυμπιάδες.