В нынешнем виде стадион был построен к первым Олимпийским играм 1896г., но в его основе лежит значительно более древнее сооружение. Древний Панафинейский стадион для всегреческих игр был построен здесь в 330-329гг. до н.э. правителем Афин Ликургом. В римскую эпоху, в правление Адриана стадион был переоборудован для гладиаторских боев. В 144г. н.э. греческий оратор, философ и богач Ирод (или Герод) Аттик (Тиберий Клавдий Аттик Герод), назначенный консулом, расширил и отремонтировал стадион. Стадион построен из пентелийского белого мрамора и имел форму лепестка длиной 204м и шириной 35м. Трибуны вмещали 50000 зрителей. Руины стадиона археологи раскопали в 1870г. К 1896г. он был заново отстроен и облицован мрамором на средства предпринимателя и мецената Георгиоса Авероффа. За это афиняне поставили ему памятник рядом со стадионом.