Projekt wrocławskiego stadionu powstał w latach 1924-1925. Jego autorem był niemiecki architekt Richard Konwiarz, który mieszkał w Breslau (taką nazwę nosił ówczesny Wrocław, znajdujący się w granicach niemieckiej Republiki Weimarskiej, a później III Rzeszy) od 1909 roku do zakończenia II wojny światowej. Odpowiadał on za powstanie wielu obiektów użyteczności publicznej na terenie miasta, również tych sportowych – m.in. współpracował z Maxem Bergiem przy projektowaniu Hali Stulecia. Budowa kompleksu położonego na osiedlu Zalesie rozpoczęła się w 1925 roku i była podzielona na dwa etapy. Drugi z nich zakończył się w 1939 roku.

Obiekt zaprojektowany przez Konwiarza był centralnym punktem kompleksu sportowego Schlesierkampfbahn im Sportpark Leerbeutel. Miał kształt elipsy, w którą wkomponowano bieżnię. Po południowej stronie budowli zlokalizowane zostały dwie bramy prowadzące na stadion, które zespolono z efektowną kolumnadą okalającą wjazd na jej teren. Za ten projekt Konwiarz otrzymał potem brązowy medal olimpijski w kategorii architektura sportowa. Nagrodę odebrał w Los Angeles (1932).

W kolejnym roku wrocławski obiekt zyskał pierwszego patrona. Został nim... Hermann Göring, jeden z twórców III Rzeszy, as niemieckiego lotnictwa i późniejszy feldmarszałek hitlerowskiego państwa. Stadion Olimpijski zyskał tym samym wyższą rangę. Dla cierpiących na manię wielkości ówczesnych Niemców obiekt był zbyt mały i uznano, że konieczna jest przebudowa. Do 1939 roku usypane na wale trybuny powiększono, a później dobudowano kolejne rzędy, z murowanym zapleczem i częściowym zadaszeniem. Po zachodniej stronie powstała trybuna honorowa, a po wschodniej wybudowano wieżę zegarową (istniejącą do dziś).

Wojenna nawałnica nie oszczędziła Stadionu Olimpijskiego. Doznał sporych zniszczeń i konieczna była gruntowna modernizacja. Po II wojnie światowej obiekt znalazł się na terenach należących do Polski. A po zakończeniu odbudowy w 1948 roku (i zarazem rozbudowy) otrzymał nowego patrona. Nadano mu imię Karola Świerczewskiego – generała Armii Czerwonej i ludowego Wojska Polskiego, który zginął rok wcześniej.

Kolejne zmiany zaszły na Stadionie Olimpijskim pod koniec lat 70., gdy obiektem zarządzała AWF we Wrocławiu. W 1978 roku postawiono cztery 80-metrowe maszty oświetleniowe o mocy 2800 luksów – najmocniejszej w Europie w tamtym czasie. Obiekt unowocześniono także w następnym roku. Tym razem zamontowano podgrzewanie murawy, a to było wówczas czymś praktycznie niespotykanym w naszym kraju (taki cud techniki, ale dużo gorszej jakości, miał jeszcze stadion w Rybniku). Instalacja nie przetrwała jednak długo, bo popsuła się... po 8 latach.

Reprezentacja Polski wystąpiła na Stadionie Olimpijskim 15-krotnie, ale w roli gospodarza… 14 razy. Pierwsze spotkanie odbyło się bowiem 15 września 1935 roku. Nasza kadra zmierzyła się towarzysko z reprezentacją nazistowskich Niemiec (0:1), a Wrocław należał wtedy do III Rzeszy. Kolejne spotkania Polacy rozegrali już po zakończeniu II wojny światowej. Pierwszym z nich było starcie z Rumunią (3:3) 14 maja 1950 roku.

Ale biało-czerwoni nie grali we Wrocławiu tylko towarzysko. Czterokrotnie przyszło im walczyć o punkty, jak chociażby 28 lipca 1967 roku z ZSRR (0:1) w eliminacjach igrzysk olimpijskich. Był to zarazem debiut Roberta Gadochy w drużynie narodowej. W późniejszych latach odbywały się tam jeszcze mecze w kwalifikacjach do mistrzostw Europy (2:0 ze Szwajcarią – 1978 i 0:1 z Portugalią – 1983) i świata (6:0 z Maltą – 1981).  Po raz ostatni kadra zagrała na Stadionie Olimpijskim 24 marca 1987 roku w towarzyskim starciu z Norwegią (4:1). Pożegnalne gole na tym obiekcie strzelili Jan Furtok, Paweł Król, Jan Urban i Waldemar Prusik.

Na stadionie przy alei Ignacego Jana Paderewskiego 35 gościł także Śląsk Wrocław. 26 listopada 1975 roku doszło tam do pamiętnego spotkania Wojskowych z późniejszym triumfatorem rozgrywek Liverpoolem (1:2) w 1/8 finału Pucharu UEFA. Dla wrocławian było to nie lada wydarzenie. Na Dolny Śląsk zawitała w końcu jedna z najlepszych drużyn w Anglii, naszpikowana wieloma gwiazdami światowej piłki.

Na Stadionie Olimpijskim Śląsk podejmował w europejskich pucharach jeszcze takich rywali, jak Napoli (0:0) w 1977 roku w Pucharze Zdobywców Pucharów, Borussię Mönchengladbach (2:4) w Pucharze UEFA w 1978 roku czy Real Sociedad San Sebastian (0:2) w PZP w 1987 roku.

Mijały kolejne lata, a wrocławski obiekt popadał w ruinę. Gdy w 2006 roku władze miasta odkupiły tereny od AWF-u, Stadion Olimpijski zaczął powoli wracać do życia. Zmniejszona została pojemność trybun – z 50 do 35 tysięcy.

W 2010 roku wyremontowano istniejący już w latach 60. tor żużlowy. Poprawiono jego geometrię, skrócono oraz poszerzono proste i łuki. Stało się to kosztem boiska, przez co nie spełnia ono już norm krajowych i międzynarodowych. Z tego powodu nie odbywają się tam mecze piłkarskie.

W 2015 roku stadion przeszedł gruntowną przebudowę. Zrównano z ziemią zachodnie trybuny, a te nowopowstałe usytuowano bliżej toru i murawy. Znów zmniejszyła się ich pojemność – do nieco ponad 13 tysięcy. Ale co ważne, całość została zadaszona. Odświeżono też wygląd wschodniej części obiektu oraz skrócono o połowę maszty oświetleniowe. Tak duże zmiany były konieczne, bowiem w 2017 roku we Wrocławiu odbyły się The World Games – czyli Igrzyska Sportów Nieolimpijskich.

Obecnie ze Stadionu Olimpijskiego korzystają głównie żużlowcy Sparty Wrocław oraz drużyna futbolu amerykańskiego Panthers Wrocław. Obiekt służy także biegaczom – jest metą Nocnego Wrocław Półmaratonu i Wrocław Maratonu.

Mimo wielu zmian od czasów powstania Stadionu Olimpijskiego zachowało się sporo kluczowych elementów architektury pamiętającej początki XX wieku – m.in. zewnętrzne mury, wieża czy część zadaszenia. Duch dawnego obiektu został więc zachowany.