Osim je rođen 6. maja 1941. godine u Sarajevu. Fudbalsku karijeru počeo je 1954. godine u omladinskom pogonu FK Željezničar iz Sarajeva. Za prvi tim Željezničara debitovao je 1959. godine. Zbog izvanredne tehnike, sjajnog vođenja lopte, efektnog driblinga i dobrog šuta, dobio je nadimak "Strauss sa Grbavice" i brzo postao miljenik publike.

Nakon devet godina provedenih u FK Željezničar, u decembru 1968. godine prelazi u holandski FC Zwolle, a igrao je i za francuske klubove Starsbourg, Sedan, Valenciennes. Potom se vratio u Strasbourg, gdje ostaje sve do 1978. godine i kraja igračke karijere. Bio je član mlade U21 reprezentacije SFR Jugoslavije, potom A reprezentacije za koju je u 16 utakmica postigao osam golova.

Bogatu trenersku karijeru započeo je na klupi Željezničara 1978. godine, a trenirao je reprezentaciju SFR Jugoslavije, Partizan, Panathinaikos, Sturm Graz, JEF United te selekciju Japana

Za vrijeme boravka u Japanu stekao je veliku popularnost među Japancima. Godine 2005. u Japanu je izašla knjiga pod nazivom "Riječi Osima" u kojoj su bili napisani citati Ivice Osima. Knjiga je prodata u više od 400.000 primjeraka i bila je bestseller u Japanu. Također se 2009. godine našao na omotu videoigre "J-League Pro Soccer Club o Tsukurou! 6 Pride of J" japanske kompanije SEGA. Godinu kasnije komentirao je utakmice Svjetskog prvenstva iz Južnoafričke Republike za područje Japana za televizijsku korporaciju SKY.

Dok je bio selektor reprezentacije Japana, 16. novembra 2007. godine, doživio je moždani udar u svom apartmanu u Tokiju za vrijeme gledanja utakmice engleske Premier Lige. Nakon udara bio je komi do 3. decembra 2007. godine. Nakon buđenja iz kome prvo što je upitao suprugu Asimu bilo je: "Kako je prošla utakmica?", koja se igrala u trenutku nesreće. Dok je bio u komi, posjećivala su ga velika imena iz svijeta fudbala kao što su Michel Platini i Sepp Blatter.

FIFA ga je 2011. godine postavila na čelo Komiteta za normalizaciju Fudbalskog saveza BiH, a on je pomogao Savezu i postavio stvari na svoje mjesto.

Zastupnici u Skupštini Kantona Sarajevo na sjednici održanoj 19. aprila ove godine glasali su o preminovanju ulica na pordučju općina Novo Sarajevo, Centar i Stari Grad. 

Ovom odlukom, koju je podržalo 25 zastupnika, protiv i suzdržanih nije bilo, Ivica Osim dobio je bulevar na Grbavici. Tako je postojeća Zvornička ulica preimenovana u Bulevar Ivice Osima.

Kako je navedeno, ovo je vraćanje samo dijela duga Maestru, Štrausu s Grbavice, kako su popularno zvali pokojnog Osima, za sve ono što je tokom svoje bogate igračke, a potom i trenerske karijere uradio za BiH, Sarajevo i svog "Želju".

Ulica Zvornička odabrana je da nosi njegovo ime jer prolazi pored Željinog stadiona, gdje je legendarni Ivica Osim stekao svoju igračku i trenersku afirmaciju.