V jeho životě hrály roli tři ženy. Jeho první manželkou byla Věra Vařilová, básnířka a historička. Po rozvodu měla syna Tobiáše, za kterého poté platil alimenty, ale jehož biologickým otcem byl Jiří Němec. S Juliánou Stritzkovou, jeho druhou manželkou, měl dcery Františku a Martu. Obě následovaly svého otce ve spisovatelském umění. Většinu jejich dětství prožil ve vězení a krátce po návratu se i toto manželství rozpadlo. Jeho poslední partnerkou byla Dáša Vokatá, která na jeho pohřbu zpívala a hrála na kytaru, za což si proti všem tradicím vysloužila u obecenstva potlesk.

Za svou organizátorskou a uměleckou činnost, vykonávanou navzdory cenzuře, si celkem odseděl osm a půl roků, většinou byl odsouzen za výtržnictví. Poprvé byl uvězněn za vyprovokování slovní potyčky v hostinci U Plavců. Po zpěvu písně „Zahnat Rusy-vrahy do pekel kam patří“ a verbální výměně slov s majorem STB ve výslužbě, snědl střed výtisku Rudého práva, prostrčil jím hlavu a prohlásil: „Dnes jsem snědl Rudé právo, takhle jednou sežereme bolševiky.“

Podruhé byl odsouzen za hudební činnost ve skupině The Plastic People of the Universe společně s jejími dalšími dvěma členy. Tento soudní proces byl jeden z podnětů vzniku Charty 77, dokumentu kritizujícímu porušování lidských práv tehdejší vládou. Ivan Jirous tento dokument podepsal hned po návratu z vězení.

Potřetí byl vězněn za kritický proslov na výstavě Jiřího Laciny a počtvrté za vydávání časopisu Vokno. Páté věznění proběhlo za ručitelství pravosti podpisů petice „Tak dost“.

V letech 1985-1987 se musel kvůli součásti čtvrtého rozsudku denně hlásit na služebně veřejné bezpečnosti

Za totalitního režimu se nikdy oficiálně nesměl věnovat literatuře, a tak aby nebyl odsouzen za příživnictví, pracoval třeba jako noční hlídač, zahradník, nebo topič. Jeho literární díla se vyznačovala vulgárním vyjadřováním a strohostí textu. Několik svých děl napsal také ve věznicích. Například rukopisy dvanácti Magorových Labutích písní, jeho asi nejznámějšího díla, dostal z věznice prostřednictvím francouzského polibku. Mezi známé díla patří také básnická sbírka věnovaná jeho dcerám pod názvem „Magor dětem“. Toto snad jediné „slušné“ dílo psal v dopisech své rodině z vězení.

Po sametové revoluci v roce 1989 bydlel střídavě v Praze, v bytě poskytnutém za symbolickou částku Karlem Schwarzenbergem, a v Kostelním Vydří, kde byl po smrti pochován. Karel Schwarzenberg se také ujal modlitby na Jirousově pohřbu. Jej se zúčastnil také například Paul Wilson, bývalý člen undergroundové kapely původem z Kanady, který byl za své působení z Československa vyhoštěn. V bulvárních plátcích se spekuluje o tom, že zemřel na dlouhodobější problémy s žaludečnímy vředy. Ovšem zatím nebylo nic podloženo a pravděpodobně se to již nikdy nedozvíme.

Ačkoli byl Ivan Jirous často velice náladový, vulgární a někdy i agresivní, bojoval za správnou věc. I přátelé mu jeho urážky tolerovali a řekli jen, že on už takový je. Snažil se postavit totalitní vládě na odpor a byl jedním z těch, kteří se zasloužili o českou demokracii, za což mu patří velký dík.