Előző cikkünkben odáig jutottunk Halassy Olivér történetében, hogy 1936-ra gyakorlatilag mindent elért, ami az úszósportban lehetséges: hazai és nemzetközi győzelmek, illetve egyéni csúcsteljesítmények egész sora állt ekkorra a féllábú fenomén mögött. Édesapaként a személyes boldogság sem hiányzott az életéből, lehetetlent nem ismerő egyénisége azonban nem mindig könnyítette meg a helyzetét. A történelem pedig egy olyan szomorú és rejtélyes pontot tett kiemelkedő sikerekben gazdag karrierjének végére, amire senki sem számított.
A civil élet az 1936-os berlini olimpia előtt sem volt ismeretlen Halassy számára, hiszen tisztviselőként ekkor is kivette a részét az Egyesült Izzólámpa és Villamossági Rt., majd az újpesti helyhatóságmunkájából. Az év végén pedig Pest vármegye főispánja az ünnepelt olimpikont nevezte ki Újpest számvevőjévé. Ezzel az őt terhelő felelősség is megnőtt, ami vérmérsékletére is rányomta a bélyegét.
Nem sokkal ezután nagy port kavart pólós csapattársával, Németh Jánossal való összeveszése, amit a leváltott csapatkapitány Oli sztárallűrjeinek rovására írt. A csapat egységét jelentősen megtépázta a szerencsétlen eset. 1937 végén mindkét játékos szigorú eltiltást kapott a Magyar Úszó Szövetségtől, miután a kupadöntőn összetűzésbe keveredtek egy bíróval. Halassy 1938 augusztusára elhatározta: teljes erejével a vízilabdára koncentrál, az úszásnak pedig búcsút int.
Augusztus 25-én, miután azt nyilatkozta, hogy az aktuális folyambajnokságon már nem indul, az utolsó pillanatban mégis rajthoz állt, majd tizenegyedjére is az élen végzett, utoljára leiskolázva régi riválisát, Páhok Istvánt.
Ám 1939-ben jött élete legnagyobb csapása: a vízilabdától való kényszerű búcsú, ami már nem az ő döntésén múlt. Miután a bécsi tornán nem válogatták be a németek elleni keretbe, Az Estnek lehangoltan úgy nyilatkozott:
„Azt mondták öreg vagyok, nincs rám szükség. (…) Visszavonulok.”
A legendás sportoló már az 1940-es olimpiára készült, így sértve érezte magát és méltatlannak tartotta, hogy félreállították, ami mögött személye elleni támadást sejtett.Nyilatkozata miatt az úszószövetség év végéig felfüggesztette játékjogát. 1941-benpedig kis híján belehalt egy mandulaműtét következtében összeszedett vérmérgezésbe.
A hullámvölgyből kiutat jelentett, hogy kis idő múlva játékvezetőként kamatoztathatta tudását, polgári karrierje felívelését pedig 1943-as kinevezése jelezte, amikor számvevőségi II. osztályú főtanácsos lett. Júliusban azonban ismét a MÚSZ fegyelmi bizottsága előtt találta magát egy meccsen tanúsított magatartása miatt. Szerencsére a szövetség elállt a szigorú büntetéstől, ám ez nem segített a lila-fehéreken, akiknek több játékosát is eltiltották a szezonban. Halassy utolsó nyilvános szereplésén, a Marosvásárhely ellen vívott 1943. augusztus 16-ai mérkőzésen épp azért volt kénytelen még egyszer medencébe szállni, hogy kisegítse a bénító emberhiánnyal küzdő csapatot. Ám csodát ő sem tudott tenni, és a házigazdák végül pontot raboltak a klubtól.
A következő időszakban teljesen visszavonult a nyilvánosságtól, idejét hivatali munkájának és az embermentésnek szentelte: a világháború utolsó éveiben aktív zsidómentő tevékenységet folytatott; több család is menedékre lelt Halassyék pincéjében. Ebben a küldetésben vált igazán hasznára az édesapjától örökölt cím: egy orvos barátjának oda tudta adni vitézi gyűrűjét, ami segítségére volt a menekülésben.
A vereség után aktívan dolgozott a magyar úszósport újjászervezésén, bár ezt nem mindenki nézte jó szemmel. Halassy vitézi címe valószínűleg szemet szúrt valamelyik kommunistának, és a neves sportoló 1946 augusztusában B-listára került, azaz elcsapták az újpesti hivatali állásából és választójogát is megvonták. Az igazoló eljárás során végül rehabilitálták, ám ennek sajnos nem sokáig örülhetett.
1946. szeptember 10-én sofőrjével egy sportolói összejövetelről tartott hazafelé, amikor szovjet egyenruhás járőrök – aki éppúgy lehettek megszálló orosz katonák, mint idegen egyenruhába bújt magyar bűnözők, úgynevezett „vetkőztetők” – megállították a gépjárművüket a Szent László út 137. előtt, majd máig homályos körülmények között végeztek a két férfival. A korabeli cikkek szerint a gyilkosok az olimpiai bajnok autójára utaztak, Halassyt pedig dulakodás közben többször mellbe lőtték, jegygyűrűjét és óráját ellopták. Bár az újságok arról írtak, hogy a hivatalos verzió szerint „rosszul öltözött suhancokból” álló rablóbanda körül szorul a hurok, nem sokkal október előtt a nyomozással együtt az ilyen tudósításoknak is vége szakadt. A politikának több szempontból is kellemetlen volt az ügy, ezért inkább eltussolták.
Halassy Olivér (j) Magyar Úszó Szövetség jubiláris versenyén az olasz Paolo Costollival, 1932-ben
Halassy Olivért, Újpest féllábú úszólegendáját pedig 1946. szeptember 19-én helyezték végső nyugalomra a Megyeri temetőben. Utolsó útján az UTE sportolói mellett az úszó- és a vízilabda-válogatott, a társegyesületek tagjai és több ezer tisztelője kísérte, sírjánál pedig Hajós Alfréd mondott búcsúbeszédet.