Dvakrát sa ho opozícia pokúsila odvolať počas jeho prvej vlády – koncom roka 2007 a začiatkom roka 2008 a tretíkrát počas jeho druhej vlády, v septembri 2013. Všetky tri pokusy sa skončili neúspešne.
December 2007: Opozícia nebola na nočnom rokovaní, návrh neprešiel
Premiér Robert Fico čelil odvolávaniu prvýkrát na mimoriadnej schôdzi NR SR, ktorá sa konala 6. decembra 2007. Na večerné hodiny ju zvolal predseda NR SR Pavol Paška. Schôdzu o návrhu na vyslovenie nedôvery premiérovi Ficovi iniciovala 5. decembra 2007 opozícia po tom, ako 4. decembra 2007 poslanci NR SR vyslovili vláde Roberta Fica dôveru a súčasne schválili štátny rozpočet na rok 2008.
Zo 146 prítomných poslancov o dôvere premiérovi a rozpočte hlasovalo 4. decembra 2007 za 85 poslancov, proti bolo 61 poslancov. Dohodu koaličných lídrov, že sa tieto hlasovania spoja, odsúhlasila vláda. Koaličným partnerom to navrhol Robert Fico po vládnej kríze, ktorá vznikla pre prevody pozemkov na Slovenskom pozemkovom fonde. Opozícia 6. decembra 2007 protestovala proti nočnému rokovaniu a odišla z pléna NR SR. Keďže predkladateľ návrhu nebol prítomný v rokovacej sále, návrh na vyslovenie nedôvery premiérovi Ficovi neodznel a v záverečnom hlasovaní ho nepodporil ani jeden prítomný poslanec. Proti návrhu bolo 78 koaličných poslancov.
Január 2008: Prevody pozemkov pod Tatrami a Ficove nehnuteľnosti
Ďalšia schôdza NR SR o vyslovení nedôvery vláde sa konala 22. januára 2008. Opozícia predložila do NR SR návrh na vyslovenie nedôvery predsedovi vlády Robertovi Ficovi 17. januára 2008. Návrh podpísalo 46 opozičných poslancov. Hlavným dôvodom bol škandál súvisiaci s prevodom pozemkov pod Tatrami, ďalším dôvodom bolo netransparentné pozadie nadobudnutia niektorých nehnuteľností Robertom Ficom.
Predseda parlamentu Pavol Paška rozhodol, že schôdza sa začne 22. januára 2008 o 19:00 a obhajoval to tým, že iný termín nebol možný najmä pre zaneprázdnenosť premiéra. Napriek žiadosti koalície, aby rokovanie trvalo bez prerušenia až do záverečného hlasovania, práve pre neúčasť koaličných poslancov nebola NR SR ráno pred 6:00 uznášaniaschopná. Koalícia sa v rokovacej sále zdržiavala minimálne, vypočuť si prišla len predsedu vlády. Predseda SDKÚ-DS Mikuláš Dzurinda tvrdil, že poslanci za SDKÚ-DS považujú nočné rokovanie za škandalózne, splnia si však ústavnú povinnosť. Premiér Robert Fico ostal vo funkcii. Návrh opozície podporilo 55 poslancov, na odvolanie bolo potrebných minimálne 76 hlasov.
September 2013: Kúpa 49-percentného podielu SPP
Predseda vlády Robert Fico čelil návrhu na vyslovenie nedôvery v NR SR tretíkrát v septembri 2013. Bolo to pre kauzu kúpy 49-percentného podielu SPP. Mimoriadna schôdza sa začala 17. septembra, trvala do 19. septembra, no dvojdňová rozprava bola bez Ficovej účasti, bez účasti ministrov i poslancov vládnej strany.
Mimoriadna schôdza odvolanie premiéra SR nepriniesla, pád kabinetu podporilo 59 zo 142 prítomných zákonodarcov, 82 bolo proti a jeden sa zdržal. Opoziční poslanci Ficovi vyčítali, že podklady ku kúpe 49-percentného podielu SPP vznikli na počítači spoločnosti J&T Investment Advisors, ktorá sa už v súčasnosti volá EP Investment Advisors a je prepojená so spoločnosťou Energetický a průmyslový holding (EPH), ktorá svoj podiel štátu predáva. Fico označil návrh opozície na jeho odvolanie za absolútne absurdný, podľa opozície však mimoriadna schôdza mala zmysel, Ficovu neprítomnosť na schôdzi opoziční poslanci označili za zbabelosť a aroganciu, podľa nich ukázal slabosť a samotný Smer-SD strach.
Február 2014: Kauza Interblue Group
Štvrtýkrát premiér Robert Fico čelí návrhu na vyslovenie nedôvery dnes, vo štvrtok 13. februára od 9:00 pre emisnú kauzu. Mimoriadnu schôdzu zvolal predseda NR SR Pavol Paška na žiadosť troch opozičných strán KDH, Most-Híd a SDKÚ-DS. V novembri 2008 ministerstvo životného prostredia a americká „garážová“ spoločnosť Interblue Group podpísali zmluvu o predaji emisných kvót oxidu uhličitého typu AAU pre obdobie rokov 2008 až 2012 za cenu 5,05 eura za tonu. V roku 2008 Slovensko v zmysle tejto zmluvy predalo spoločnosti Interblue Group 15 miliónov ton emisných limitov za približne 75 miliónov eur a ako povedal predseda SDKÚ-DS Pavol Frešo „na tomto zarobila garážová firma a slovenskí daňoví poplatníci prišli o 47 miliónov eur“.
Ešte v októbri 2008 vtedajší minister životného prostredia o tomto pripravovanom obchode so spoločnosťou Interblue Group informoval vládu Slovenskej republiky. Na čele vlády stál vtedy súčasný predseda vlády Robert Fico, ktorý neurobil nič, aby obchod zastavil, aj keď to navrhoval vtedajší minister životného prostredia. Premiér tak podľa opozície nesie zodpovednosť za nevýhodný predaj emisií. Podľa Freša má slovenská strana k dispozícii od orgánov Švajčiarskej konfederácie podrobné informácie o osobách, ktoré zarobili na predaji emisných kvót. Napriek týmto skutočnostiam predseda vlády a kandidát na prezidenta SR Robert Fico viackrát spochybnil existenciu tohto zoznamu a označil ho dokonca za bluf.