Alla som var inblandade i förtrycket under den landsflyktige presidenten Zine El Abidine Ben Ali kommer att ställas inför rätta, sade den nye premiärministern Mohammed Ghannouchi på tisdagen.
Men de ministrar som fått behålla sina regeringsjobb — inrikesministern, utrikesministern, försvarsministern och finansministern — har "rena händer".
– De behöll sina poster för att vi behöver dem nu, sade Ghannouchi i en intervju med franska radion Europe 1.
Den tunisiska fackföreningsrörelsen meddelade på tisdagen i dess tre ministrar i den nya samlingsregeringen kommer att lämna sina poster.
Enligt beskedet som meddelades i den tunisiska statstelevisionen, lämnar man regeringen eftersom den förre presidenten Zine al-Abidine Ben Alis parti RCD ingår.
Missnöjet med att de flera av de tidigare ministrarna behåller sina platser i regeringen är utbrett. Och trots att folksamlingar större än tre personer hade förbjudits samlades tunisier till nya demonstrationer och skanderade mot partiet RCD, som den abdikerade presidenten Ben Ali tillhör.
Polisen sköt tårgas och bröt upp demonstrationen snabbt, men ytterligare protester väntas under dagen.
Demonstrationen, som skedde utanför parlamenten i Tunis, leddes av Sadok Chourou, en före detta ordförande för det förbjudna islamistiska partiet Ennahdha (Uppvaknandet). Sadok Chourou har suttit fängslad i 20 år i Tunisien och släpptes så sent som 30 oktober och han uttalade sig till AFP under demonstrationen.
– Den nya regeringen representerar inte folket och måste falla, sa Sadok Chourou
Islamisternas ledare, Rached Ghannouchi, som lever i exil i London har sagt att han ska återvända till Tunisien. Men det går inte om inte en amnesti häver hans livstidsdom från 1991, sade premiärministern Mohammed Ghannouchi i en intervju med franska radion Europe 1 på tisdagen.
Den nya regeringen har lovat att alla partier nu ska tillåtas i Tunisien, trots att Kommunistpartiet och islamistpartiet Ennahdha inte fick plats i den nya regeringen. Islamisternas ställning i Tunisien är dock svagare än i flertalet andra nordafrikanska länder.
En man satte eld på sig själv i Alexandria i Egypten på tisdagen, uppger säkerhetskällor i staden. Därmed har tre fall av självbränning inträffat i Egypten de senaste två dagarna i protester mot regimen i landet.
Ett försök till självbränning rapporteras även från Frankrike där en tonåring i Marseille ska ha försökt tända eld på sig själv, uppger tjänstemän enligt AFP.
Den 16-årige pojken hällde en brännbar vätska över sig inne på toaletten på en privatskola i Marseille och tände sedan på. Han har andra och tredje gradens brännskador på 70 procent av kroppen, enligt räddningstjänsten.
Om självbränningen har någon koppling till händelserna i Tunisien och andra nordafrikanska länder är dock oklart.