Anledningen är placeringen de fått av SVT, att de står bredvid Sverigedemokraternas Jimmie Åkesson.
Åkesson svarar med att kalla det hela för "sandlådefasoner."
– Jag skrattade först, jag är mycket förvånad, säger han till SVT.
Miljöpartiets språkrör Åsa Romson ska, som planerat, delta i debatten i Agenda, trots att det innebär att de då kan hamna bredvid SD.
– Vi tror att det är väldigt tydligt att vi är ett parti som står väldigt långt från Sverigedemokraterna, säger partisekreteraren Anders Wallner till TT.
Fredrik Reinfeldt kommer att delta.
– Jag har sett fram mot den här debatten och Sveriges Television är bra på att arrangera dem. Jag kommer, om jag får, sa Reinfeldt på en pressträff.
"Måste kunna stå i samma rum"
Folkpartiets ledare Jan Björklund tycker att det är barnsligt att hoppa av debatten.- Barnsligt av Håkan Juholt. Jag delar inte heller SD:s åsikter, men de är ju folkvalda och vi måste kunna stå i samma rum.
– Den möblering som SVT fastställer får man ju köpa. Det är ändå ingen som tror att Jimmie Åkesson och Juholt står för samma alternativ. Vi möts ju i riksdagen hela tiden i olika debattomgångar. Tittarna går ju miste om värdefull granskning av de båda alternativen, säger Björklund till TT.