Men härom veckan bröts denna gyllene regel, och till allmän häpnad av en konservativ justitieminister.
Kenneth Clarke satt själv i regeringen som i början av 90-talet avfyrade startskottet i batongkampen mot Labour, men nu har han kommit fram till att resultatet är ohållbart.
Antalet fångar har fördubblats till 85000 - var och en kostar en halv miljon kronor per år. Många avtjänar korta straff för brott som i Sverige inte ger mer än böter. 60 procent av dem återfaller i brott, vilket rimmar komiskt illa med Tories klassiska paroll "Fängelse fungerar".
Den brittiska regeringen har ett gigantiskt budgetunderskott på halsen och måste skära i statsbudgeten med brutaliteten hos Jack the Ripper.
Kenneth Clarke tycker i det läget att det finns viktigare prioriteringar än att hålla småtjuvar inlåsta i fängelser som inte fungerar. Han vill därför låta de mindre förbrytarna få samhällstjänst i stället för fängelse.
För detta har Clarke kallats både socialtant och smygliberal.

De som hånar och kritiserar honom ser överhuvudtaget inte konflikten mellan platser i fängelserna och platser i exempelvis sjukvården. Så är det alltid när det gäller kriminalpolitik.
I diskussionerna om hårdare straff talar man aldrig om pengar - inte förrän det är för sent.
I ett antal amerikanska delstater försöker nu desperata lagstiftare frige tiotusentals fångar ur fängelser som de själva har proppat fulla.
I jämförelse med Storbritannien och inte minst Kalifornien har Sverige mycket glest befolkade fängelser. Bland annat för att vi har gjort som Kenneth Clarke vill och kraftigt minskat de korta fängelsestraffen.
Men situationen håller på att ändras. Bara under Thomas Bodströms tid som justitieminister skärptes 100 lagar och Beatrice Ask har fortsatt i samma spår.Tyvärr är ingen av dem lika intresserade av hur påföljderna fungerar som de är av att skärpa dem.
Rehabilitering är en icke-fråga i kriminalvårdsdebatten. Och inte heller i Sverige talar man om pengar.

Vill någon sänka skatten eller satsa på skolan kommer frågan genast: har vi verkligen råd?
Men i budgetdisciplinens Mecka blir hårdare tag aldrig en fråga om statsfinanser. Ingen behöver förklara varför det är viktigare att skärpa ett straff än att satsa på äldrevården.
Debatten om brott och straff drivs av starka känslor och när sådana är i farten har torra ämnen som ekonomi och vetenskap inte en chans.
För politikerna är hårdför kriminalpolitik ett potensmedel, i en tid när deras makt har minskat. Kenneth Clarkes eftertänksamhet betraktas som mesig och omanlig. I de här frågorna vill många väljare att politikerna reagerar instinktivt à la Thomas Bodström. Men det blir sällan särskilt bra.
Bodström visade stor kraft när han utlovade nya superbunkrar som en reaktion på fängelserymningarna sommaren 2004. I dag är bara en handfull av de 72 platserna fyllda.
Få minns att de tomma bunkrarna kostade oss 750 miljoner kronor, men Bodströms ursinniga handlingskraft etsade sig fast.