В 1933 году за политически острые стихи и пародии был арестован вместе со своим соавтором-сценаристом Владимиром Массом (их фамилии сняли из титров фильма «Весёлые ребята»), сослан в Енисейск, в 1934 переведён в Томск. В 1936 году Эрдману разрешили поселиться в Калинине, затем он жил в Вышнем Волочке, Торжке, Рязани. Осенью 1941 года был как все поражённые в правах ссыльнопоселенцы отправлен в глубокие тылы. При проезде через Саратов, эшелон с эвакуированными задержался. В это время в Саратовском ТЮЗе, работал эвакуированный МХАТ. На имя народного артиста СССР Ивана Москвина пришло письмо подписанное Берией с предложением Эрдману стать автором ансамбля песни и пляски НКВД. По этому письму Эрдмана сняли с эвакоэшелона и отправили в Москву, к новому месту работы.