Вот только музыкальная слава Прозоровского оказалась недолговечной: в стране развернулась активная кампания по борьбе с цыганщиной и романсами. Весной 1929 года в Ленинграде прошла Всероссийская музыкальная конференция, в ходе которой было окончательно решено запретить исполнение подобной музыки, так как «наряду с религией, водкой и контрреволюционной агитацией» цыганская музыка заражала рабочий класс «нездоровыми эмоциями».
В 1930 году на Прозоровского поступает донос, его арестовывают и отправляют на строительство Беломорканала. Досрочно освободившись в 1933-м, Борис Алексеевич возвращается в Москву и пытается снова заняться композиторской деятельностью.
Как оказалось – ненадолго. После убийства Кирова по стране прокатилась очередная волна массовых репрессий, и Прозоровского, как неблагонадежного элемента дворянского происхождения, ссылают в один из лагерей под Хабаровском.