Первая Конституция СССР 1924 года фактически ликвидировала союзный Наркомат внутренних дел - его функции были переданы республиканским наркоматам. Однако это вызвало недовольство ставшего самостоятельным ОГПУ, которое энергично добивалось полного контроля над всей правоохранительной системой. В 1931 году чекисты победили: республиканские наркоматы внутренних дел были расформированы, руководство милицией, конвойной охраной и лагерями было передано в ОГПУ.
10 июля 1934 года был создан новый союзный Наркомат внутренних дел