В августе 1938 года назначен 1-ым заместителем наркома внутренних дел. По указанию
Сталина ещё с конца сентября 1938 по январь 1939 провёл массовые аресты в НКВД, прокуратуре, судах с целью очищения от ежовских кадров. В феврале-мае 1939 года, а также в конце января 1940 года был осуществлён массовый бессудный расстрел ранее арестованных (при Ежове, да ещё и при Ягоде) людей. В 1939—1941 было арестовано до миллиона людей. Одновременно была проведена небольшая амнистия среди заключённых и арестованных, а также отмена внесудебных троек НКВД.