10 июля 1934 года ЦИК СССР принял постановление «Об образовании общесоюзного Народного комиссариата внутренних дел» — в стране появился единый карательный орган с широкими функциями и полномочиями.
На вновь созданный НКВД были возложены следующие задачи: обеспечение общественного порядка и государственной безопасности, охрана социалистической собственности, запись актов гражданского состояния, пограничная охрана, содержание и охрана исправительно-трудовых лагерей.
Для исполнения этих функций в составе нового ведомства были созданы Главные управления государственной безопасности, рабоче-крестьянской милиции, пограничной и внутренней охраны, пожарной охраны, исправительно-трудовых лагерей и трудовых поселений. Первым наркомом внутренних дел СССР был назначен Генрих Ягода.
Создавались так называемые «тройки» на местах, состоящие из 1-го секретаря обкома или ЦК, начальника соответствующего НКВД и прокурора края, области или республики. При Народном комиссаре внутренних дел СССР организовывалось Особое совещание, которому предоставлялось право применять в административном порядке высылку, ссылку, заключение в исправительно-трудовые лагеря на срок до пяти лет и высылку за пределы Союза ССР.
Этот административный орган наделялся судебными полномочиями, что не могло не привести к нарушениям законности, прав граждан. Миллионы людей были сосланы в лагеря ГУЛАГа и сотни тысяч приговорены к высшей мере наказания. Во многих случаях доказательства не играли особой роли, достаточно было анонимного доноса для ареста.
Использование «Физической диалектики наказания» было санкционировано специальным указом государства, который открыл двери многочисленным злоупотреблениям. Результатами таких операций были сотни массовых захоронений, обнаруженных позже по всей стране.
Архивные документы доказывают «плановую систему» массовых расстрелов. Такие планы показывали количество и соотношение жертв (официально «врагов народа») к определенным районам. Семьи репрессированных, включая детей, должны были быть автоматически репрессированы, согласно приказу по НКВД № 486.
Процессы проводились согласно решениям Политбюро Коммунистической Партии. Среди них особенно широко известны — процесс против инженеров («Шахтинское дело»), партийной и военной элиты («фашистский заговор»), медицинского персонала («Дело врачей»). По сути НКВД являлся жестким каркасом всей государственной системы страны в сталинское время.
В 1946 году НКВД формально перестал существовать. Вызывающее у народа ужас ведомство было преобразовано в два новых — Министерство внутренних дел СССР и Министерство государственной безопасности СССР, между которыми и были разделены его функции.