Решением Оргбюро 9 июня 1924 года Заведующим Бюро Секретариата был утвержден помощник Сталина И. П. Товстуха, который до этого с небольшим перерывом занимал должность заведующего Секретным отделом. Короткий период Заведующими Бюро Секретариата были А. М. Назаретян. (судя по протоколам Оргбюро с конца 1923 по июнь 1924) и Л. З. Мехлис (на заседании Секретариата 21 ноября 1921 года заведующим Бюро Секретариата ЦК был утвержден Л. З. Мехлис). Оба также были помощниками И. В. Сталина.
19 марта 1926 года постановлением Оргбюро ЦК Бюро Секретариата было преобразовано в Секретный отдел. После преобразования в структуру последнего входили: заведующий Секретным отделом, заместители заведующего Секретным отделом, помощники Секретарей ЦК (И. В. Сталина, В. М. Молотова, С. В. Косиора, Н. А. Угланова, H. М. Шверника, Н. И. Бухарина), помощники заведующего Секретным отделом, референты, помощники для поручений, заведующий приемной, переводчики, телеграфисты, Контрольный подотдел, Справочно-кодификационный подотдел, технический Секретариат Пленумов и Политбюро ЦК, Технический Секретариат Оргбюро и Секретариата, Шифровальный подотдел, Секретный архив, Подотдел учета и возврата документов (в обязанности входило учет, рассылка секретных документов и контроль возврата), Общий подотдел. В Секретном отделе также имелось Бюро машинописи с его особо секретной частью, Экспедиция, Секретная регистратура, Текущее делопроизводство Секретного отдела, Бюро Стенографов (Секция стенографистов). Всего по сведениям на апрель 1926 года — 128 человек. Архив Бюро Секретариата превращается в Секретный архив. Как видно, здесь мы наблюдаем небольшое увеличение числа подразделений и количество работающих сотрудников Секретного отдела по сравнению с Бюро Секретариата.
Функции Секретного отдела ЦК оставались такими же, как и Бюро Секретариата. Заведующим отделом остался И. П. Товстуха. В мае 1929 года заместителями И. П. Товстухи были назначены Б. А. Двинский и А. Н. Поскребышев.
Как видно, в 1920-е годы ЦК проводил определенную работу по сокращению своего аппарата но, учитывая все возрастающее значение секретных подразделений, их штат сотрудников не только не сокращался, но даже увеличивался. К 1924 году И. В. Сталин обладал почти монопольным правом на подготовку вопросов к заседаниям Политбюро и общее руководство Секретариатом ЦК. Через своего подчиненного, сотрудника Бюро Секретариата — дежурного секретаря Политбюро, Оргбюро, Секретариата, он почти полностью подготавливал заседания руководящих органов ЦК. Именно поэтому Генсек, сосредоточив в своих руках данную функцию, мог влиять на ход заседаний не только Секретариата, но и Политбюро. При очередном распределении обязанностей на И. В. Сталина возлагалась подготовка вопросов к заседаниям Политбюро и общее руководство работой Секретариата в целом. Так постепенно, организационная должность Генерального секретаря превращается в первую политическую силу. С 1923 года Бюро Секретариата, а затем и Секретный отдел располагались на пятом этаже нового здания по адресу: Старая площадь, дом 4. О возросшей значимости Секретного отдела говорил тот факт, что пропуск в Кремль, например, в 1927 году, имели 29 человек «ответственных сотрудников» данного подразделения.
Соответствующие секретные подразделения также были созданы и в партийных комитетах на местах. Документов, когда первоначально были образованы секретные подразделения в парткомах на местах, также как и документов, регламентировавших их деятельность, не обнаружено, но можно предположить, что они образовались одновременно с секретными подразделениями аппарата ЦК. В 1928 году Секретным отделом ЦК были разработаны и утверждены «Правила ведения секретного делопроизводства и обращения с конспиративными материалами в партийных комитетах». Данным нормативным документом было юридически закреплено уже имеющееся «де-факто», положение дел. В партийных комитетах на местах имелись секретные отделы или секретные части, а в парткомах, где количество проходящих секретных документов было невелико, работа возлагалась на отдельного, специально для этого выделенного доверенного.
Основным принципом работы данных подразделений и предпосылкой конспирации являлся принцип обоснованности доступа и принцип персональной ответственности, где действовало одно правило: чем меньше людей имеют доступ (в той или иной форме) к секретным материалам — тем больше гарантий сохранения конспирации. Лица, виновные в нарушении конспирации (разглашение, утеря и халатное обращение с секретными документами), на основании постановления ЦИК СССР отвечали во внесудебном порядке через коллегию ОГПУ.
В основные обязанности секретных органов парткомов входило:
— ведение секретного делопроизводства (прием, регистрация, печа
тание, экспедиция, ведение и хранение секретных дел, возврат и уничтожение конспиративных материалов и т. д.);
— наблюдение, инструктирование и проверка секретного делопроизводства, проверка и учет сотрудников, допускаемых к секретной переписке в подведомственных парторганизациях и фракциях ВКП(б) в местных советских, хозяйственных и общественных организациях;
— инструктирование, контроль и помощь нижестоящим организациям в ведении секретной работы;
— ведение шифропереписки (шифровальное дело велось согласно особой инструкции).
Ответственные сотрудники данных подразделений, почти в обязательном порядке, были членами партии. Назначения заведующих секретными органами и уполномоченных проходило через постановления бюро парткома, согласованного с Секретным отделом ЦКВКП(б) и лишь после проверки и с согласия местных органов государственной безопасности. Все сотрудники секретных подразделений состояли на учете в местном отделе ОГПУ.