隋朝以前，自西汉至南北朝，基本沿袭秦朝官制，隋文帝即位后，为加强中央集权，对行政机构进行了一些改革。综合前代各种制度，确立了三省六部制。
开皇元年 （公元581年），杨坚登位不久，立即采纳了大臣崔仲方的建议，废除北周模仿《周礼》在中央设立的“六官”制度，“依汉魏之旧”建立中央机构。《隋书·百官志》说“高祖践极，百度伊始，复废周官，还依汉魏。唯以中书为内史、侍中为纳言、自余庶僚，颇有损益”。
三省制
隋文帝时期的三省，在中央设置尚书、门下、内史三省。
内史省
內书省是决策机构，长官叫内史令；与尚书省、门下省鼎足而立的是内史省。内史省后来改为内书省，为中枢的制令机关，专司起草皇帝诏令
门下省
门下省是审议机构，长官叫纳言；门下省在隋初是侍奉谏议机关，掌审查政令及封驳诸事。其长官有纳言二人（正三品），它本是侍奉内廷，以备皇帝之顾问。
尚书省
隋代的尚书省地位很高，是执行机构，管理全国政务。长官叫尚书令，副长官叫左、右仆射。《隋书·百官志》说：“尚书省，事无不总”。这句话说明了尚书省在中央最高行政机构中权力之大，地位之尊。尚书省下设史、礼、兵、都官（后改为刑）、度支（后改为民）、工六部，各部长官为尚书，副长官为传郎。三省的长官等于秦汉的宰相。把宰相之职一分为三，避免了权臣专权，中央集权进一步加强。
隋朝三省六部制
三省之外，还有秘书省和内侍省，这是掌握具体事务的官署，秘书省掌图书籍藏整理。这个官署一般比较清闲，长官为秘书监（正三品）1人，次官有秘书丞1人。属官有秘书郎4人、校书郎12人、正字4人、录事2人，领著作曹、太史曹。著作曹掌国史修撰，有著作郎2人，佐郎8人，校书郎、正字各2人。太史曹掌天文历法，置太史令、太史丞、司历各2人，监候四人。隋炀帝大业年间，又新置儒林郎10人，掌明经顾问，唯诏所使。文林郎21人，掌撰录文史，检讨旧事。
内侍省是内廷的侍奉机关，隋初由宦官担任。置内侍（从四品上）2人为其省长。次官有内常侍2人。属官有内谒者监6人，内寺伯2人，内谒者12人，寺人6人，伺非8人，统领尚食、掖庭、宫闱、奚官、内仆、内府等六局。炀帝时改内侍省为长秋监，有长秋令、少令、丞等皆用士人，低级役使人员则用宦官。
以上是隋代中枢机构的“五省”，朝廷内外政务皆由其统辖，为中央最高执政机关。
监察机关
隋初的监察机关只有御史台，炀帝大业三年（公元607年）又增设了谒者、司隶二台，合称三台。御史台的长官为御史大夫 （从三品）1人，次官为治书侍御史2人。属官有侍御史8人，殿内侍御史、监察御史各12人，录事2人。御史职掌纠察弹劾。如《隋书·李孝贞传》载：隋初李孝贞为内史侍郎，不称职，文帝欲免其官，就先“敕御史劾其事，由是出为金州刺史”。御史还出使巡察，监诸军旅，如 《隋书·柳彧传》载：开皇时，柳彧为治书侍御史，持节巡察河北五十二州，“奏免长吏赃污不称职者二百余人”；仁寿初，又持节巡察太原道十九州。炀帝时设置了谒者、司隶二台后，便分割了御史台的职权。谒者台的职掌是奉诏出使，慰抚劳问，并持节察按，遇有冤狱则受而奏之。长官为谒者大夫1人 （正四品）。司隶台职掌巡察京畿内外，长官为司隶大夫1人 （正四品），属官有别驾2人，分察畿内，一人管东都洛阳，一人管京师长安。有刺史14人，从事40人副之，掌巡察京畿以外的全国郡县，其职责是“激浊扬清”，若遇贪黩的郡守则有权免职，有功则上报其事迹，加以旌勉。不久，司隶台被废，改派以京官清明者挂司隶衔头出使巡察。