尚书省下设六部，分别为:吏部、礼部、都官、度支、工部、兵部。这些机构是国家主要的政务执行部门，主管国家的经济、礼仪、工程、军事等各个方面。三省六部制与汉代的三公九卿制相比有很大改进。首先，宰相由某个个体变成了机构的负责人。汉朝时期宰相太尉、司徒、司空）权力很大，天子与宰相之间矛盾突出，隋时则是先有机构后有个人，宰相的职位是流动的，如此一来宰相的权力被削弱了，皇权就得到提升。其次，这种制度意味着决策权与行政权的分割，将诏令的起草、审核、执行权力分工，也就意味着对宰相权力的分割，从而提升皇权。再次，对于决策的程序性分离，意味着只要决策的其中一个环节没有通过，就不能执行，这样可以避免许多行政失误。
其制度主要达到三个目的:加强君主集权、分割宰相权力、提高行政效率。只有符合社会的发展进程，才能够富有足够的生命力，而这三个基本原则都符合中国古代社会的发展。“三省六部制”创立后，一直被沿用到清朝。不仅中央官制需要进行改革，地方建制改革也迫在眉睫。隋朝建立之初采用北周的制度，当时国家地方分为州、郡、县三级制管理，州、郡、县的数量非常之多，国家的地方行政区划分得太过细致，以大隋的国情来看，根本不需要如此繁多的地方机构。
