现代的计算机是一个大的系统，这个系统包括硬件和软件两大部分。硬件就是计算机的实体，就是我们前面提到的冯·诺依曼的机器，是计算机的各种物理装置，它们是由各种实在的器件所组成。它包括计算机的中央处理器CPU、运算器、控制器、输入设备（键盘，鼠标，扫描仪等）、输出设备（显示器，打印机等）五大部件；
与电子计算机系统的操作有关的计算机程序、规程、规则及文件，统称为计算机软件。要使电子计算机能够有条不紊地工作，就要有合理的工作程序和必要的资料，电脑的程序和资料就构成了电脑的软件系统。软件是指系统软件和应用软件。靠近硬件子系统的一层称为系统软件，使用频繁，但与具体应用领域无关；系统软件包括操作系统（用于管理计算机系统的各种硬件和软件资源）、编译程序（用于将高级语言翻译成为机器语言）以及各种监控程序和数据库管理程序等。
另一层则与具体应用领域直接有关，称为应用软件，应用软件是基于操作系统环境下或者说是运行在操作系统环境下的为实现各种实际应用的程序。硬件和软件是一个不可分割的整体，可以说硬件是躯体，软件是计算机的灵魂。电子计算机硬件所具有的潜在功能是非常大的，计算机的运算能力，规模和档次，都是由硬件决定的。在良好的硬件环境下，只有编制更好的软件，才能使硬件所具有的这些潜在功能得以充分发挥。软件开发得越多，质量越好，计算机的潜能就发挥得越充分，它的应用领域就越广，作用就越大。
早期的计算机是一台裸机，即没有什么配套的软件。要想使用它，就必须先了解机器各部分的构造，熟悉它的指令系统。只有那些极少数受过专门训练的人员才能够使用它。
