他认为，虚实疏实是布置中最重要的问题，也是中国画的重要特点。他说：“画事之布置，极重疏、密、虚、实四字，能疏密，能虚实，即能得空灵变化于景外矣。”
以虚实而论，他说：“大抵实处之妙，皆因虚处而生，”即“以虚显实”，“老子说：‘知白守黑’，就是说黑从白现，深知白处，才能处理好黑处”，所以，画事布置重在布虚，即着眼于空白。实际上，摆实就是布虚，布虚就是摆实，无虚不能显实，无实不能存虚。并且，还要能“以实求虚，以虚求实”，“虚者实之，实者虚之”；“虚者实之为求虚，实者虚之为求实”，而“实中之虚，重在大虚，虚中之实，重在大实”，于迫塞之中求空灵，空灵之中求气韵。布置中这种虚实相生的辩证处理方法，是他独到的成就。例如《睡鸟》，由于虚实对比强烈，使画面明豁无比，主点十分突出，一目了然，印象深刻，这就在于他虚实处理的妙处。两只睡鸟用重泼墨画成，是实；石头本实，为突出睡鸟，实者虚之；背景一片空白，本虚，但因画的是水边雏鸟，使人一看即知空白是水，这是虚者实之。这种大虚大实的处理，使画面空灵开朗，气韵生动。又如《秋酣南国雁初飞》，一座庞大的山岩布满了画面，加上几乎与纸面平行的直角形山头，使画面处于迫塞之中，这是虚以实之，重在大实；但是这座山的三分之二未加皴，使近处的树林道路层次清晰，这是虚中求实，以虚显实；上头不多的空白处画一行初飞之雁，遂使人有天地无限辽阔之感，这是虚中求实为求虚，画中的扳塞之气就消失了。这是他虚实相生的原理在实践中的运用。
以疏密而论，画材之排比，相距有远近，交错有繁简，就有疏密也。他说：“排疏密须以三点为基础。只要有三点的排比，才能有气势，有疏密，有高低，才能附合艺术的构图规律。”“三三相排比，相交错，可至无穷。”这是他布置中紧紧把握的主要方法，不管画幅大小，皆是如此。如《初升》，画中的梅月松石，皆以三角形组合，枝干、石皴、苔点亦多作三三相排比，相交错；而且岩石、树干，多作直角形转折，犹如钢筋水泥骨架，坚硬厚实，浑朴峥嵘。这种布置法的优点是能显示力量，统一中有变化；缺点是易入平、板，易入险绝之境。如松梅月石皆成品字形，显得平板无变化，已入险路，但潘天寿先生往往能从平板险绝之中出奇制胜，求得生动的气韵。如这幅画，他用泼墨画出行云，（烘云托月），不仅破掉了平板，而且使松梅月石贯联一气，既加强了画面的疏密变化和整体感，又使其变化中有统一，统一中有变化，并使画面气势倍增。
他又认为，“无疏不能成密，无密不有见疏”，疏密相用，要能“密不通风，疏可走马”，“疏中有密，密中有疏，疏而不疏，密而不密，疏中有物，密而不闷疏密对比而得中，遂得疏密相用之道矣。”如《雁荡山花》，画中的山花野草并不多；但由于大片的空白，对比之下，使人感到密而繁多，这是以疏显密，又如《雨后千山铁铸成》，山与江流的对比，有密不通风，疏可走马的好处。但山中云气的飞白和江流中的题款；使画面产生密中有疏，疏中有密，密而不闷，疏而有物，整幅画面疏密对比强烈而恰到好处。
