小沃森1956年从父亲手中接过帅印，主持IBM的工作一直到70年代中期。计算机科学作为这段时期内IBM最重要的业务发展方向，在s360的诞生中达到顶峰。360是IBM历史上最成功的计算机系统，这场被成为“50亿美元的赌博”以IBM的大获全胜而告终。360项目主持人之一Brooks也因撰写《人月神话》这本记载了360开发经验与教训的传世之作而闻名。
并不是每个人在这场赌博中都获得了胜利，至少小沃森的弟弟迪克不是。据书中记载，小沃森对弟弟在公司内的位置以及对自己前途的影响是怀有很多忧虑的。迪克在IBM World Trade机构里工作出色，虽然有不少人认为他的管理能力并不能胜任管理整个IBM公司，小沃森还是把他调到360项目中负责生产和销售。书中隐讳的暗示了这并不是小沃森出于对弟弟的信任。在360热买而产品交付出现问题的时候，小沃森最终剥夺了弟弟的行政大权，当他担任人力资源总经理。这样，在家族的斗争中，小沃森取得了完胜。失意的迪克不久就离开了IBM，并于74年病逝。小沃森在弟弟去世后，亦疲倦了在IBM的生活，加上身体原因，于1972年退位。小沃森在1990年出版了自传《Father, Son & Co. : My Life at IBM and Beyond》。1993年，他在郭士纳出任CEO几个月后辞世。
IBM历史上一共有8位CEO（包括现任总裁Sam Palmisano）。IBM官方网站里有对7位CEO的简短介绍：http://www-306.ibm.com/employment/us/diverse/50/ceo.shtml