科尔比学院创建于1813年，是美国12所历史最悠久的独立的私立文理学院之一。自从缅因从马萨诸塞州分离出来以后，1815年新的立法机构授予科尔比学院的前身缅因文学与神学院（Maine Literary and Theological Institution）独立办学的权利。

后来在1821年，学院重新命名为沃特威尔学院，由于内战所导致的生源流失严重，学校一度面临关闭。一位名为加德纳·柯比（Gardner Colby）的波士顿商人捐出了自己大量的资产，帮助学校度过了难关。学校也被重新由它的名字命名为Colby College.

科尔比学院是新英格兰地区第一个招生女性学生的大学，开创了缅因州男女同校的先河。1847年，它所招收的第一位女性毕业生Mary Low从学校兽医系毕业，她的名字也被用来命名学校的一座校舍以作纪念。二十世纪三十年代，沃特维尔政府拨给科尔比学院位于环境优美的五月花山（Mayflower Hill）的500英亩的土地以让学校扩大面积并提高学术研究水平。学校最后一栋主建筑Coburn Hall竣工于1951年。学校的总面积为714英亩，合28900亩。在学校周围除了一些居民，整片环境优美、阳光充足、空气清新的小山坡都属于科尔比的学生。学生在学习之余，走上个十分钟，就能让自己置身在鸟语花香的大自然中了。

鉴于兄弟会和姐妹会带来的不良风气，学校从1984年开始废除校园内的兄弟会和姐妹会，并同时开创了新颖独特的新生野营迎新会（COOT），让来自世界各地的学生在缅因九月如画的山水中认识彼此，通过三天的野营来好好享受一把缅因的美食、美景和科尔比优良的传统及风气，在这里找到家的感觉。1975年，柯比学院举办了他们第一届户外适应旅行的活动。第一次旅行只有16个一年级学生，2个高年级学生以及1个教授组成，到今天这项运动已经发展成为包括98%学生的在学校内极为流行的一个活动。在秋学期的时候，这个组织提供52个旅行项目和1个Iced COOT项目（专为第一学期在海外的学生提供的冬季COOT）。秋季旅行的终点包括徒步旅行去阿卡迪亚国家公园，卡塔丁山以及其它靠近Maine的地点，还有Kennebec和Moose河的独木船旅行，以及其他一些在国家范围内的旅行。这些丰富多彩的旅行项目是为了培养未来学生的兴趣和爱好。