楼外楼菜馆始建年代有清道光、同治、 光绪三说，一般多认为道光二十八年（１８４８年）一说比较可靠。此楼业主是一位 清朝的落第文人，名叫洪瑞堂。他与妻子陶氏秀英自双亲亡故后由绍兴东湖迁至 钱塘，定居在孤山脚下的 西泠桥畔，以划船捕鱼谋生——因夫妻双双是从鱼米之乡的绍兴而来，在烹制鲜鱼活虾方面有一技之长。 楼外楼先是捕鱼虾选佳者烹制出售，后来想到西泠桥一带无饮食店，便在略有积蓄之后开了一片 规模较小的菜馆，当初仅是一处平房，地处六一泉旁，位于俞楼与 西泠印社之间。
菜馆的命名有两种说法。一种说法是店主从南宋诗人林升《题临安邸》"山外 青山楼外楼， 西湖歌舞几时休暖风熏得游人醉，直把 杭州作汴州"诗中得到启发而取为"楼外楼"。
