苏州是在隋文帝开皇九年（589）废吴郡，改称苏州；杭州古称“钱唐”也是在这一年改称杭州的。从年代上来讲，也没有先后，那么为什么一提起“上有天堂，下有苏杭”，总是把苏州放在前面呢？确是很有趣的事。
唐代中叶，诗人白居易，先后出任杭州和苏州两地的刺史，对这两个地方都有深厚的感情。在他的近三千首诗中，有不少是歌咏苏州和杭州的。这些诗既可供艺术欣赏，也是后人了解唐代苏杭历史的资料。如《见殷尧藩待御忆江南三十首，诗中多叙苏杭胜事，余尝典二郡因继和之》中：“江南名郡数苏杭，写在殷家三十章”。另一首咏：“苏杭自昔称名郡，牧守当今最好官”。诗虽只有两句，使人知道最早把苏州和杭州连在一起称苏杭，与白居易有密切关系；此外值得注意的是，那时已经总是苏在前杭在后了。难道白居易厚苏薄杭，偏爱苏州？不。白居易更锺情于杭州。他在《忆江南》中说得非常明白：“江南忆，最忆是杭州”，“江南忆，其次忆吴宫”。那么诗中为什么总是苏前杭后呢？这是由于当时苏州的地位所决定的。
唐代苏州地域宽广，人口众多。白居易诗中是这样描述的：“十万夫家供课税，五千子弟守封疆”，“甲郡标天下，环封极海滨，版图十万户，兵籍五千人”。他在杭州任上，曾把苏州、湖州和杭州作过比较：“（湖州）殊冷僻，茂苑（苏州）太繁雄。唯此钱唐郡，忙闲恰得中。”在苏州任上时写道：“曾赏钱唐嫌茂苑，今来未敢苦夸张”。这里都反衬出苏州的繁盛超过杭州。我们可以用历史上的记载来印证白居易所说不谬。唐大历十三年（778）苏州升为雄州，成为江南唯一的最高等级的州（参见《资治通鉴》）。《元和郡县志》里记载，唐元和年间，苏州已有十万零八百户。这些都是杭州所不能及的。当时杭州仅是上州，三万多户，十来万人口，和苏州比，相差甚远。白居易做过这两个地方的长官，“我为刺史更难忘”，所以五次在诗中连称苏杭，绝非偶然。正因为此，白居易把自己偏爱的诗集，一份藏庐山，一份藏洛阳，还有一份就藏在了苏州。
南宋初年，范成大所撰《吴郡志》：“谚曰：‘天上天堂，地下苏杭’”这是迄今为止所见关于这一谚语最早的记载。明代郎瑛的《七修类稿》则记为“上说天堂，下说苏杭”，措辞虽有不同，意思却是一样的。有一种说法是：北宋开封地方有句俗话：“苏杭百事繁度，地上天宫”；由此转化为“上有天堂，下有苏杭”。果真如此，谚语当在北宋年间形成。但若追根溯源，恐怕还要早得多。清代翟灏所作《通俗编》，根据北宋刘焘《树萱录》的记载说：“员半千有庄在焦戴川，极风景之胜，里谚曰：上有天堂，下有员庄。”员半千是唐初人，高宗时对策擢上第，武则天诏入供奉，乃事五君，是个有名气的清官。清官而居然拥有天堂般的庄园，实乃封建社会的怪现象。不过，由此得知“天堂”之说始于唐初。“苏杭”连称，前已说过，来自中唐。“上有天堂，下有苏杭”，其实是仿“下有员庄”而来。私人占有的庄园毕竟传不了几代，而苏杭定会代代相传。
五代以后的苏州，依旧繁荣。北宋时户口甲于全国，“宣和间，户至四十三万”。以一户五人计，当有二百十五万人之众（顾颉刚《苏州史志笔记》）。杭州的发展也在逐步加快。尤其宋室南渡，在杭州建立了小朝廷，历时一百五十多年，成为当时全国政治、经济、文化中心，不是苏州可以抗衡的了。即使如此，苏州的经济地位，仍然举足轻重。顾颉刚在《苏州史志笔记》中就说：“自钱僚国吴越，北宋都汴梁，南宋都杭州，物质之取给予苏州者日多。”民间谚语“苏湖熟，天下足”、“苏常熟，天下足”，终把苏州放在前列，足以证明苏州的重要。
物换星移，现在有人认为杭州是省会，又比苏州美，理应杭在苏前。确实，杭州的自然风景胜过苏州，风姿绰约的湖光山色使人留连忘返。但苏州也毫不逊色，外表看似平淡，点缀在城市中的大小园林，置身其间令人陶醉。如果说杭州是一览无遗的外美，苏州则是含而不露的内秀。孰优孰劣很难比较，只能说各有千秋。
还有人说，称“苏杭”是为了押韵，前句“天堂”结尾，后句只能称“苏杭”，称“杭苏”就不押韵。其实不然，如果上句换成“上有天都”，下句岂不是就可以“下有杭苏”了吗？显然押韵之说站不住脚。所以时至今日还是苏前杭后，也许是相沿成习，但更主要的原因是由历史决定的。