5岁的宗介生长在海边小城,与妈妈理莎住在一个靠海小村庄的山崖上，身为船长的爸爸长年出海，留下宗介与妈妈相依为命。一天，宗介捡到了一个被海浪冲上岸的废玻璃瓶，里面有条受困的小金鱼。小金鱼名叫波妞，她是人鱼女王的女儿，偷偷驾着水母溜出来玩的时候被困在玻璃瓶里。

宗介把波妞带回了自己家，养在塑料盆里。波妞在宗介家过得很愉快，她很喜欢宗介，宗介也喜欢她。然而，快乐的日子很快就过去了，波妞的爸爸藤本把女儿带回了海底。藤本原是一个渔夫，后来和人鱼女王相爱成了海底的主人。波妞回家后，十分思念宗介，她做出了一个大胆的决定——她要变成人，和宗介在一起。在妹妹们的帮助下，波妞偷出了父亲的法宝，向人类世界游去。不料，蕴含着危险魔力的生命之水失控了。于是，海水暴涨，暴风狂作，妹妹们变成了一群巨型鱼，变成海浪向海边小城扑去，波妞没想到自己的美好愿望竟然招来了这样的大祸，而承诺要永远保护波妞的宗介，也即将面临新的挑战

宫崎骏在构思该片时大听瓦格纳的歌剧《女武神》，原定金鱼姬的名字是“布伦西德”（《女武神》中的人物）。后来，宫崎在作画时突发奇想，改成了“波妞”。

小男主人公宗介的名字来源于夏目漱石的小说《门》中的人物野中宗助（在日文中，“宗助”和“宗介”发音一样）。

在《哈尔的移动城堡》上映期间，吉卜力的成员们集体前往靠近濑户内海的某个小城度假。那里保持着传统民居的风貌，令宫崎骏十分喜欢。大家就住在可以看见大海的悬崖上的旅馆里。这次旅行促生了《崖上的波妞》。 在宗介常去的向日葵园里，开着美丽的剑兰。这是宫崎骏的安排。剑兰的花语是炽热的爱、思念、努力、忘却，影射波妞的故事。

宫崎骏的动画作品中经常有美味的食物，在该片中登场的是理沙为宗介和波妞做的拉面。宫崎本人特别喜欢菠菜拉面，但因为菠菜怎么也画不好，最后面上的绿叶植物改成了葱段。面上还有半个蛋和两片火腿肉。片中有个波妞吃火腿肉的场景，原先作画人画的是波妞拿了上面的一片火腿吃，后来作画监督经过调查考证将之改成了选下面一片火腿——因为先面的那片贴着面汤比较热。

该片的制片人铃木敏夫透露，片中的男主角“宗介”以宫崎骏的儿子宫崎吾朗小时候的性格为蓝本创作。宫崎吾朗也是一名动画家,不过宫崎骏与年届40的儿子关系一直不佳,铃木敏夫说宫崎骏认为父子关系变差的最初原因是儿子五岁时“缺乏陪伴”。当时宫崎吾朗正处于最需要家长陪伴的年龄,父亲却因为埋首于工作,没有时间陪伴他。

本片集结了宫崎骏最为信赖的动画精英。作画监督是从《魔女宅急便》开始跟随宫崎的近藤胜也，美术监督则是自《幽灵公主》以来活跃于第一线的吉田升，此外还有经验丰富的画面导演奥井敦和色彩设计保田道世。