1974年爵士队在新奥尔良成立，1979年搬迁至犹他的盐湖城至今。经历了最初几年的挣扎后，从上世纪80年代开始，爵士队成为季后赛的常客，从1983年到2002年，他们年年常规赛胜率超地50％，连续19年打入季后赛。1997年和1998年爵士队两次打入总决赛，但两次都败给乔丹率领的公牛队。
1974年爵士队成为NBA的第18支球队，“手枪”马拉维奇是他们得到的第一个队员。当赛季马拉维奇平均每场得23.5分，但是爵士队23胜59负，在赛区敬陪末座。
1976-1977赛季，埃尔金-贝勒（Elgin Baylor)成为爵士队的主教练。1979年爵士队决赛搬迁到盐湖城。经过建初初斯的艰辛后，爵士队终于于 1983-1984赛季杀入季后赛。丹特利（Dantley)当赛季罚球946次，中了813个，成为NBA历史上第四节单赛季罚球得分突破800的球员。爵士队也第一次杀入了季后赛，从此他们就呆在季后赛的位置不肯下来。
爵士队多年来一直能保持稳定的成绩，主要原因是阵容稳定。马龙和斯托克顿是他们多年来的组合。1984年，爵士队在第16位顺位选中约翰-斯托克顿，1985年他们又在第13位选中马龙，两人成为此后爵士队的脊梁，90年代爵士队两入总决赛，就是他们的功劳。
两人经过近10年的配合，终于在1996-1997赛季达到巅峰。爵士队1997年常规赛主场战绩为38胜3负，最后以64胜18负的总战绩，第一次以赛区第一的成绩进入季后赛。在西部他们相继击败了快船队、湖人队和火箭队，与东部冠军公牛队相会。爵士队有主场优势，但在芝加哥两战皆败，被逼成2比2平。第5场比赛乔丹带病上场，拿下了38分，最后公牛队以90比88胜出。第6场比赛爵士全力以赴，但仍然以86比90不敌，最后以2比4结束首次总决赛。
1997-1998赛季爵士队再入总决赛，当赛季他们在常规赛中60胜20负，再次夺得西部第一。在季后赛第一轮他们以1比2落后于火箭队，但最后连胜两场；西部半决赛他们以4比1拿下马刺，决赛他们横扫年轻的湖人队。与公牛队的总决赛，爵士队在前三场以1比3落后，但在第4场比赛中，马龙拿下39分，安东尼-卡尔（Antoine Carr）下半场拿下12分，爵士以83比81结束了公牛队的主场8连胜。第6场比赛爵士队主场进行，斯托克顿在最后一分钟投中三分，爵士队以86比83领先，但乔丹最后时刻抢断得手，在终场前5.2秒投中致胜一球，爵士队再次铩羽而归。
两次冲顶未果，爵士元气大伤，此后球队开始走坡路，马龙和斯托克顿也渐显老态，球队的重组问题已经被摆到桌面。1998-1999赛季，马龙获得了第二个常规赛MVP，但爵士队在西部半决赛中就以2比4败给开拓者。第二个赛季他们以同样的比分被开拓者淘汰。2000-01赛季爵士队开始整顿，霍纳塞克退役，霍华德-埃斯利到了达拉斯，曼宁和约翰-斯塔克斯来投。2001-2002赛季，爵士队开始年轻化，基里连科等人成为球队的未来力量。当赛季爵士队以西部第八的身份进季后赛，在一轮就被国王队淘汰。
2002-2003赛季，马龙和斯托克顿还是当家球星，但是他们在爵士队的日子为数不多。这个赛季他们的目标只能是进入季后赛。