Historie města Ulmu sahá daleko. První písemné zmínky jsou okolo roku 850, avšak nejstarší doložitelné osídlení pochází z období 500 let př. n. l.
Díky císaři Fridrichu Barbarossovi se Ulm stal svobodným říšským městem. Později pak městem řemeslníků a obchodníků. V roce 1397 byla podepsána dohoda, která platila za jakousi ústavu města, a mimo jiné v ní byl položen základ pro další výstavbu městského dómu (tato stavba započala roku 1377).
V 15. a 16. století město sice vzkvétalo a těžilo z vývozu velmi kvalitního textilu, ale později po třicetileté válce a válce o španělské dědictví, začalo město upadat. Okolo roku 1700 bylo pak napadeno Bavory a Francouzi. Během válek po Velké francouzské revoluci bylo poničeno opevnění města, a v roce 1803 ztratilo statut svobodného říšského města a stalo se součástí Bavorska.
Později však (po Napoleonově tažení a bitvě u Ulmu), v roce 1810 bylo město navráceno království württemberskému. Ale přišel o území na pravé straně Dunaje (pozdější Neu-Ulm).
V 19. století obdrželo město nejdříve status spolkové pevnosti, později se pak stalo významným centrem industrializace jižního Německa. V tomto století byla také dokončena stavba dómu.
V roce 1944 byl Ulm bombardován, kdy bylo zničeno téměř 80% historického města. Po druhé světové válce se pak Ulm začal znovu rozvíjet, a byly obnoveny některé pamětihodnosti. V roce 1967 vzniká universita, která podpořila rozvoj vědy v oblasti, kdy zde byly otevřeny výzkumná střediska velkých firem.