Město vzniklo díky změnám po napoleonských válkách, kdy v roce 1810 byla uzavřena dohoda mezi královstvími Bavorsko a Württembersko, která stanovila hranici mezi zeměmi (a tudíž i hranici města Ulm) uprostřed řeky Dunaj. V roce 1811 pak bylo na pravém břehu Dunaje založeno králem Maxem I. Josefem malá osada. Tato osada sestávala ze zahrad, statků, hospod, jedné pohraniční stráže, celnice a malé obce Offenhausen (dnešní městská část). Název Neu-Ulm se poprvé objevuje v roce 1814.

Dále se začalo město velmi rychle rozvíjet. A to zejména díky vybudování federálního opevnění Ulmu a připojením v roce 1853 na železnici, která směřovala do Augsburgu. Pod vedením krále Ludvíka II. byl Nový Ulm prohlášen městem a získal 2500 mužů. Během první světové války pak úspěšně město bojovalo proti poklesu obyvatel a pomalu se z něho začalo stávat centrum průmyslu. Do té doby nezávislé město bylo roku 1972 stanoveno městem okresním.