Будущий маршал родился 8 ноября 1924 года в Омской губернии, в крестьянской семье. Отец умер, когда Дмитрию было 9 лет. Рос в большой семье.
Когда началась великая Отечественная война, 17-летний Дмитрий, приписав себе год, пошел в армию добровольцем. Окончил по ускоренной программе эвакуированное из Москвы в Новосибирск военное училище имени Верховного Совета РСФСР. В июне 1942 года получил назначение командиром взвода на Волховский фронт.
28 августа 1942 года во время наступления на Карельском перешейке был ранен и получил сильную контузию. Через два месяца вернулся в строй. В марте 1943 года был отправлен учиться на курсы усовершенствования командного состава. Затем участвовал в наступательных операциях в Прибалтике и в блокаде окруженной Курляндской группировки. Награжден орденом Красной Звезды.
После войны окончил Военную академию имени Фрунзе с золотой медалью. Во главе 400-го мотострелкового полка в сентябре 1962 года был направлен на Кубу. В 1963-м вернулся на родину. В 1967 году - окончил Военную академию Генерального штаба.
Служил на разных командных должностях в Азербайджанской ССР, Дальневосточном военном округе, Центральной группе войск (Чехословакия), Среднеазиатском и Дальневосточном военных округах.
После кадровой чистки в Вооруженных силах в связи с посадкой самолета Руста на Красной площади назначен Министром обороны СССР. 28 апреля 1990 года Дмитрий Тимофеевич стал последним в истории человеком, которому было присвоено наивысшее в СССР воинское звание Маршала Советского Союза.
В августе 1991 года Язов вошел в состав ГКЧП. После неудачной попытки путча был арестован и помещен в «Матросскую тишину», но через полтора года освобожден, а затем полностью реабилитирован.
До конца жизни пользовался уважением политического руководства России.