Уроженец Баку, он вырос без отца в многодетной семье. Был седьмым и самым младшим ребенком. Отец умер, когда ему было 3 месяца. Его детство — трудное, голодное - пришлось на военную и послевоенную пору. Мама работала в детском саду, одна растила детей.
Интерес к актерскому делу появился у Анатолия еще в детстве. Он играл в спектаклях местного Дома культуры, занимался хореографией. Но в артисты после школы почему-то не пошел, поехал в Ашхабад поступать в университет. Там на физмате проучился полтора года, работал в Ашхабадском русском драматическом театре, который в ту пору был хорошо известен. Вкусив все прелести актерского дела, отправился в Москву поступать на актерский - и поступил в ГИТИС на курс прекрасного педагога и мхатовца Иосифа Раевского.
Анатолий Яббаров работал в разных театрах, а с 1996 года состоял в труппе Театра киноактера, ездил по стране, играл в спектаклях, сам ставил. В 1996 году ему присвоили звание «Заслуженный артист РФ».
Первая роль в кино - Володя в «Жили-были старик со старухой» - пришлась на 1964 год. Дебютировать у Григория Чухрая дорогого стоит. Его герой полемизировал с комсомольцами, которые, по его словам, страха божьего не ведали, ругались, выпивали. Его реплики разошлись на цитаты, как это было и после роли Митяя в комедии «Джентльмены удачи» Александра Серого.
Его любили Александр Алов и Владимир Наумов. При первой возможности приглашали в свои картины, знали, что маленькую роль может сыграть виртуозно. Они знали толк в актерах. Яббаров снялся у Алова и Наумова в фильмах «Скверный анекдот» по Достоевскому, «Беге» по Булгакову, где сыграл роль солдата с гробами, в «Легенде о Тиле». Потом уже, когда Алова не стало, снимался у Наумова в «Джоконде на асфальте».
У Льва Кулиджанова Анатолий Яббаров сыграл в «Преступлении и наказании» гостя на поминках. Он работал с Евгением Кареловым в «Двух капитанах», Владимиром Басовым в «Возвращении к жизни», снимался в последнем фильме Юлия Карасика «Без солнца» по пьесе Горького «На дне», в «Совсем пропащем» Георгия Данелии по роману Марка Твена. Яббарову везло - почти всегда это были фильмы по значимым литературным произведениям, а режиссеры были первой величины.
Свою последнюю роль — писателя Константина Федина — он сыграл в биографическом сериале «Фурцева. Легенда о Екатерине» Сергея Попова. Фильм вышел в 2011 году. А дальше была тишина.