Родился 23 декабря 1923 года в Луганске в семье рабочего. Окончил 6 классов, ремесленное училище. Работал токарем на заводе. На фронте с января 1942 года. Воевал под Сталинградом, освобождал Беларусь, особо отличился в боях на территории Прибалтики и Восточной Пруссии.
18 августа 1944 года у населенного пункта Куршенай (20 км западнее города Шяуляй, Литва) командир орудия сержант Иванов, отражая контратаку противника, вел огонь прямой наводкой, поджег три бронетранспортера, сразил более 10 гитлеровцев. Приказом от 26 сентября 1944 года награжден орденом Славы 3-й степени.
12 октября 1944 года в районе населенного пункта Прэтуман (побережье Куршского залива, Литва) при отражении атак противника вместе с подчиненными поддерживал огнем стрелковые подразделения, вывел из строя свыше 20 вражеских солдат, подавил 4 огневые точки противника. Приказом от 26 октября 1945 года сержант Иванов награжден орденом Славы 3-й степени.
С января 1945 года участвовал в боях в Восточной Пруссии. 29 января в бою у населенного пункта Корбен (ныне поселок Пригоркино Багратионовского района Калининградской области) прямой наводкой поразил до 15 гитлеровцев и 3 пулемета, чем способствовал выполнению боевой задачи. Приказом от 18 февраля 1945 года сержант Иванов Анатолий Васильевич награжден орденом Славы 2-й степени.
Последним боем для отважного артиллериста был штурм Кенигсберга. Его орудие следовало в боевых порядках стрелковой роты, буквально выкуривая врага из всевозможных укрытий. Только в первый день боев за город расчет орудия уничтожил не менее десяти пулеметов противника. В последний день боев сержант Иванов получил тяжелое ранение. День Победы встретил в госпитале. За бои в восточной Пруссии был награжден орденом Красного Знамени.
После войны продолжил службу в армии. Будучи награжденным тремя орденами Славы, он, тем не менее, не являлся полным кавалером. В 1947 году старший сержант Иванов был демобилизован.
Указом Президиума Верховного Совета СССР от 4 мая 1976 года в порядке перенаграждения Иванов Анатолий Васильевич награжден орденом Славы 1-й степени. Стал полным кавалером ордена Славы.
Вернулся в родной город. Работал на станкостроительном заводе. Скончался 2 мая 1994 года.