Родился в городе Воронеж в семье военного чиновника. Еврей. Образование получил в классической гимназии. После окончания курсов по строительно-дорожному делу для рабочих в Воронеже, был назначен десятником-практикантом в Комитет государственных сооружений.

В Красной Армии с февраля 1921 года. Добровольцем вступил в 22-ю Воронежскую пехотную школу, которую окончил в 1923 году. Курсантом участвовал в подавлении крестьянских восстаний. С января 1923 года – командир отделения, командир стрелкового взвода, помощник командира роты в 144-м стрелковом полку. С января 1924 года - начальник караульной команды по охране Павловского Центрального артиллерийского склада. С ноября 1925 года - командир взвода в павлово-Посадской отдельной местной стрелковой роте, с 1927 года - в 18-й отдельной местной стрелковой роте. Член ВКП(б) с 1925 года. 

С января 1928 по 1937 год служил в 3-м стрелковом полку Московской Пролетарской стрелковой дивизии: командир стрелкового взвода, роты, стрелкового батальона, учебного батальона, начальник полковой школы. В 1931 году окончил Стрелково-тактические курсы усовершенствования командного состава РККА «Выстрел» имени Коминтерна. С июля 1937 года - помощник командира 1-го стрелкового полка этой же дивизии. С апреля 1938 года - временно исполняющий должность командира 356-го стрелкового полка 1-й Московской стрелковой дивизии.

В январе-августе 1939 года – помощник командира 84-й Тульской стрелковой дивизии Московского военного округа. С августа 1939 по март 1941 года – командир 172-й стрелковой дивизии Белорусского военного округа, затем на учёбе. В 1941 году окончил Курсы усовершенствования высшего начальствующего состава при Военной академии имени М.В.Фрунзе.

Участник Великой Отечественной войны с июня 1941 года. В марте-августе 1941 года – командир 1-й Московской мотострелковой дивизии (1-я танковая) 20-й армии на Западном фронте.

Полковник Я.Г.Крейзер в начале июля 1941 года в районе города Борисова Минской области (Белоруссия) хорошо организовал боевые действия дивизии, которая, нанеся контрудар противнику, задержала его наступление на двое суток на рубеже реки Березина. В боях под городом Орша Я.Г.Крейзер обеспечил ведение успешных боевых действий на главном направлении армии. Своим личным участием в бою и бесстрашием вдохновлял воинов.

Указом Президиума Верховного Совета СССР от 22 июля 1941 года за успешное руководство воинскими соединениями и проявленные при этом личное мужество и героизм, полковнику Крейзеру Якову Григорьевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда». Он стал первым Героем Советского Союза в стрелковых войсках во время Великой Отечественной войны. 

В июле 1941 года Крейзер вывел свою дивизию из окружения и принял участие в Смоленском оборонительном сражении, был ранен. В августе-декабре 1941 года – командующий 3-й армии Брянского, затем Юго-Западного фронтов, во главе которой участвовал в Смоленском сражении и в Московской оборонительной операции, а также в начале контрнаступления советских войск под Москвой. В декабре 1941 отозван на учёбу, а в феврале 1942 года уже окончил ускоренный курс Высшей военной академии имени К.Е. Ворошилова (Военная академия Генерального штаба).

С февраля 1942 года – заместитель командующего 57-й армией Южного фронта, в мае 1942 года с армией попал в Харьковский котёл и после гибели командарма сумел вывести из окружения часть бойцов армии. С сентября 1942 - командующий 1-й резервной армией, которая в октябре была переименована в 2-ю гвардейскую армию. До ноября генерал Крейзер командовал этой армией, а когда перед отправкой на фронт армию принял новый командующий Р.Я. Малиновский, Крейзер был оставлен его заместителем. Вскоре был второй раз ранен в боях южнее Сталинграда.

После излечения в феврале-июле 1943 года – вновь командующий 2-й гвардейской армией Южного фронта, участвовал в Ростовской наступательной операции. С 1 августа 1943 по май 1945 года – командующий 51-й армией. Войска армии отличились при освобождении Донбасса, Крыма, Прибалтики.

Воевал на Западном, Брянском, Юго-Западном, Сталинградском, Южном, 4-м Украинском, Ленинградском, 1-м и 2-м Прибалтийских фронтах. Участник Орловско-Брянской, Тульской оборонительных, Елецкой, Сталинградской, Ростовской, Мелитопольской, Никопольско-Криворожской, Крымской, Полоцкой, Рижской, Мемельской, Курляндской наступательных операций. Участвовал в боях за освобождение Донбасса, при прорыве противника на Перекопском перешейке, за овладение городов Новочеркаск, Мелитополь, Симферополь, Севастополь, Шяуляй, Елгава.

После войны продолжил службу в Советской Армии. С июля 1945 года – командующий 45-й армией Закавказского и Тбилисского военных округов. С апреля 1946 года - командующий 7-й гвардейской армией. С апреля 1948 года - на учёбе. 

С апреле 1949 года окончил Высшие академические курсы при Высшей военной академии имени К.Е. Ворошилова. С апреля 1949 года - командующий 38-й армией Прикарпатского военного округа.

В 1953 году, во время «дела врачей», будучи вызванным в ЦК, Я. Г. Крейзер наотрез отказался подписать так называемое «Письмо представителей еврейской общественности», требующее смертной казни для арестованных врачей-евреев.

С мая 1955 года – командующий войсками Южно-Уральского военного округа. С февраля 1958 – командующий войсками Забайкальского военного округа. С июня 1960 года – командующий войсками Уральского военного округа. С июля 1961 года – командующий войсками Дальневосточного военного округа. Внёс значительный вклад в реорганизацию мотострелковых войск, их оснащение средствами доставки оружия массового поражения.

С ноября 1963 по май 1969 года – начальник Центральных офицерских курсов «Выстрел». С мая 1969 года – военный инспектор-советник Группы генеральных инспекторов Министерства обороны СССР.

Член Центральной Ревизионной Комиссии ЦК КПСС в 1961-1966 годах. Депутат Верховного Совета СССР в 1962-1966 годах, Верховного Совета РСФСР 5-го созыва, Верховного Совета УССР 4-го созыва. Член Еврейского антифашистского комитета.

Жил в городе-герое Москве. Умер 29 ноября 1969 года. Похоронен на Новодевичьем кладбище в Москве (участок 7).

Именем Героя названы улицы в Воронеже, Севастополе, Симферополе.