Название таким стало в конце XVII века по имени придела Иоакима и Анны Благовещенской церкви, впервые построенной в 1493 и снесенной в 1933. Храм располагался на месте пересечения улицы Малая Якиманка и современного Якиманского проезда.
    В XIV—XV веках по нынешней Якиманке проходила большая дорога на Калугу. Улица начиналась от «озерца» (старицы реки Москвы) на месте нынешнего Водоотводного канала у Якиманской набережной. В начале улицы обосновалась слобода (подворье) коломенского Голутвинского монастыря, давшая своё имя Голутвинским переулкам. Восточнее, в Кадашёвской слободе, жили дворцовые бондари (кадаши, от кадь). Землю к югу от этих слобод — всполье — начали заселяться слободами стрельцов в XVI—XVII веках, а в современных Спасоналивковских переулках жили иностранные наёмники Ивана Грозного, участвовавшие в войнах. Поляки, осевшие в Москве после Смутного времени, жили в Панской слободе (Бабьегородские переулки).
    Низменность к западу от Якиманки почти ежегодно затоплялась, поэтому строительство ограничивалось кварталами между Якиманкой и Мароновским переулком, а западнее Мароновского переулка были лишь огороды. По легенде, постройка нынешнего храма Ивана Воина была оплачена Петром I после очередного наводнения, разрушившего деревянный храм.
    Редко застроенная Якиманка была практически не тронута пожаром 1812 года. Кроме церкви Ивана Воина, на Якиманке по сей день сохранились храмы преподобного Марона и Николы в Голутвине. Сохранился дом Игумнова — уникальный памятник русского стиля 1890-х гг., и единственный деревянный дом старой Голутвинской слободы (№ 8). Однако практически вся западная сторона Якиманки снесена в 1970-е годы и застроена типичными зданиями тех лет; на восточной стороне уничтожен центральный участок в районе Якиманского проезда и застройка к югу от дома Игумнова. Разрушение и многоэтажное строительство продолжается в наши дни, но оно сместилось к реке, в Мароновский переулок.