C'est d'un petit village borusse, Kulligkehmen - dérivant du vieux-prussien Kullike = clos, fermé et Kaimas = village, mentionné en 1539 et habité de pêcheurs que naîtra le noyau originel de la ville actuelle. Le lieu nous est aussi signalé en 1558 dans une charte et c'est sous le toponyme Pisserkaim = Village sur la Pissa - du vieux prussien Pisa, pisse = marais voyant végétation de bouleaux et Kaimas = village, que nous lirons ce topobyme. Colonisé par les allemands, les lieux verront leur nom changer pour devenir Gumbinnen dont la première mention écrite se retrouve en 1580. Ce toponyme semble dériver du mot vieux-prussien Gumbine = bâton noué, branches noueuses.
L'ancienne ville de Gumbinnen fut rebaptisée Гусев - Goussiev par décret du Présidium du Soviet Suprême de la RSFSR le 7 septembre 1946. La ville fut renommée en Mémoire et Honneur de Sergueï Ivanovitch Goussev, Héros de l'Union Soviétique, capitaine, commandant-adjoint du 664° Régiment de Fusiliers Motorisés, blessé d'une rafale de mitrailleuse le 18 janvier 1945 dans l'actuel Podgorovka, district de Gusevsky et décédé à l'hôpital 3 jours plus tard.
