Основанная в 1954-м году в Калининграде команда с не очень звучным, но аппетитным названием "Пищевик" дала старт развитию футбола в самом западном регионе России. Уже в 1958-м году команда получила своё сегодняшнее название, что, впрочем, не повлияло на её результаты. Первые три года своего существования, ещё до переименования, команда выступала в первенстве РСФСР среди коллективов физической культуры, а затем вплоть до 1965-го года принимала участие в турнирах в классе "Б" (аналоге нынешнего второго дивизиона). В 1966-м году "Балтика" впервые добилась права сыграть в первом, однако особых успехов там не снискала. Периодически борясь за выживание, на пятый сезон пребывания во второй.