Им просто не хватало людей и производительных сил
...чтобы вести дальнейшую экспансию южнее Балтики (что польская война 1655-60гг отлично показала), а остановиться на достигнутом и удерживать захваченное ранее можно было только до первой серьезной коалиции против них (как в реале и произошло).
Даже славное и считающееся относительно успешным участие Швеции в тридцатилетке произвело в Швеции колоссальное опустошение, более густонаселенные центральноевропейские государства переносили подобные кровопускания несравненно легче.
Любая крупная продолжительная война с сильным противником (без которых "строительство империи" никак неизбежно) практически неизбежно вела к коллапсу шведов, причем выигрыш отдельных сражений и кампаний мало что решал, тогдашние армии отлично стачивались даже без боев, в силу естественных причин, даже при гарнизонной службе, а в походах и "активных" кампаниях вообще средний срок жизни солдата был 3-4 года. При редкой заселенности, очень слабой урбанизации и маленьком прибавочном продукте основной массы сельского населения любая большая война для них - это приговор.
Линдегрен подробно разбирал влияние войн 17 века на население Швеции (по русски и популярно это было разжевано у antoin), резюме неутешительное для шведов: 10 лет большой войны = депопуляция.