Как немного выровнять стены после шпаклевки?

Отбойным молотком!

Отшкурить их, если уже были зашпатлеваны.

Их нужно выравнивать или штукатуркой до шпаклевки или самой шпаклевкой.

Если там просто наплывы шпатлевки то вибошлифмашинка с сеткой спасет отца русской демократии.

В принципе, ВасяПетров, Вам уже всё подсказали Кэп, GrizLee и Пакость.
Просто несколько дополнений к их ответам.
Виброшлифмашинку я бы не стала использовать в квартире - пылищи от неё! И при отсутствии навыков работы с ней Вы рискуете содрать весь слой шпаклевки.
Сетку алмазную никогда не пробовала (мой профессионализм хорошо-летней давности, тогда такой не пользовались).
А вот шлифование поверхностей наждачкой - это добротная старинная :) технология, дающая хороший результат, сразу будет видно, в каких местах нужно нажимать сильнее. Только нужно определиться с размером наждачки. Что Вы будете делать поверх шпаклевки? Обои - тогда да, можно № 40, а лучше на пробу и № 30, посмотреть, какая больше подойдет (Вы не написали, какой шпаклевкой шпаклевали, допустим, для известковой шпаклевки типа Алинекс глатт и № 20 достаточно). Если поверх шпаклевки будет покраска (все равно чем), то я бы взяла № 10 для более грубых мест и № 0 (предупреждаю, нулевка - тот еще геморрой, как писал GrizLee, забивается быстро, но зато результат прекрасный.
Вот если для покраски, я бы попробовала алмазную сетку, очень интересен результат. Завтра куплю, попробую на своих стенках, все равно надо пройти некоторые места, обои еще не поклеила.