Если картинка формата JPG и у вас открылся задний слой, дублируйте его (Ctrl+J) и удалите оригинальный слой, оставив дубликат.
Берем инструмент Прямоугольник со скругленными углами, выставляем радиус 15 пикс. (для аватаров) или 20-25 (для картинок побольше). Поставьте настройки как на примере. Теперь "выделяем" полностью всю картинку Выбираем инструмент "Перо". Нажимаем правой кнопкой мыши на картинку, выбираем пункт "Образовать выделенную область" Идем в Выделение - Инверсия и нажимаем Delete. Важно!!! Сохраняйте картинку в формате PNG