До 1906 года работал в архитектурном бюро «Уско-Нюстрём — Петрелиус — Пенттиля», а в 1906 году вернулся в Выборг, где вместе с архитектором
Класом Акселем Гюльденом
открыл частное архитектурное бюро «Гюльден-Ульберг» (Gyldén&Ullberg), просуществовавшее до 1909 года. После закрытия бюро начал самостоятельную практику. В 1927 году был сопредседателем специальной топонимической комиссии местного отделения Финского литературного общества (совместно с
О. Меурманом
). Изначально был одним из видных представителей
национального романтизма
, но в процессе работы его взгляды претерпели эволюцию, и после строительства нескольких зданий в
переходном неоклассическом стиле
архитектор стал приверженцем
функционализма
.
В 1926 году на съезде архитекторов
Фенноскандии
, прошедшем в Выборге, постройки Ульберга получили высокую оценку. С 1932 по 1936 годы занимал пост главного архитектора Выборга, после чего его сменил
Р. Юпюя
.
В 2019 году в ознаменование 90-летия здания
гостиницы «Выборг»
и 140-летия со дня рождения её архитектора — Уно Ульберга — на фасаде здания гостиницы установлены
памятные доски
на русском и финском языках
.
Контора и магазин «Фабрики прохладительных напитков и минеральных вод Фр. Шалиена», ул. Мира, 8. (1908 г.; совместно А. Гюльденом)
«
Кулмахалл
» — торговое здание с кинотеатром, завершившееся на обоих торцах высокими щипцами. Пересечение
пр. Ленина
и
Красной пл.
(1908 г.; совместно с А. Гюльденом, снесён в 1937 году)
В 1934 году перестроил гостиницу «
Seurahuone
» под городской зал, театр и театральный ресторан на 150 мест (входила в комплекс зданий Новой ратуши. После войны здание разобрано)