Вот у нас есть очки опыта. Надо сделать так что бы, чем больше опыта, тем сложнее враг.

Что бы параллельно было, чем больше опыта, тем сложее сами враги и опыт сложнее набить. Уровней нет.

Пример:
у нас есть 0 очков опыта, у врага 20 едениц здоровья.
При 5 очках, у него 21 здоровья.
При 10, у него 25.

Надо определённую прогрессию установить, но как? Что бы к примеру при 100 опыта, у врага не было 1000 здоровья. Можно предел установить, но тогда при 1000 опыта, у врага 100 здоровья. Это не совсем хорошо.

Надеюсь вопрос понятный. Зарание спасибо.

Игровой баланс — штука сложная. И просто так выдать интересную боёвку — это также сложно. Читай статьи (например, цикл статей по игровому балансу), анализируй другие игры, делай прототипы, изучи математику (статистику, исследование операций и теорию игр), занимайся имитационным моделированием.

Открываешь учебник алгебры, ищешь такую функцию, которая всё время возрастает, но всё медленнее и медленнее, чем ближе аргумент (опыт перса) приближается к бесконечности. После поисков приходишь к выводу, что логарифм с основанием, бОльшим, чем единица - это то, что доктор прописал.