Si tu veux un exemple, prend le trie de n entiers en creant une liste chainee ordonnee : pour chaque element, tu parcous la liste jusqu'a trouver un entier plus grand, et tu places le nouvel element juste avant. Dans le pire des cas, il te faut n*(n-1)/2 operations (si les elements sont deja tries, en fait).
Existe-t-il a > 0 tel qu'a partir d'un certain rang, n*(n-1)/2 <= a*n^2 ? Oui, pour a = 1 par exemple (en fait pour tout a > 1/2). Donc la complexite dans le pire des cas est en O(n^2). Une autre facon equivalente de le monter et de montrer que la limite de (n*(n-1)/2) / (n^2) est finie (c'est le cas puisque c'est 1/2).
Existe-t-il b > 0 tel qu'a partir d'un certain rang, n*(n-1)/2 >= b*n^2 ? Oui, pour a = 1/4 par exemple, c'est vrai a partir du rang 2 (et de meme pour tout a < 1/2 on peut trouver un rang a partir duquel l'inegalite est verifiee). Donc la complexite dans le pire des cas est en Theta(n^2).
Note que pour cet exemple, on pourrait aussi dire que la complexite dans le pire des cas est en O(n^3), en O(n^4), en O(2^n) ou en O de tout ce qui grandit plus vite que n^2. Par contre elle n'est PAS en Theta(n^3) car n^3 / (n*(n-1)/2) tend vers l'infini.