Soient a et b les cotés du rectangle (a < b) et x et y les cotés du petit sous-rectangle (x est sur a et x > y)
Le périmètre du petit rectangle est P1 = 2x+2y = 2(x+y)
Le périmètre du grand rectangle est P2 = 2(a-x)+2(b-y) =2(a+b)-2(x+y)
Cela montre au passage qu'il y a conservation du périmètre dans un tel découpage entre le rectangle initial et deux sous-rectangles disposés sur la diagonale (cela se voit bien sur une figure).
Les deux autres :
P3 = 2y+2(a-x) pour le plus petit.
P4 = 2x+2(b-y) pour le plus grand.

On donne P2 = 4P1 :

8(x+y) = 2(a+b)-2(x+y)
5(x+y)=(a+b) (1)

On donne 3P3 = 2P4
6y+6a-6x=4x+4b-4y
5(x-y)=3a-2b (2)

2*(1)+(2) nous donne a
10x+10y+5x-5y = 5a
a = 1/5*(15x+5y) = 3x+y

3*(1)-(2) nous donne b
15x+15y-5x+5y=5b
b = 1/5*(10x+20y) = 2x+4y
Et la surface cherchée est
S = 2(x+2y)(3x+y)

Deuxième découpage : x devient 2x et y devient 2y
les surfaces deviennent :
S1 = 4xy
S2 = (x+y)*(2x+2y) = 2(x+y)² = 2x²+4xy+2y²
S3 = 2x(2x+2y)=4x(x+y) = 4x²+4xy
S4 = 2y(x+y) = 2y²+2xy

Comment les classer ?
x et y >0 : il vient immédiatement :
S2>S1
S2>S4
S3>S1

x > y donc :
S3>S2
S3>S4
S1>S4

S3 est donc la plus grande
S2 est la deuxième et S4 la plus petite
S3 = 4S4
4x²+4xy = 4 (2y²+2xy)
4x² -4xy - 8y²= 0
x=-y est racine évidente
4(x+y)(x-2y)=0
x=2y

S2-S1 = 5
2x²+2y² = 5
8y²+2y²=5
2y² = 1
y=racine(2)/2
donc :
x=racine(2)

et S = 2(2racine(2)(7racine(2)/2) = 28

Nota :
en extrayant de (1) et (2) x et y au lieu de a et b, on peut ensuite extraire directement S=ab sans expliciter a et b mais on se traîne des fractions dans les calculs des Si.

Ci dessous illustration des découpages à l'échelle racine(2).

(correspond donc à l'énoncé S2-S1=10), qui donne x=1 et y=2 et S=56, ce qui est plus sympathique).