L'énoncé est abscons. À partir des solutions proposées, j'ai déduit que chaque tireur gagne le nombre de coups marqués par lui même x le nombre de coups ratés par lui-même !
Si 2N est le nombre de coups, le gain est de (2N-x)x où x représente indifféremment le nombre de coups marqués ou ratés.

Lors de la deuxième séance, le maximum est atteint pour x=N, on a donc :
Na^2=Nb^2+36
soit
Na^2-Nb^2=36
ou encore
(Na-Nb)(Na+Nb)=36
S=Na-Nb et D=Na+Nb sont donc des diviseurs de 36, avec S>=D. De plus, S et D ont la même parité.
On recense les couples de diviseurs de 36 :
36,1
18,2
12,3
9,4
6,6

Seuls18,2 et 6,6 conviennent et donnent respectivement (10,8) et (6,0)

Retour à la première partie :
(6,0) est éliminé à cause des relations entre les nombres de coups.
B a raté 10 fois et marqué 6 : 60
A a raté 16 fois et réussi 4 = 64
On retrouve bien notre écart de 4, mais cette partie de l'énoncé ne sert pratiquement pas (sauf pour éliminer la solution triviale 6,6) !
Faudrait-il interpréter l'énoncé autrement ? Difficile à envisager car dans le cas où l'on croise les coups (gains de A = réussis de A * ratés de B), dans la seconde partie, pour optimiser il faut ne rien rater, et cela ne marche pas.