Po przeczytaniu twojego opisu i przyjrzeniu się sprzętowi przychodzą mi do głowy trzy rzeczy, które mogą mieć takie właśnie objawy.
1) Sprzęt jest całkiem mocny i ma spore zapotrzebowanie na prąd, zwłaszcza karta graficzna, a zasilacz mimo deklarowanych 500W może nie dostarczać wystarczającej ilości energii do karty graficznej lub też ma mało stabilne napięcie 12V które jest doprowadzane do karty, stąd takie efekty.
Poszukaj na necie opinii o tym zasilaczu, jak sobie radzi przy dużych obciążeniach i czy ma stabilne napięcia na wyjściu. Najlepiej by było jak byś mógł podłączyć pod kompa jakiś inny mocny markowy zasilacz i przetestować działanie sprzętu przy dużym obciążeniu.
2) Możliwe także, że karta ma za słabe chłodzenie, lub jest za mocno podkręcona. Sam jak za mocno podkręciłem grafikę, to przy dużym obciążeniu wyświetlały mi się na ekranie różne "artefakty".
To można sprawdzić w łatwy sposób. Jeśli podkręcałeś grafikę lub procesor, lub cokolwiek innego zmień ustawienia na referencyjne i wtedy przetestuj komputer przy dużym obciążeniu.
Jeżeli nie podkręcałeś żadnych podzespołów, to spróbój takiej łopatologicznej metody. Ścignij obudowę boczną od komputera, weź zwykły wiatrak klimatyzacyjny i ustaw jego strumień powietrza na podzespoły, wtedy też wykonaj testy.
3) Zasilacz przy maksymalnym obciążeniu zbyt mocno się grzeje. Sprawdź to metodą ze zwykłym wiatrakiem n PSU.
Podczas wykonywania testów monitorój temperaturę . i sprawdzaj czy nie jest za wysoka