게임 셰이더 입문은 화면을 바꾸는 코드부터 시작해야 한다

• 목록
• 답변
• 글쓰기
• 옵션
  • 수정
  • 삭제

캐릭터가 플라스틱처럼 번들거리거나 물 표면이 평평한 색으로만 보인다면 모델링보다 셰이더를 먼저 살펴봐야 합니다. 셰이더는 어렵고 복잡한 그래픽 기술처럼 들리지만, 초보자에게 필요한 출발점은 의외로 단순합니다. 화면의 각 픽셀에 어떤 색을 표시할지 코드로 결정한다는 개념부터 잡으면 됩니다.

처음부터 사실적인 바다나 피부 표현을 만들 필요는 없습니다. 색상 하나를 바꾸고, 시간에 따라 흔들리게 만들고, 빛의 방향에 따라 밝기를 조절하는 작은 실험이 게임 그래픽 프로그래밍의 기초가 됩니다.

셰이더는 GPU가 실행하는 짧은 화면 계산식이다

버텍스와 프래그먼트의 역할부터 구분합니다

게임 셰이더는 그래픽 처리 장치인 GPU에서 실행되는 작은 프로그램입니다. 일반적인 게임 로직이 캐릭터의 체력이나 이동 상태를 계산한다면, 셰이더는 물체의 꼭짓점을 어디에 그릴지와 화면에 어떤 색을 칠할지를 계산합니다. 수천 개의 꼭짓점과 수백만 개의 픽셀을 동시에 처리하기 때문에 병렬 계산에 알맞은 구조를 가집니다.

버텍스 셰이더는 3D 모델을 구성하는 꼭짓점의 위치를 변환합니다. 모델 좌표를 월드 좌표와 카메라 좌표를 거쳐 화면 좌표로 옮기는 과정이 대표적입니다. 반면 프래그먼트 셰이더 또는 픽셀 셰이더는 화면을 구성할 후보 픽셀의 색상과 투명도 등을 계산합니다. 엔진과 그래픽 API에 따라 명칭은 조금 달라도 두 단계의 기본 역할은 같습니다.

초보자는 전체 렌더링 파이프라인을 외우기보다 입력과 출력에 집중하는 편이 좋습니다. 엔진이 위치, 법선, UV, 시간 같은 값을 셰이더에 전달하면 셰이더가 새로운 위치나 색상을 반환한다고 이해해 보세요. 개발자가 기술을 공유하는 대표적인 행사인 GDC의 개념과 역할을 알아두면 그래픽 세션이나 발표 자료를 찾아볼 때도 도움이 됩니다.

• Position: 꼭짓점이 공간의 어느 지점에 있는지 나타냅니다.
• Normal: 표면이 향하는 방향이며 조명 밝기를 구할 때 사용합니다.
• UV: 2D 텍스처의 어느 위치를 읽을지 지정하는 좌표입니다.
• Color: 최종 픽셀의 빨강, 초록, 파랑과 투명도 값을 표현합니다.
• Time: 색 변화, 파도, 맥동처럼 움직이는 효과를 만드는 입력값입니다.

처음 셰이더를 읽을 때는 문법보다 ‘무엇을 입력받아 무엇을 반환하는가’를 표시하세요. 이 두 지점이 보이면 중간 계산식도 훨씬 빠르게 해석됩니다.

첫 실습은 단색에서 방향광까지 세 단계면 충분하다

결과가 즉시 보이는 순서로 기능을 추가합니다

새 프로젝트에 구체 하나를 배치하고 머티리얼을 연결한 뒤, 프래그먼트 출력값을 빨간색으로 고정해 보세요. 화면이 빨갛게 바뀌면 셰이더 파일, 머티리얼, 렌더러가 올바르게 연결된 것입니다. 이 확인을 건너뛰고 조명 계산부터 작성하면 코드 오류인지 설정 오류인지 구별하기 어려워집니다.

두 번째 단계에서는 고정 색상을 외부 속성으로 바꿉니다. Unity라면 머티리얼 프로퍼티, Unreal Engine이라면 머티리얼 파라미터에 해당합니다. 아티스트나 게임 기획자가 코드를 수정하지 않고 색상과 강도를 조절할 수 있어야 실제 프로젝트에서도 쓸 수 있습니다. 개발자는 계산 구조를 만들고 다른 직군은 값을 조정하는 식으로 책임이 나뉩니다. 직군 간 역할을 이해하려면 게임 기획자의 업무 설명도 함께 참고할 만합니다.

세 번째 단계에서는 표면의 법선 벡터와 빛의 방향 벡터를 내적합니다. 두 방향이 비슷할수록 1에 가까워지고 직각이면 0에 가까워지므로, 그 값을 색상에 곱하면 빛을 향한 면은 밝고 반대쪽은 어두워집니다. 결과가 음수가 되지 않도록 0과 1 사이로 제한하면 가장 단순한 방향광 표현이 완성됩니다.

1. 프래그먼트 출력값을 고정 색상으로 설정해 연결 상태를 확인합니다.
2. 고정 색상을 머티리얼에서 수정할 수 있는 속성으로 분리합니다.
3. 시간값을 이용해 색상 밝기가 천천히 변하도록 만듭니다.
4. 법선과 빛 방향의 내적값을 색상에 곱합니다.
5. 광원 반대편이 완전한 검정이 되지 않도록 약한 환경광을 더합니다.

좌표 공간을 섞으면 빛이 카메라를 따라옵니다

입문자가 가장 자주 만나는 문제는 수학 공식보다 좌표 공간의 불일치입니다. 월드 공간의 법선과 뷰 공간의 빛 방향을 그대로 내적하면 물체나 카메라가 회전할 때 명암이 이상하게 움직입니다. 두 벡터를 같은 좌표 공간으로 변환한 뒤 계산해야 합니다. 벡터 길이도 1이 되도록 정규화하면 예상하기 쉬운 결과를 얻을 수 있습니다.

• 카메라를 돌렸을 때 조명이 함께 움직이는지 확인합니다.
• 오브젝트 크기를 비균일하게 조절했을 때 법선이 깨지는지 살펴봅니다.
• 벡터를 RGB 색상으로 출력해 방향 데이터 자체를 눈으로 검사합니다.
• 한 번에 공식을 여러 개 넣지 말고 계산 결과를 단계별로 출력합니다.

예쁜 효과보다 디버깅 가능한 구조를 먼저 만든다

값을 색으로 출력하면 오류 위치가 보입니다

CPU 코드는 로그와 중단점을 이용할 수 있지만 GPU 셰이더는 같은 방식으로 관찰하기 어렵습니다. 그래서 중간값을 임시 색상으로 출력하는 습관이 중요합니다. UV 좌표를 빨강과 초록 채널에 넣으면 표면에서 좌표가 어떻게 펼쳐지는지 보이고, 법선을 0부터 1 범위의 색상으로 바꾸어 출력하면 모델 데이터가 정상인지 확인할 수 있습니다.

화면이 검게 나왔다고 무조건 계산이 틀린 것은 아닙니다. 셰이더 컴파일 오류, 누락된 텍스처, 잘못된 렌더 패스, 투명도 설정, 컬링 방향 등 여러 원인이 같은 결과를 만들 수 있습니다. 먼저 단색 출력으로 되돌리고 기능을 하나씩 다시 켜면 문제 범위를 빠르게 줄일 수 있습니다. 여러분의 효과가 열 줄을 추가한 직후 사라졌다면 열 줄 전체를 고민하기보다 절반씩 비활성화해 원인 구간을 찾는 편이 효율적입니다.

성능도 같은 원리로 접근합니다. 초보 단계에서는 명령어 하나의 비용을 외우기보다 동일한 픽셀 계산이 화면 전체에서 반복된다는 사실을 기억하세요. 화면을 가득 덮는 반투명 파티클이나 여러 번 겹치는 후처리는 간단한 공식도 큰 비용을 만들 수 있습니다. 반대로 작은 오브젝트에 약간 복잡한 계산을 넣는 것은 실제 프레임 시간에 거의 영향을 주지 않을 수도 있습니다.

• 회색 화면: 텍스처를 빼고 상수 색상만 출력해 연결 문제를 분리합니다.
• UV 검사: UV의 x와 y 값을 각각 빨강과 초록으로 표시합니다.
• 법선 검사: -1~1 범위를 0~1로 변환해 RGB로 출력합니다.
• 단계 비활성화: 그림자, 반사, 노이즈를 하나씩 끄며 원인을 좁힙니다.
• GPU 측정: 엔진 프로파일러에서 해당 패스의 실행 시간과 호출 횟수를 확인합니다.

재사용할 값과 픽셀마다 계산할 값을 나눕니다

모든 값을 프래그먼트 단계에서 계산할 필요는 없습니다. 오브젝트 전체에서 동일한 값은 CPU나 버텍스 단계에서 준비하고, 픽셀마다 정말 달라지는 값만 프래그먼트 단계에 남길 수 있습니다. 다만 버텍스 결과를 픽셀 사이에서 보간하면 정밀도가 달라질 수 있으므로, 화면 품질을 확인하며 이동해야 합니다.

최적화는 코드 모양이 아니라 측정값에서 시작합니다. 효과를 단순하게 바꾼 전후의 GPU 시간을 같은 장면과 해상도에서 비교해야 개선 여부를 판단할 수 있습니다.

첫 셰이더 학습은 7일과 무료 도구만으로 설계할 수 있다

엔진 하나와 작은 결과물 하나에 집중합니다

“수학을 얼마나 알아야 시작할 수 있나요?”라는 질문이 많습니다. 첫 실습에는 사칙연산, 0과 1 사이의 값, 벡터의 방향, 내적의 의미 정도면 충분합니다. 행렬을 직접 유도하지 못해도 엔진이 제공하는 변환 함수를 사용하면서 입력과 출력의 좌표 공간을 구분할 수 있으면 시작할 수 있습니다. 필요한 수학은 효과를 만들다가 막힐 때 하나씩 보충하는 편이 오래 기억됩니다.

“Unity와 Unreal Engine 중 무엇이 더 쉬운가요?”라는 질문에는 이미 사용 중인 엔진이 가장 낫다고 답할 수 있습니다. Unity의 Shader Graph나 Unreal Engine의 Material Editor는 노드 연결로 결과를 확인하기 편하고, 텍스트 기반 HLSL은 계산 흐름을 정확히 이해하기 좋습니다. 첫 주에는 엔진을 바꾸지 말고 한 도구에서 단색, UV, 방향광까지 완성하세요. 노드와 코드 중 하나가 정답인 것이 아니라 중간값을 확인할 수 있는 작업 방식이 중요합니다.

현실적인 학습 비용은 상용 에셋을 사지 않는다면 0원으로 시작할 수 있습니다. 엔진 기본 도형과 무료 편집기만으로 충분하며, 보급형 GPU에서도 작은 테스트 장면은 실행할 수 있습니다. 하루 45분씩 7일이면 총 5시간 15분입니다. 그중 환경 설정에 45분, 단색과 프로퍼티에 60분, UV와 텍스처에 60분, 법선과 방향광에 90분, 오류 수정과 기록에 60분을 배정해 보세요.

1. 1일 차·45분: 프로젝트, 구체, 카메라, 머티리얼을 준비합니다.
2. 2일 차·60분: 고정 색상과 외부 색상 속성을 구현합니다.
3. 3~4일 차·60분: UV를 시각화하고 텍스처 한 장을 연결합니다.
4. 5~6일 차·90분: 법선과 빛 방향으로 명암을 계산합니다.
5. 7일 차·60분: 오류 사례와 해결 과정을 포트폴리오 문서로 남깁니다.

포트폴리오는 화려함보다 과정이 보여야 합니다

첫 결과물은 거대한 데모가 아니라 회전하는 구체 하나여도 괜찮습니다. 기본 색상, UV 표시, 법선 표시, 방향광 결과를 키 입력으로 전환하고 각 모드가 무엇을 검증하는지 설명해 보세요. 완성 화면 한 장만 올리는 것보다 문제 상황과 수정 전후 GPU 시간을 함께 기록하면 개발자로서의 사고 과정이 드러납니다.

질문이 생길 때마다 엔진을 바꾸거나 유료 강의를 추가하면 비용과 설정 시간이 빠르게 늘어납니다. 첫 주 예산은 0~3만원, 학습 시간은 5~7시간, 결과물 범위는 머티리얼 1개와 디버그 모드 4개로 제한하는 것이 좋습니다. 이 숫자를 지키면 셰이더 입문이 끝없는 이론 공부가 아니라 일주일 안에 실행 가능한 게임 프로그래밍 프로젝트가 됩니다.

• 무료 도구 예산: 0원
• 선택형 입문 강의 예산: 최대 3만원
• 권장 총학습 시간: 5~7시간
• 테스트 오브젝트: 구체 또는 평면 1개
• 완성 기준: 색상, UV, 법선, 방향광 모드 각 1개