커널 안티치트의 작동 방식

- 현대의 커널 기반 안티치트 시스템은 Windows 환경에서 가장 복잡한 보안 소프트웨어 중 하나로, 게임 실행 중에도 커널 수준에서 메모리와 시스템 이벤트를 감시함 - 유저모드 보호의 한계를 극복하기 위해 커널 드라이버를 활용하며, 프로세스·스레드 생성, 이미지 로드, 레지스트리 변경 등을 실시간 감시 - BattlEye, EasyAntiCheat, Vanguard, FACEIT AC 등 주요 시스템은 커널 드라이버·서비스·게임 DLL의 3계층 구조로 동작하며, 부팅 시 로드되는 Vanguard는 가장 강력한 제어권을 가짐 - 메모리 스캐닝, 후킹 탐지, 드라이버 무결성 검증, DMA 공격 대응, 행동 기반 탐지 등 다층적 방어를 결합해 치트 행위를 차단 - 최종적으로는 TPM 기반 원격 인증과 하드웨어 신뢰 검증이 게임 보안의 핵심 기반으로 부상하고 있음 1. 유저모드 보호의 한계와 커널로의 이동 - 유저모드 프로세스는 커널의 권한 하위에 있어, 커널 드라이버나 하이퍼바이저 수준의 치트에 쉽게 우회됨 - 예: ReadProcessMemory 호출은 커널 후킹으로 위조 가능 - 커널 모드 치트는 게임 메모리를 직접 조작하고, 유저모드 탐지를 회피할 수 있음 - 이에 대응해 안티치트가 커널 레벨로 이동, 동일한 권한 수준에서 감시 수행 2. 치트와 안티치트의 ‘무기 경쟁’ - 유저모드 → 커널 → 하이퍼바이저 → DMA로 이어지는 권한 상승 경쟁이 지속 - 안티치트는 드라이버 차단, 하이퍼바이저 탐지, IOMMU 기반 DMA 방어로 대응 - 이 과정은 치트 제작 비용과 난이도를 높여 일반 사용자의 접근을 차단하는 효과를 가짐 3. 주요 커널 안티치트 시스템 - BattlEye: BEDaisy.sys 커널 드라이버 중심, 프로세스·스레드·이미지 로드 콜백 등록 - EasyAntiCheat(EAC): Epic Games 소유, 유사한 3계층 구조 - Vanguard: 부팅 시 vgk.sys 로드, 드라이버 화이트리스트 모델로 강력한 제어 - FACEIT AC: 커널 수준 감시로 높은 신뢰도 확보 - ARES 2024 논문은 이들 시스템이 루트킷과 유사한 기술적 구조를 가지지만, 목적은 방어임을 명시 4. 커널 안티치트의 3계층 구조 - 커널 드라이버: 시스템 콜 후킹, 메모리 스캔, 접근 제어 수행 - 유저모드 서비스: 네트워크 통신, 밴 관리, 텔레메트리 전송 담당 - 게임 DLL: 게임 프로세스 내부 검증 및 서비스와 IPC 수행 - IOCTL, Named Pipe, Shared Memory를 통해 상호 통신 5. 부팅 시 로드와 런타임 로드의 차이 - BattlEye/EAC: 게임 실행 시 드라이버 로드, 종료 시 언로드 - Vanguard: 부팅 시 로드되어 이후 로드되는 모든 드라이버를 감시 - 이로 인해 시스템 재부팅이 필요하며, 부팅 단계부터 보호 가능 6. 커널 콜백 기반 감시 - ObRegisterCallbacks: 프로세스 핸들 접근 제어, 외부 프로세스의 메모리 접근 차단 - PsSetCreateProcessNotifyRoutineEx: 치트 프로세스 생성 차단 - PsSetCreateThreadNotifyRoutine: 게임 프로세스 내 비정상 스레드 감지 - PsSetLoadImageNotifyRoutine: 비허용 DLL 로드 탐지 - CmRegisterCallbackEx: 레지스트리 변경 감시 - 미니필터 드라이버: 파일 시스템 수준에서 치트 파일 접근 차단 7. 메모리 보호와 스캐닝 - 핸들 접근 제한으로 외부 메모리 읽기/쓰기 차단 - 코드 섹션 해시 검증으로 코드 패치 탐지 - VAD 트리 순회로 수동 매핑된 실행 메모리 탐지 - 익명 실행 메모리, 수동 매핑 DLL, 쉘코드를 휴리스틱으로 식별 8. 인젝션 탐지 - CreateRemoteThread, APC, NtMapViewOfSection, Reflective DLL 등 다양한 주입 기법 탐지 - 스택 프레임 분석(RtlWalkFrameChain) 으로 비정상 코드 실행 여부 확인 9. 후킹 탐지 - IAT 후킹: 가져오기 주소 테이블의 변조 탐지 - 인라인 후킹: 함수 시작부의 JMP 명령 비교로 패치 여부 확인 - SSDT, IDT, GDT 무결성 검사로 커널 수준 후킹 방지 - 직접 syscall 사용 탐지로 ntdll 우회 시도 차단 10. 드라이버 수준 보호 - 서명되지 않은 드라이버 및 테스트 서명 모드 감지 - BYOVD(취약 드라이버 악용) 공격 차단을 위한 블록리스트 운영 - PiDDBCacheTable, MmUnloadedDrivers, BigPool 등 커널 내부 구조를 감시해 수동 매핑 드라이버 탐지 11. 안티디버깅 및 분석 방지 - NtQueryInformationProcess로 디버거 존재 확인 - KdDebuggerEnabled 변수로 커널 디버거 감지 - ThreadHideFromDebugger 플래그로 숨겨진 스레드 탐지 - RDTSC 기반 타이밍 검사, 하드웨어 브레이크포인트, 하이퍼바이저 존재 여부로 분석 환경 차단 12. DMA 기반 치트와 대응 - PCIe DMA 장치가 CPU 개입 없이 메모리 읽기 수행 - IOMMU가 DMA 접근을 제한하지만, 비활성화·오구성 시 무력화 가능 - FPGA 장치의 합법적 장치 위장으로 탐지 어려움 - Secure Boot, TPM 2.0을 통한 부팅 무결성 검증으로 일부 완화 가능 13. 행동 기반 탐지와 머신러닝 - 마우스 입력 분석으로 인간적 움직임과 자동 조준 구분 - CNN·Transformer 모델을 활용한 트리거봇·에임봇 탐지 - 그래프 신경망으로 팀 기반 부정행위(벽핵·공모) 탐지 - 텔레메트리 파이프라인: 커널 입력 캡처 → 암호화 전송 → 서버 ML 분석 → 밴 결정 14. 가상환경 및 분석 회피 - CPUID 하이퍼바이저 비트와 벤더 문자열로 VM 탐지 - VMware, VirtualBox, Hyper-V의 레지스트리·디바이스 흔적 확인 - 이중 가상화 환경은 명령 실행 지연으로 식별 가능 15. 하드웨어 식별과 밴 집행 - SMBIOS, 디스크, GPU, MAC, MachineGuid 등으로 HWID 생성 - HWID 스푸핑은 레지스트리·드라이버·물리적 조작으로 시도되나, 식별자 불일치나 비정상 포맷으로 탐지 가능 16. 향후 동향과 기술적 전환 - DMA 이후 단계는 펌웨어 기반 치트로, 탐지 난이도 극대화 - AI 기반 하드웨어 조준봇은 인간 입력과 구분 어려움 - TPM 기반 원격 인증과 클라우드 게이밍이 장기적 대안으로 부상 - 커널 안티치트는 여전히 실질적 최전선이지만, 하드웨어 신뢰 검증과 서버 측 검증이 궁극적 방향으로 제시됨