[Reversing] 리버싱을 위한 도구(IDA)와 기초 알아보기!

Posted Jun 1, 2025 Updated Jun 14, 2025

By 호롱고양이 44 min read

리버싱(Reverse Engineering)이란?

리버싱(Reverse Engineering), 또는 역공학은 이미 완성된 프로그램이나 시스템을 분석하여 내부 구조, 동작 원리, 로직 등을 파악하는 과정을 말합니다. 말 그대로 거꾸로(Reverse) 코드를 추적하고 해석하는 작업이죠.

일반적으로 우리는 소스 코드를 작성한 뒤, 이를 컴파일하여 실행 파일을 생성합니다. 이 실행 파일은 Windows의 .exe와 같이 사용자에게 익숙한 형태로 제공되기도 하죠. 리버싱은 이 과정을 거꾸로 따라가며, 실행 파일로부터 원래의 코드 구조를 유추해내는 작업입니다.

왜 리버싱을 배워야 할까?

리버싱은 단순히 해킹 기술이 아니라, 실제로 다양한 분야에서 유용하게 사용됩니다:

보안 분석 악성코드(Malware) 분석, 취약점 탐지 등에서 핵심적인 기술입니다.
CTF 문제 풀이 해킹 대회에서는 Reversing이라는 이름으로 별도의 카테고리가 존재할 정도로 중요하죠.
프로그램 패치 및 수정 특정 프로그램의 동작을 바꾸거나, 디버깅을 통해 오류를 고치는 데 활용됩니다.

리버싱을 위한 기본 도구

리버싱을 수행하기 위해서는 실행 파일의 내부 구조를 분석할 수 있는 전문 도구들이 필요합니다. 가장 널리 사용되는 리버싱 도구들은 아래와 같습니다:

IDA (Interactive Disassembler)
가장 유명한 상용 디스어셈블러 중 하나로, 정적 분석에 매우 강력한 기능을 제공합니다. 바이너리 파일을 어셈블리 코드로 변환하고 함수 흐름을 시각화할 수 있으며, IDA Pro와 무료 버전인 IDA Free가 있습니다. 초보가 사용하기에는 Free 버전 기능을 다 쓰지도 않는다는 사실.
IDA Free는 기본적인 정적 분석에 충분하지만, 플러그인 지원, 디버깅, 네트워크 프로토콜 분석 등 고급 기능은 IDA Pro에서만 지원됩니다.
Ghidra
미국 NSA가 개발한 강력한 오픈소스 리버싱 프레임워크입니다. 디스어셈블 뿐 아니라 C 수준의 디컴파일 기능도 제공하며, 다양한 플랫폼을 지원합니다. 무료로 사용할 수 있으면서도 상용 도구에 버금가는 기능을 갖추고 있어 많은 보안 연구자들이 애용합니다.
Ghidra에 대한 설명 추가적인 설명
Binary Ninja
비교적 최근에 주목받고 있는 상용 리버싱 도구로, 직관적인 인터페이스와 빠른 분석 속도가 특징입니다. 스크립팅(특히 Python) 기능이 뛰어나며, 정적 분석과 디컴파일을 효율적으로 지원합니다. 커뮤니티 에디션도 제공됩니다. 이것도 오픈소스.
x64dbg
Windows 환경에서 널리 사용되는 디버깅 도구입니다. 실행 중인 프로그램을 동적으로 분석하면서 레지스터, 메모리, 스택 등의 상태를 실시간으로 확인할 수 있어 CrackMe나 바이너리 패치 실습 등에 많이 활용됩니다.

그리고 이 중에 IDA의 사용 방법을 설명해 볼까 합니다.

IDA Free 기본 사용법

IDA 설치 및 실행
간단한 프로그램 로드하기
함수 분석 (Function window, Graph view vs Text view)
문자열(Shift+F12), Imports, Exports 분석
코드 흐름 따라가기 (XREF, Call, Jump 등)

IDA 설치 (신버전)

IDA Free는 Hex-Rays 공식 홈페이지에서 무료로 다운로드할 수 있습니다.
Hex-Rays의 IDA Free 다운로드 페이지
윈도우용 설치 파일을 받아 설치 후 실행하세요.

라고 하지만 처음에 들어가보면

라이선스 키를 입력하는 부분이 있다. 어? 나는 이런거 없었는데?

필요한 시스템 사항은 위와 같고 일단 나도 라이선스 넣어야 하는건 처음이라 하나씩 해보도록 하자.

이렇게 라이센스에 이메일을 넣고 나면 라이센스 준비가 되었으니 로그인 해서 다운하란다… 아니 이런거 없었잖아요?

으엑 진짜로 로그인 해야하나보다.. 바~로 귀찮으니 구글로 로그인해 들어가자.

들어가면 바로 이렇게 라이선스 키가 뜨는걸 보니 잘 되었나보다.

이제 설치를 위해 Download Center로 들어가면 여러 버전이 있고 뭐.. 당연히 가장 최신버전으로 설치해주자.

설치 후에 이렇게 찾을 수 있으면 끝!

IDA 실행 전 여담

참고로 이 프로그램의 로고는 희안하게도 사람의 초상화가 들어있는데 이 사람은 맹트농 후작부인(Françoise d’Aubigné)으로 직접 찾아보니 hey-rays 뉴스에서 그 전말을 찾을 수 있었다.

말하길 원래는 컴퓨터의 작동 원리를 처음으로 설명한 사람인 에이다 러브레이스(Ada Lovelace) 의 초상화를 넣고자 했으나 마땅한 이미지를 찾지 못해 대타로 들어갔다고 한다. 그리고 좀 더 아래로 내려보면 IDA 9.0에서는 안티얼라이징 기술로 좀 더 사진을 젊게 만들었다나? 하는 이야기가 있다.

근데 가만 생각해보니 이상하네? 내 버전은 8.4.24인데 9.0버전이라니?

이거 버전이 업데이트 되면서 뭔가 바뀌었나보다 바로 확인하러 가야겠네.

아이다가 두배지요

IDA 실행

오 처음 실행을 하게 되면 최근에 새로운 단축키를 설정하고 있는데 새로운거 쓸래? 하고 묻는 문장이 나오네요.

뭐 한번 써보죠.

익숙하고 중요하지만 읽어본 적 없는 동의서는 당연히도 I Agree를 눌러야 할 것이고.

드디어! 프로그램을 시작할 수 있었습니다!

어.. 음.. 아래 몇가지 실행해본 것들은 테스트 할게 있어서 열어본 것들이라죠. 솔직히 궁금하잖어…

간단한 프로그램 구현하기

IDA에서 분석할 바이너리가 필요하니, 우리가 직접 간단한 프로그램을 하나 만들어보겠습니다. C 언어로 작성하고 컴파일한 뒤 .exe를 열어 분석해보도록 하겠습니다.

여기서 잠깐! 굳이 직접 코딩하는 이유는?

리버싱을 처음 배울 때는, 내가 어떤 코드를 짰는지 알고 있는 상태에서 그 바이너리를 분석하는 게 가장 좋습니다. 무작정 남이 만든 실행 파일을 열어보는 것보다, 내가 만든 코드가 어떤 식으로 어셈블리로 바뀌고, 함수나 문자열이 어떤 식으로 표시되는지를 확인하는 게 큰 도움이 되기 때문이죠.

예제 코드: Hello, Reversing!

  
#include <stdio.h>

int main() {
      printf("Hello, Reversing!\n");
      return 0;
}

이 코드를 메모장이나 VSCode 등 원하는 편집기에서 hello.c라는 이름으로 저장한 다음, 다음 명령어로 컴파일해줍니다.

윈도우에서 Visual Studio Code를 이용해 컴파일하는 방법 (MinGW, tdm-gcc 설치 기준)

gcc가 없으면 MinGW 혹은 tdm-gcc를 설치하거나 WSL/Ubuntu 환경에서 gcc를 설치해서 사용하세요.
아니면 아예 아래 나오는 Visual Studio를 사용하여도 좋습니다! 하지만 저는 vsc가 가벼워서 추천 드려요.

gcc hello.c -o hello.exe

컴파일 후 생성된 hello.exe 파일을 IDA에 로드하여 분석해보면 됩니다!

윈도우에서 Visual Studio를 이용해 컴파일하는 방법

Visual Studio는 Microsoft에서 제공하는 강력한 통합 개발 환경(IDE)으로, C/C++ 개발에 최적화된 환경을 제공합니다. Visual Studio를 이용하면 편리하게 C 프로그램을 작성하고 디버깅할 수 있어 리버싱 학습에도 도움이 됩니다.

Visual Studio 2022 설치
Visual Studio는 공식 다운로드 페이지에서 받을 수 있습니다.
설치 시 “C++를 사용한 데스크톱 개발” 워크로드를 꼭 선택해주세요. 그래야 C 프로젝트를 만들 수 있습니다.
프로젝트 생성
- Visual Studio를 실행한 뒤, 새 프로젝트 만들기 → 빈 프로젝트(Empty Project)를 선택합니다.
- 프로젝트 이름은 HelloReversing 같은 걸로 해도 좋습니다.
- 생성 후, 솔루션 탐색기에서 소스 파일(Source Files) 항목을 마우스 우클릭 → 추가 → 새 항목을 클릭하여 hello.c 파일을 추가합니다.

코드 작성

  
#include <stdio.h>

int main() {
   printf("Hello, Reversing!\n");
   return 0;
}

위 코드를 작성한 뒤 저장합니다.

컴파일 및 실행 파일(.exe) 생성
- 상단 메뉴에서 디버그 → 디버깅 없이 시작(Ctrl+F5)을 눌러 실행해보세요.
- 빌드가 정상적으로 완료되면, 프로젝트의 Debug 혹은 Release 폴더 안에 HelloReversing.exe 파일이 생성됩니다.
- 이 파일을 IDA로 불러와 분석해볼 수 있습니다!

참고: .exe 파일의 경로는 보통 프로젝트 폴더\Debug\HelloReversing.exe 혹은 Release 폴더에 위치합니다.

이렇게 만들고 실행을 한 번 한 후에 우측 프로젝트(여기서는 HelloReversingVS)를 우클릭 하여 파일 탐색기에서 폴더 열기(x)를 누르면

이렇게 프로젝트 폴더에 들어오게 될 텐데 여기서 생각해야하는것!

우리가 만든 프로젝트는 지금 이 폴더가 아니라 그 상위 폴더의 이름이 같지만 그곳에 위치한다는 사실!

이 위치(HelloReversingVS/HelloReversingVS)에서 .exe를 찾아가보면 찾을 수 없다.

바로 이렇게 저장한 폴더/프로젝트명의 /x64폴더 안에 있기 때문이다.

찾았다!

VSC + GCC vs Visual Studio: 어떤 차이가 있을까?

같은 C 코드를 작성하더라도, 어떤 컴파일러를 사용하느냐에 따라 결과물인 .exe 파일은 꽤 다른 모습을 보이게 됩니다. 보기에는 완전 같은 모습으로 작동하는 것 처럼 보이지만 실제로는 용량도 내용도 다르답니다. 리버싱을 할 때 이 차이를 이해하고 있는 건 정말 중요합니다. 그리고 솔직히 처음 배우는데 복잡하면 좀 그렇잖아요?

1. 사용하는 컴파일러의 종류

VSC + GCC
- 여기서 사용하는 gcc는 GNU 컴파일러입니다.
- 보통 MinGW나 tdm-gcc를 설치해서 사용하며, 리눅스에서 쓰이는 gcc와 거의 동일한 결과를 내놓습니다.
- 출력물은 간결하고, 리눅스 환경과 유사한 바이너리를 만들어 줍니다.
Visual Studio
- Microsoft에서 만든 MSVC(Microsoft Visual C++) 컴파일러를 사용합니다.
- Windows에 최적화된 실행 파일을 생성하며, 자체 런타임 라이브러리를 연동합니다.
- 컴파일 옵션이나 디버깅 정보도 더 풍부하게 붙는 경우가 많습니다.

여기서 잠깐! 라이브러리란 무엇일까?

프로그래밍에서 라이브러리(Library) 란, 개발자가 자주 사용하는 기능들을 미리 만들어 놓은 함수들의 모음입니다. 우리가 printf, malloc, strcpy 같은 함수를 사용할 수 있는 이유도, 이런 함수들이 표준 C 라이브러리에 정의되어 있기 때문입니다.

즉, 라이브러리는 코드를 효율적으로 작성하고, 중복을 줄이며, 안정적으로 동작하는 기능을 재사용할 수 있게 도와주는 도구입니다.

라이브러리는 크게 두 가지로 나눌 수 있습니다:

정적 라이브러리 (.lib, .a): 컴파일 시 실행 파일에 포함됨
동적 라이브러리 (.dll, .so): 실행 중에 필요에 따라 로드됨

C 프로그램을 작성하고 빌드할 때, 내부적으로 이러한 라이브러리들이 포함되어 실행 파일이 완성됩니다.

좋습니다! 지금 작성하신 내용 아래에 자연스럽게 이어지도록 “런타임 라이브러리란?” 섹션을 추가해드릴게요:

그렇다면, 런타임 라이브러리란?

런타임 라이브러리(Runtime Library) 는 말 그대로 프로그램이 실행되는 시점(Run-time)에 필요한 기능들을 모아 놓은 라이브러리입니다.

예를 들어, 우리가 printf, malloc, exit 같은 함수를 사용할 때, 단순히 컴파일만으로 끝나는 것이 아니라, 실제 실행 중에도 이 함수들이 제대로 작동하도록 도와주는 코드가 필요합니다. 이 역할을 해주는 것이 바로 런타임 라이브러리입니다.

런타임 라이브러리는 보통 컴파일러와 함께 제공되며, 사용하는 컴파일러에 따라 런타임 라이브러리도 달라집니다:

GCC (MinGW, tdm-gcc 등): libc와 같은 POSIX 기반의 런타임 라이브러리를 사용
MSVC (Visual Studio): MSVCRT 등 Microsoft 전용 런타임을 사용

이러한 런타임 라이브러리는 프로그램이 메모리를 할당하거나, 콘솔에 출력을 하거나, 예외 처리를 하거나, 스택을 정리하는 등 다양한 동작을 처리하는 데 필수적입니다.

즉, 런타임 라이브러리는 실행 가능한 EXE 파일이 실행되는 동안 필요한 기본 기능들을 제공하는 핵심 라이브러리라고 할 수 있습니다.

2. 실행 파일 내부 구조의 차이

gcc로 컴파일한 hello.exe
- 구조가 상대적으로 단순하며, 불필요한 부가 정보가 적습니다.
- 함수명이나 문자열이 비교적 명확하게 보일 수 있습니다.
- 리버싱 연습을 처음 시작할 때 추천되는 형태입니다.
vs로 컴파일한 hello.exe
- MSVC 런타임 관련 코드가 포함되어 있어 실행 파일 크기가 크고, 내부 구조가 더 복잡해 보입니다.
- 시작점(main)으로 진입하기까지 다양한 초기화 함수들이 호출되며, 초보자에게는 다소 혼란스러울 수 있습니다.
- 함수 호출 규약, 명명 방식 등이 gcc와는 다릅니다.

3. 리버싱 관점에서의 고려사항

항목	GCC (MinGW 등)	Visual Studio (MSVC)
파일 크기	작음	상대적으로 큼
실행 흐름	단순	복잡 (CRT 초기화 등)
디버깅 심플함	비교적 쉬움	초기에는 어렵게 느껴질 수 있음
함수명/심볼	제한적	디버그 빌드 시 풍부하게 남기도 함
시작 주소	`main` 바로 근처	`_mainCRTStartup` 등 다양한 함수들 거쳐야 함

어라? 그런데 크기 차이가 위에서 말한거랑 다른데요?

엇 그런데 위를 따라서 코드를 만들어 보니까 이상하게도 오히려 Visual Studio로 만든 실행파일이 더 작은 상황을 볼 수 있다. 이 아래 나올 내용은 어쩌면 조금 이른 내용일 수도 있으므로 잘 이해가 안된다면 넘기고 나중에 찾아와도 문제 없다.

그..래도.. 언젠가는 마주해야하는 내용이니 한번 눈으로만 쓱 읽어보는것도?

1. 링크 방식 (Static vs Dynamic Linking)

GCC (기본 설정) 기본적으로 libgcc, libc, 기타 런타임을 정적으로 링크합니다. → 필요한 라이브러리 코드가 바이너리에 통째로 포함됨. → 그래서 파일 크기가 크게 나옴.
MSVC (Visual Studio) 기본 설정은 동적 링크(DLL) 사용. → msvcrt.dll 같은 시스템(윈도우) DLL을 참조만 하고, 실제 코드 포함 X → 바이너리 크기 작게 나옴.

2. 기본 설정의 차이 (Debug Info 포함 여부)

GCC는 디버그 정보 (-g)가 자동 포함되거나, 별도로 제거하지 않으면 들어가는 경우가 많음.
MSVC는 릴리스 모드일 경우 디버그 정보 없이, 최적화된 코드를 내보냄.

만약 GCC로 -s 옵션(심볼 제거)이나 -O2(기본 최적화) -s 같이 최적화하고 심볼 제거하면 파일 크기가 줄어듭니다.

3. 런타임 라이브러리 포함 여부

GCC는 MinGW나 TDM-GCC의 런타임 라이브러리를 바이너리에 붙이는 경향이 강함.
MSVC는 Visual C++ Redistributable을 깔아놓은 시스템이 많기 때문에 DLL 링크로 처리하는 게 일반적.

비교 예시

환경	예상 크기	설명
GCC 기본 컴파일	수백 KB	정적 링크 + 디버그 심볼 포함
GCC `-s -O2`	수십 KB	최적화 + 디버깅 정보 제거
Visual Studio 릴리즈	수십 KB	동적 링크 + 최적화
Visual Studio 디버그 모드	수백 KB	디버그 심볼 포함됨

직접 비교를 해보기 위해 위와같이 종류별로 다 컴파일을 해봤습니다!

이렇게 보니 어째서 같은 코드인데 용량 차이가 나는지 어느정도 이해가 되죠?

이제 여기서 디버깅 정보는 또 무엇이고 디버그 심볼은 뭐지? 싶을 수 있습니다.

솔직히 저도 이거 찾아보면서 차이를 알았거든요..

용어	설명
디버그 심볼 (Debug Symbols)	변수 이름, 함수 이름, 소스 코드 라인 정보 등 소스 코드와 바이너리를 연결해주는 심볼.
디버깅 정보 (Debugging Information)	디버그 심볼을 포함해 디버깅에 필요한 모든 메타데이터. 예: 심볼, 스택 정보, 최적화 무효화 등.

조금 더 풀어서 이야기 해보자면 다음과 같습니다.

디버그 심볼은 책의 목차나 페이지 번호 같은 역할:
“함수 main은 0x401000에 있음”, “변수 x는 이 위치에 있음”
디버깅 정보는 그에 더해 읽기 편하게 메모가 달린 책 전체
어떤 줄에서 예외가 발생했는지, 최적화가 꺼졌는지 등 더 풍부한 정보 포함

즉! 디버그 심볼은 디버깅 정보의 일부라는 의미인거죠.

이제 실제로 IDA에서 컴파일한 PE(Portable Executable) 또는 .exe를 직접 열어 정말로 우리가 짠 코드가 잘 들어있는지 디버그 심볼이 리버싱을 할 때 어떤 역할을 해줄지 눈으로 확인하러 갑시다!

IDA에서 열어보기

이렇게 IDA를 실행시키고 New 혹은 Go를 눌러 IDA에 들어갈 수 있다.

New는 들어가서 바로 파일탐색기가 열리기에 Go를 눌러 들어간 후에 뜯어볼 PE파일을 드래그하여 여는 것을 선호한다.

필자는 아무래도 컴퓨터를 다크모드로 사용하다보니 IDA의 화면도 그를 따라가는데 기본적으로는 밝은 화면이 반겨줄 것이다.

바로 이렇게

다시 돌아와 프로그램을 드래그 하여 넣으면 위와 같이 수많은 옵션이 뜨는 창을 만나게 될 것이다.

좀 더 크게 보면 이런 느낌인데 위에서 부터 알아보자.

1. Load file … as

Portable executable for AMD64 (PE) [pe.dll]

이건 IDA가 자동으로 감지한 파일 포맷입니다. 여기서:

Portable executable (PE) → 윈도우 실행 파일 포맷
AMD64 → 64비트 아키텍처 (x86-64 기반)
[pe.dll] → PE 파일 로딩에 사용하는 IDA 내부 모듈 이름

즉, 이건 “64비트 윈도우 실행 파일로 감지됨“을 의미합니다.

2. Processor type

선택된 값: MetaPC (disassemble all opcodes) → metapc

이건 IDA가 어떤 CPU 명령어 세트를 기준으로 해석할지 고르는 부분입니다. metapc는 x86 및 x64 아키텍처 전용 디스어셈블러로, 거의 모든 일반적인 PE 파일은 이걸로 분석합니다.

3. Loading segment / Loading offset

일반적으로 기본값 0x0000000000000000을 둡니다.
특별한 경우가 아니면 수정할 필요 없습니다. 이건 바이너리를 어느 메모리 주소에 매핑할지 결정하는데, IDA가 PE 헤더 기반으로 자동 설정합니다.

요건 좀 어려운 말이라 넘겨도 무방하다. 하지만 리버싱을 공부하며 책을 한권이라도 살짝 읽어본 사람이라면 바로 이해 가능!

4. Analysis

✔ Enabled
- IDA가 자동으로 코드 분석 및 함수 추출을 수행합니다. 필수!
✔ Indicator enabled
- 분석 진행 상태를 보여주는 상단 진행 표시줄(초록색 줄)을 켭니다. 가시성이 좋아서 보통 체크합니다.

5. Options

아래 체크박스들은 분석 결과에 영향을 줍니다:

옵션	설명
`✔ Create segments`	PE 헤더의 세그먼트(.text, .data 등)를 IDA 세그먼트로 생성
`✔ Create imports segment`	import table을 분리된 영역으로 보여줌
`✔ Load resources`	PE 내부 리소스 (아이콘, 문자열 등)을 불러옴
`✔ Rename DLL entries`	API 호출 함수 이름을 자동으로 이름 붙임 (예: `MessageBoxA`)
`✔ Create FLAT group`	세그먼트를 그룹으로 묶어 보여주는 IDA 내부 설정
`☐ Manual load`	직접 수동으로 로드 주소/세그먼트를 지정할 수 있게 함 (고급자용)
`☐ Load as code segment`	바이너리를 무조건 코드로 해석 (보통 체크 안함)
`☐ Fill segment gaps`	세그먼트 간 빈 공간을 채움 (보통 체크 안함)

이 화면은 “이 파일을 어떤 구조로, 어떤 CPU 아키텍처로 해석할지”를 IDA에 알려주는 매우 중요한 단계입니다.

그리고 보통의 경우에는 딱히 건드릴게 없이 진행하면 됩니다.

OK를 누르고 진행하면 이번에도 또 뭔가 뜬다.

이 창은 IDA가 DWARF 디버깅 정보를 감지했을 때 나오는 옵션 창으로 DWARF란 디버깅 정보를 위한 표준 포맷으로, 변수 이름, 타입, 함수 위치, 소스 코드 라인 정보 등을 포함한다.

라고 한다만.. 요 부분은 내가 아는 부분이 없기도 하고 딱히 다들 바꾸거나 하지는 않아서 초보자에게는 그냥 넘어가는 부분인걸로!

그리고 위의 디버깅 정보관련 글을 읽고 내려왔다면 어느정도 예상을 할 수 있겠지만 디버깅 정보를 제외한 PE(.exe)파일은 이 창이 뜨지 않는다!

모두 OK를 누르고 더이상 창이 뜨지 않으며 프로그램을 로드 했을 때에는 위와 같은 알 수 없는 것들이 많이 보인다.

음… 이거 색을 다시 밝은걸로 바꾸는게 보기에는 더 편해 보이네..

아닌가? 일단 여기 글을 쓸 때는 밝은 버전으로 쓰고 내가 쓸 때는 어두운 버전으로 사용해야겠다.

IDA 기본 화면

지금 보이는 이 화면이 우리가 만든 helloReversing.exe의 실제 .exe속 내용물인 것이다.

정말 간단한 5~6줄밖에 되지 않는 코드였는데, 왼쪽의 Functions 창에는 뭔가 엄청 많은 함수가 포함되어 있다.

왜 이렇게 많은 함수가 있을까?

이는 우리가 작성한 코드 외에도, 컴파일러(GCC나 MSVC 등)가 자동으로 삽입한 라이브러리 코드나 런타임 초기화 코드들이 함께 포함되어 있기 때문이다.

예를 들어:

__security_init_cookie
__scrt_common_main
msvcrt.dll의 함수들
내부적으로 필요한 초기화 함수들 등등…

이런 함수들은 우리가 직접 작성하지 않았더라도, 프로그램을 실행할 수 있게 만드는 최소한의 준비 작업을 위해 포함된다.

예를 들어 printf("Hello"); 한 줄만 써도, 이 코드가 작동하려면 printf 함수 자체와, 그 함수가 내부적으로 호출하는 여러 함수들까지 함께 필요하다. 그래서 실제 컴파일된 .exe 안에는 우리가 쓰지 않은 것처럼 보이는 함수들까지 같이 들어가는 것이다.

간단히 생각해보면 분명 우리가 C언어 코드를 작성할 때에는 몇 줄 밖에 쓰지 않았지만 우린 그 몇줄의 코드는 그저 Hello, Reversing!을 출력할 뿐인 함수라는 것을 안다. 그러나 실제로 컴파일된 .exe를 실행시켜보면 cmd창이 켜지고 그 창에는 전체화면, 최소화, 트레이 아이콘, 아이콘, 창 종료, 창 띄우기 등의 작동이 자동으로 이루어진다!

바로 이 과정에 필요한 것들이 컴파일이 되며 우리가 쓰지 않았지만 기본으로 장착되는 함수들이 들어가게 되는 이유인 것이다.

이를 확인할 수 있는 부분이 당연하게도 ida에 존재한다.

화살표에 표시된 Imports에 들어가 보면 KERNEL32와 msvcrt가 보일텐데 이 녀석들이 바로 추가된 함수들이다.

KERNEL32와 MSVCRT가 뭘까?

IDA의 Imports 탭에서 확인할 수 있는 KERNEL32.dll과 msvcrt.dll은, 우리가 작성한 코드가 실행될 수 있도록 운영체제 차원과 C 런타임 차원의 기본 기능들을 제공하는 핵심 라이브러리다.

라고 하는데 일단 아래 부분은 이해가 안된다면 넘겨도 된다. ida로 리버싱을 하는데 초보에게는 많이 어려울듯한.. 나도 찾아보며 작성한 글이고 솔직히 본인도 공부하며 처음 안 내용들이다. 만약 틀린 내용이 있다면 알려주기 바란다! 어렵다면 넘겨도 무방하다.

KERNEL32.dll

KERNEL32.dll은 Windows 운영체제의 핵심 기능을 제공하는 시스템 라이브러리로, 대부분의 Windows 프로그램이 이 DLL을 사용한다. 다음과 같은 기능들을 포함한다:

메모리 관리 (HeapAlloc, VirtualAlloc 등)
파일 입출력 (CreateFile, ReadFile, WriteFile 등)
프로세스 및 스레드 생성/관리 (CreateProcess, CreateThread)
시간 관련 함수 (Sleep, GetTickCount)

예를 들어 printf를 쓰기 위해 stdout 스트림에 출력이 발생하면, 결국 이 내용은 WriteFile 등의 시스템 호출로 연결되고, 이 과정에서 KERNEL32.dll이 사용된다.

즉, KERNEL32는 운영체제와 대화하는 기능 (파일, 메모리, 프로세스 등) 을 갖추고 있는 것이다!

MSVCRT.dll

MSVCRT.dll은 Microsoft Visual C++ 런타임 라이브러리로, 우리가 사용하는 C 언어 함수들, 즉:

printf, scanf 같은 입출력 함수
malloc, free 같은 메모리 할당 함수
strcpy, strlen 같은 문자열 처리 함수 등을 제공한다.

즉, 우리가 C 언어로 printf("Hello, Reversing!");처럼 단순한 코드를 작성하더라도, 이 한 줄은 내부적으로 MSVCRT.dll의 여러 함수들을 호출하게 되는 것이다.

이러한 라이브러리들이 없다면, 우리가 익숙하게 사용하는 C의 기본 기능들도 동작하지 않는다.

요약하면

KERNEL32.dll: 운영체제와 대화하는 기능 (파일, 메모리, 프로세스 등)
MSVCRT.dll: C 언어 표준 함수들을 제공하는 런타임 라이브러리

화면 구성 간단 요약

영역	설명
왼쪽 상단 (Functions)	디스어셈블된 함수 목록. 우리가 작성한 코드뿐만 아니라 컴파일러가 추가한 라이브러리 함수도 포함됨.
중앙 (IDA View / Disassembly)	선택한 함수의 기계어(어셈블리) 코드가 분석되어 보이는 영역. 기본적으로 Pseudocode(C코드) 대신 어셈블리 기준.
하단 (Output, Log, Problems 등)	분석 과정 중 로그, 경고 메시지, 분석 힌트 등을 볼 수 있는 창들.

그 중에 중앙에 보이는 이상하게 생긴 표 같은 것(?) 에 대해 간단히 설명해보겠습니다.

위 이미지는 우리가 만든 HelloReversing.exe 파일을 IDA가 분석하여 보여주는 main 함수의 내부입니다. 하지만 눈에 익은 C 코드와는 전혀 다르게, 이곳에선 어셈블리어로 표현되고 있죠. 처음 보는 사람이라면 ‘어우.. 이건 좀 어려운데?’ 싶을 수 있는 그런 모습입니다.

물론 어느 정도 익숙해지면 눈으로 분석하는 것도 가능하지만, 위 예제처럼 단 6줄짜리 코드야 그렇다 쳐도 실제 상용 프로그램이라면 수천, 수만 줄의 어셈블리 코드가 등장하는 게 기본입니다. 그걸 하나하나 눈으로 따라 읽으며 분석한다? 그건 거의 인간 컴퓨터에 가까운 능력을 요구하는 일이겠죠.

그럼 우리의 가장 중요한 이 부분을 그 수많은 함수중에 찾아낼 수 있을까요?

이번과 같이 어느정도 메타데이터가 남아있는 프로그램이라면 ida가 ‘여기 main 함수 있어요!’ 라며 함수 이름을 main으로 써놨을 것이고 만약 아니라면.. sub_****와 같은 지옥도에서 직접 찾아내야 한답니다. 그리고 그게 바로 리버서가 하는 일이죠.

이제 이후의 내용은 아무래도 if나 for문이 존재하는 코드를 보며 직접 해보는 것이 더 좋을듯 합니다.

일단 IDA의 기본에 관해서는 여기까지! 다음에는 좀 더 복잡한 코드를 직접 분석 해봅시다!

[Reversing] 리버싱을 위한 도구(IDA) 실습하기!

hacking

reversing

This post is licensed under CC BY 4.0 by the author.