Integer Overflow

Integer overflow를 다루지 않으면 로직 오류 또는 buffer overflow가 발생할 수 있습니다.

정수 오버플로 오류는 산술 연산의 결과값이 데이터 형식의 최대값보다 크거나 최소값보다 작을 수 있다는 것을 프로그램이 고려하지 못할 때 발생합니다. 이러한 오류는 종종 사용자 입력이 부호 있는 값과 부호 없는 값 사이의 암묵적 변환과 충돌하는 메모리 할당 함수에서 문제를 일으킵니다. 프로그램이 메모리를 과소 할당하거나 부호 있는 값을 메모리 연산에서 부호 없는 값으로 해석하도록 공격자가 만들 수 있는 경우, 해당 프로그램은 버퍼 오버플로에 취약할 수 있습니다.

예제 1: OpenSSH 3.3에서 발췌한 다음 코드는 integer overflow의 전형적인 경우를 보여 줍니다.

nresp = packet_get_int();
if (nresp > 0) {
 response = xmalloc(nresp*sizeof(char*));
 for (i = 0; i < nresp; i++)
  response[i] = packet_get_string(NULL);
}

nresp의 값이 1073741824이고 sizeof(char*)의 값이 일반적으로 사용되는 4이면 nresp*sizeof(char*) 작업의 결과가 overflow되며, xmalloc()의 인수는 0이 됩니다. malloc() 구현은 대부분 0바이트 버퍼의 할당을 허용하여 이후 루프가 반복되어 heap buffer response가 overflow됩니다.

예제 2: 이 예제에서는 일련의 가변 길이 구조로 구성된 사용자 입력을 처리합니다. 입력의 첫 2바이트는 처리할 구조의 크기를 지정합니다.

 char* processNext(char* strm) {
 char buf[512];
 short len = *(short*) strm;
 strm += sizeof(len);
 if (len <= 512) {
  memcpy(buf, strm, len);
  process(buf);
  return strm + len;
 } else {
  return -1;
 }
}

프로그래머가 구조 크기에 끼치는 상한을 설정했습니다. 구조 크기가 512보다 크면 입력이 처리되지 않습니다. 문제는 len이 부호 있는 정수여서 최대 구조 길이가 부호 있는 정수를 사용해 확인되지만 memcpy() 호출에서는 len이 부호 없는 정수로 변환된다는 점입니다. len이 음수이면 구조의 크기가 적절한 것으로 표시되지만(if 분기를 가져옴) memcpy()에서 복사하는 메모리 양이 상당히 많아 공격자가 strm의 데이터로 스택을 overflow할 수 있습니다.