Insecure Compiler Optimization

메모리에서 민감한 데이터를 잘못 초기화하면 보안에 문제가 발생할 수 있습니다.

컴파일러 최적화 오류는 다음 경우에 발생합니다.

1. 기밀 데이터를 메모리에 저장합니다.

2. 기밀 데이터를 덮어써서 메모리에서 초기화합니다.



3. 소스 코드는 최적화 컴파일러(optimizing compiler)를 사용하여 컴파일되는데 최적화 컴파일러는 이후에 메모리가 사용되지 않기 때문에 메모리 내용을 불필요한 저장 공간으로 보고 덮어쓰는 함수를 식별하여 제거합니다.
예제 1: 다음 코드는 사용자로부터 암호를 읽고 백 엔드 메인프레임에 연결한 다음 memset()을 사용하여 메모리에서 암호를 초기화합니다.

  void GetData(char *MFAddr) {
  char pwd[64];
  if (GetPasswordFromUser(pwd, sizeof(pwd))) {
   if (ConnectToMainframe(MFAddr, pwd)) {
		 // Interaction with mainframe
	 }
  }
  memset(pwd, 0, sizeof(pwd));
}

예제의 코드는 그대로 실행하면 올바로 동작하지만, Microsoft Visual C++(R) .NET 또는 GCC 3.x와 같은 최적화 컴파일러(optimizing compiler)를 사용하여 코드를 컴파일하면, 버퍼 pwd의 값을 덮어쓴 후 버퍼를 사용하지 않기 때문에 memset() 호출은 불필요한 저장 공간으로 간주되어 삭제됩니다[2]. 버퍼 pwd에는 민감한 값이 들어 있기 때문에 데이터가 메모리에 남아 있으면 응용 프로그램이 공격에 취약해질 수 있습니다. 공격자가 정확한 메모리 영역에 접근하게 되면 복구된 암호를 사용하여 시스템에 대한 제어를 얻을 수 있습니다.

공격자가 시스템 암호를 알아내지 못하도록 암호나 암호화 키와 같이 메모리에서 조작되는 민감한 데이터를 덮어쓰는 것은 일반적인 형태입니다. 하지만 최적화 컴파일러(optimizing compiler)를 사용하면 프로그램이 항상 소스 코드가 의도한 대로 동작하지는 않습니다. 이 예제에서는 호출이 일어나는 분명한 보안상의 이유가 있음에도 불구하고 데이터가 쓰여진 메모리가 이후에 사용되지 않는다는 이유로 컴파일러가 memset() 호출을 dead code로 해석합니다. 이 때, 문제는 많은 컴파일러 및 많은 프로그래밍 언어가 효율 개선을 이유로 이러한 보안 문제 또는 다른 보안 문제를 고려하지 않는다는 점입니다.

일반적으로 공격자는 코어 덤프 또는 런타임 메커니즘을 이용하여 특정 응용 프로그램이 사용하는 메모리에 액세스하여 비밀 정보를 알아내는 방식으로 이런 종류의 취약점을 익스플로이트합니다. 공격자가 비밀 정보에 액세스하게 되면 시스템을 더 익스플로이트하는 것이 비교적 간단해지므로 응용 프로그램이 사용하는 리소스를 손상시킬 수도 있습니다.