Hadoop Job Manipulation

Hadoop 클러스터에 전송되는 Job은 위험한 환경에서 조작될 수 있습니다.

Hadoop 작업 조작 오류는 다음과 같은 경우에 발생합니다.

- 신뢰할 수 없는 소스의 데이터가 프로그램에 입력됩니다.

- 이러한 데이터를 사용하여 클라이언트 작업을 제어하는 JobConf의 값을 지정합니다.

Hadoop 클러스터는 위험한 환경입니다. 클러스터 컴퓨터의 HDFS에 무단으로 접근하지 못하도록 방지하는 보안 구성을 적절히 설정하지 않을 경우 공격자가 시스템을 제어할 수 있습니다. 이로 인해 Hadoop 클러스터에서 제공하는 모든 데이터가 조작될 수 있습니다.

예제 1: 다음 코드는 Hadoop 클러스터 마스터 컴퓨터의 명령줄에서 입력을 받는 일반적인 클라이언트 응용 프로그램에서의 Job 전송을 보여 줍니다.

  public void run(String args[]) throws IOException {

    String inputDir = args[0];
    String outputDir = args[1];

    // Untrusted command line argument
    int numOfReducers = Integer.parseInt(args[3]);
    Class mapper = getClassByName(args[4]);
    Class reducer = getClassByName(args[5]);

    Configuration defaults = new Configuration();
    JobConf job = new JobConf(defaults, OptimizedDataJoinJob.class);
    job.setNumMapTasks(1);
    // An attacker may set random values that exceed the range of acceptable number of reducers
    job.setNumReduceTasks(numOfReducers);

    return job;
  }

예제 2: 다음 코드는 공격자가 명령줄 인수를 통해 실행 중인 작업을 중단하도록 제어하는 경우를 보여 줍니다.

  public static void main(String[] args) throws Exception {

    JobID id = JobID.forName(args[0]);
    JobConf conf = new JobConf(WordCount.class);
    // configure this JobConf instance
    ...
    JobClient.runJob(conf);
    RunningJob job = JobClient.getJob(id);
    job.killJob();

  }