파이썬으로 병렬처리 하기 2 (Parallel Python)

잠깐동안 예제를 따라해보면서 해본 느낌은.. 

잘 모르겠지만 엄청 간단합니다. 

먼저 Parallel Python에서 http://www.parallelpython.com/content/view/18/32/ 에서 다운 받아서, pp를 다운받아서, 돌아갈 머신과 마스터 노드에 python setup.py install 하면 끝..

그리고 사용방법은 계산노드(slave)에서 ppserver.py -a(auto discovery) 하면 끝.. 물론 포트를 지정해 준다면 -p 옵션을 사용하면됩니다. 

그런다음 마스터 노드에서 다음과 같은 방법으로 하면됩니다.  (지금 같은경우는 1master node, 1slave node로 구성된 케이스)

import sys,thread
import pp
class myTest:
    def __init__(self):
        self.value=0
        self.lock = thread.allocate_lock()

    def result(self, value):
        self.lock.acquire()
        self.value += value
        self.lock.release()


def mysum(n):
        result=0
        for i in range(1,1000):
            result+=i
        return result



sum = myTest()

ppserver= ppservers=("*",)

job_server = pp.Server(ppservers=ppservers)
job1 = job_server.submit(mysum,(100,),callback=sum.result)

job_server.print_stats()

job_server.wait()

print "result is "+str(sum.value)

job_server.print_stats()

#ppservers = ("10.0.0.1",)

slave서버를 입력 하는 방법인데 ppserver("*",) 이 방법은 Master노드와 같은 대역에 있을대 저렇게 하면, 자동으로 인식이됨 저 코드의 경우 1master node에서 1 slave노드에게 계산하라고 해서 callback 한 결과를 보여주고 있습니다. 

Job execution statistics:

 job count | % of all jobs | job time sum | time per job | job server

         1 |        100.00 |       0.0000 |     0.000000 | local

Time elapsed since server creation 0.00300002098083

1 active tasks, 8 cores

result is 499500

Job execution statistics:

 job count | % of all jobs | job time sum | time per job | job server

         1 |        100.00 |       0.0010 |     0.001000 | local

Time elapsed since server creation 0.00399994850159

0 active tasks, 8 cores

몇가지 궁금한게 생겼는데,, 결국에는 RabiitMq같은 Queue는 필요없을것 같은데,, 다중 노드는 어떻게 명령을 내려야되는거며, 어떻게 중간에 합치는게 따로 있나.  그리고 어짜피 쓰레드는 길(GIL)이 걸릴테니, 멀티프로세싱으로 하고 싶은데,, 이것도 되려나.. (답은 간단하더군요)

결론은 파이썬 신기합니다. . 

추가:: 방금전에 해본결과로는 결국에는 작동하는 로컬밖에 나오지 않았습니다. 

사실 몇가지 실험을 해보았는데, 결론은 다음과 같았다  이번에는 모든 10노드를 전부 기동시키고 

연산작업을... 한 1000개를 걸어보았습니다. 

Job execution statistics:

 job count | % of all jobs | job time sum | time per job | job server

        26 |         16.15 |      28.5401 |     1.097695 | 192.168.1.203:60000

        28 |         17.39 |      26.5884 |     0.949585 | 192.168.1.206:60000

         8 |          4.97 |       5.8869 |     0.735865 | 192.168.1.204:60000

         8 |          4.97 |       4.0038 |     0.500477 | 192.168.1.100:60000

         6 |          3.73 |       4.7484 |     0.791398 | 192.168.1.201:60000

        13 |          8.07 |      13.5061 |     1.038933 | 192.168.1.207:60000

        10 |          6.21 |      10.0583 |     1.005829 | 192.168.1.209:60000

        26 |         16.15 |      77.0360 |     2.962923 | local

        36 |         22.36 |      35.4551 |     0.984865 | 192.168.1.208:60000

결과는 다음과 같은데 10노드가 전부 활동하지는 않습니다... 예상에는 알아서 스케쥴링을 하거나, 현재의 상황을 찍었을때 찰나에는 다른 노드에서 일을하지 않고 있거나 그런것 같습니다. 

이 결과를 찾기 위해 이짓 저짓을 많이 해봤는데, 

어쩌면 이 당연한 사실을 찾기위해 몇시간을 순간 날렸네요.

결국은 파이썬이 신기하네요. 하지만 전 그래도 Java가 좋아요,,

스칼라도 공부해야되는데..