파이썬으로 병렬처리 하기 3 마지막장 (Parallel Python)

오늘 심각한 고민을 했습니다  ... 자바는 그냥 갔다 버려야되나..

Parallel Python 이거 써보고 할말을 잃었습니다. 생각보다 너무 쉽고.

Parallel Python을 사용하기 위해서는 대략 다음 절차를 수행하시면 됩니다.

연산을 하려는 노드, Master노드에 Parallel Python 설치(http://www.parallelpython.com/) [현재 저같은경우 Python 2.7을 사용하고 있습니다.]

그다음 연산하려는 모든 노드에서 네트웍 대역이 같다면, ppserver.py -a (이 의미는 실제 코드 설명할때 설명0

그리고 마스터 노드에서 병렬처리할 코드를 작업하시면 됩니다.

큰틀은 다음과 같습니다. 

가장 중요한 부분은 ppserver= ppservers=("*",) 입니다. 앞에서 ppserver.py -a  한이유와 같은데, 만약 같은 네트워크 대역폭에 있으면 알아서 감지합니다. 

 job_server.submit(mysum,(100,),callback=sum.result) 

실행할 함수?, 그리고 Parameter, 콜백 함수 입니다. 

만약 이럴경우, 병렬로 돌릴때 그 모듈이 돌아가기 위해 필요한 모듈이 있다고 가정할대, 예를들명 mysum을 연산할때 파이선의 math 모듈이 반드시 필요하다 그럴경우에는 modules = ("math","sys")와 같이 파라메터를 넣어주시면 됩니다.

파이썬이 이렇게 강력할줄이야.. 

import sys,thread
import pp
class myTest:
    def __init__(self):
        self.value=0
        self.lock = thread.allocate_lock()

    def result(self, value):
        self.lock.acquire()
        self.value += value
        self.lock.release()


def mysum(n):
        result=0
        for i in range(1,1000):
            result+=i
        return result



sum = myTest()

ppserver= ppservers=("*",)

job_server = pp.Server(ppservers=ppservers)
job1 = job_server.submit(mysum,(100,),callback=sum.result)

job_server.print_stats()

job_server.wait()

print "result is "+str(sum.value)

job_server.print_stats()