본문 바로가기

클러스터

생물정보학자를 위한 클러스터 만들기 #6v1 Sun Grid Engine 설치하기 클러스터 이해하기 시스템 구성과 CentOS 설치하기 Perceus 설치하기 Perceus 설정하기 Perseus Node 설정하기 Sun Grid Engine 설치하기 이번에는 Queueing System 을 설치할 차례입니다. Queueing System 은 사용자가 돌리려는 프로그램을 현재 아무런 일도 하고 있지 않는 Node를 찾아서 자동으로 실행시켜 주는 프로그램을 말합니다. Cluster 에 가장 중요한 프로그램이라고 할 수 있는데요. 다양한 Queueing System 이 존재합니다. OpenPBS, Torque, Sun Grid Engine 중 우리는 Sun Grid Engine 를 설치할 것입니다. 알림 : 앞으로 할 모든 내용은 root 권한에서 이루어 진다는 가정을 하고 있습니다. S.. 더보기
OpenMPI 설치하기 클러스터에 병렬연산을 하기 위해서 꼭 설치해야 되는게 MPI Library 입니다. MPI 라이브러리에는 다양한 종류가 있는데요. 가장 많이 사용되는게 MPICH, LAM MPI, OpenMPI 정도 인 것 같습니다. 여기서는 이중 OpenMPI 를 설치해 보겠습니다. 설치환경 OS : CentOS 5.1 (updated 2008. 4. 12) Arch : x86_64 설치경로 : /opt/openmpi 컴파일러 CC : icc CXX : icpc F77 : ifort FC : ifort 파일받기 파일은 OpenMPI 홈페이지에서 받을 수 있습니다. 현재 최신버젼은 1.2.6 입니다. 설치 설치과정은 단순합니다. # ./configure --prefix=/opt/openmpi --enable-mpi-th.. 더보기
생물정보학자를 위한 클러스터 만들기 #1 클러스터 이해하기 클러스터 이해하기 시스템 구성과 CentOS 설치하기 Perceus 설치하기 Perceus 설정하기 Perseus Node 설정하기 Sun Grid Engine 설치하기 생물정보학 분야에서 연구를 하다보면 가장 많이 필요한 장비가 자료를 저장할 좋은 Database 서버와 자료를 만드는대 사용되는 클러스터 같습니다. 슈퍼컴퓨터가 있으면 제일 좋겠지만, 그게 어디 한두푼 하나요. 국내에 있는 수퍼컴퓨터 센터를 이용하려고 해도 일게 석사한테 빌려주지도 않을 것 같고, 요즘은 개인용 데스크탑 CPU 도 정말 잘 나와서 이것들을 잘 묶으면 멋진 성능을 발위해주니 클러스터를 직접 구성해서 사용하는게 가장 속편하고 좋은것 같습니다. 최근에 회사의 리눅스 클러스터를 다시 구성했습니다. 원래 클러스터를 구성해주시던 분.. 더보기
생물정보학자를 위한 클러스터 만들기 #3.3 Perceus 설치하기 (version 1.3.7) 클러스터 이해하기 시스템 구성과 CentOS 설치하기 Perceus 설치하기 Perceus 설정하기 Perseus Node 설정하기 Sun Grid Engine 설치하기 Perceus 는 Infiscale 에서 만든 Diskless 클러스터 구축용 프로그램 패키지 입니다. 이런 프로그램이 나오기 전에는 복잡하고 어려운 과정을 거쳐야 했지만, 이제는 쉽게 구축할 수 있습니다. Diskless Cluster 를 구축하는데 사용되는 tftp, dhcp 서버를 별도로 설치할 필요도 없고, node 구성부터 등록까지 자동으로 처리해 줍니다. CentOS 의 설치에 대한 내용은 별도로 언급하지 않겠습니다. 여기서 사용한 시스템은 CentOS 5.1 이며, 2008년 4월 10일자로 "# yum update" 명령을.. 더보기
생물정보학자를 위한 클러스터 만들기 #2.3 시스템 구성과 CentOS 설치하기 클러스터 이해하기 시스템 구성과 CentOS 설치하기 Perceus 설치하기 Perceus 설정하기 Perseus Node 설정하기 Sun Grid Engine 설치하기 이번에는 클러스터를 작동시키는 기본이되는 CentOS 설치를 하겠습니다. Diskless 시스템을 구축할 예정이므로 Master Node 에만 설치하면 됩니다. 우리가 만들 클러스터는 Master 만 외부와 연결되어 있고, Master 와 Node 는 내부네트웍으로 구성되어 있습니다. 그래서 Master 에는 2개의 Lan card 가 필요합니다. 다음과 같은 형식 입니다. --- ( eth0 : Master : eth1 ) --- ( eth0 : Nodes ) 여기서 master 의 eth0 는 실제 master 가 인터넷에 접근할때 .. 더보기
Perceus 1.3.6 나왔어요. Perceus 1.3.6 나왔네요. 1.3.5 에서도 문제가 있어서 나온다 나온다 하더니 오늘 나왔습니다. 다운로드 주소는 perceus-1.3.6.tar.gz 이에요. 바뀐 내용은 Removed default hybridization for /usr/local as it is the default install location when compiling by hand. Fixed a trivial DOS of the Perceus daemon. Fixed VNFS export.이정도? 더보기
생물정보학자를 위한 클러스터 만들기 #3.2 Perceus 설치하기 (version 1.3.4) --------------------------------------------------------------- 새로운 글이 있습니다. 생물정보학자를 위한 클러스터 만들기 #3.3 Perceus 설치하기 링크로 가셔서 최신 글을 보시기 바랍니다. ----------------------------------------------------------------클러스터 이해하기 시스템 구성과 CentOS 설치하기Perceus 설치하기Perceus 설정하기 Perceus 는 이전에 Warewulf 를 만들던 곳에서 Warewulf 를 좀 더 관리하기 쉽게 다시 작성한 Cluster Software 입니다. Warewulf 는 3 이 준비되고 있지만, 언제나올지 잘 모르겠군요. Perceus는 Warewul.. 더보기
perceus 1.3.4 가 결국 나왔군요. 지난번에 1.3.2 와 1.3.3 이 문제가 있다는 글을 올렸는데, 드디어 1.3.4 가 나왔습니다. 설치문서도 1.3.4로 바뀌었네요. 아쉽게도 이번에도 에전에 홈페이지에 있던 Sun Grid 설치 부분같은 응용부분은 포함되지 않았습니다. 내일 설치를 해볼 예정입니다. 이 번에는 아무 문제 없기를. perceus 홈페이지 Update 내용입니다. Perceus 1.3.4 Submitted by gmk on Tue, 11/06/2007 - 6:48pm. Download: perceus-1.3.4.tar.gz Size: 46.9 MB md5_file hash: 00efff65120e38c2baa88477faf12135 First released: Tue, 11/06/2007 - 6:48pm Last upd.. 더보기