CASP9 때 팀에서 Quality Assessment 부분에 참여하게 되어서 CASP8 에서 이루어졌던 Quality Assessment Category 의 결과를 정리해 봅니다.
지난 10년간 단백질 구조 예측은 얼마나 발전했을까요? 도서관에 있는 단백질 모델링에 관한 책과 단백질 구조의 현재를 가장 잘 알 수 있는 최근 CASP 결과를 비교해 보면, 알 수 있습니다. 과거에 단백질 구조 예측은 Ab inito, Threading, Homology Modeling 이라는 3분야로 구분을 했지만, 지금은 Free Modeling(FM) 과 Template-Based Modeling(TBM) 이라는 두 분야로 나누고 있습니다. 또한 Homology Modeling 분야에서 Best Template 보다 좋은 구조를 만들어 내는 Modeling 방법들이 많이 등장한 것을 보면, 이제 Modeling 이 상당한 수준에 올라와 있음을 알 수 있습니다.
이렇게 단백질 구조 예측 기술이 발달하면서 중요해 지고 있는 또 하나의 분야가 있습니다. 바로 이글의 주제인 Model Quality Assessment(MQA) 입니다. 예측한 단밸질이 얼마나 좋은 구조를 가지고 있는지를 예측해 내는 것인데요. 이 과정은 Modeling 기술이 그들만의 영역에서가 아닌 실제 연구에 사용되기 위해서 꼭 필요한 기술이고, CASP 에서는 CASP7 부터 MQA 항목을 만들어서 이 부분에 대한 평가를 진행하고 있습니다.
다음 내용은 CASP8 의 MQA 부분에 대한 평가 논문을 요약한 것입니다.
Subcategory of MQA
CASP 에서 이루어지는 MQA 는 QM1, QM2, QM3 의 3가지 Category 로 나뉘게 됩니다.
QM1 - The prediction format for the overall reliability of models
QM1 은 CASP 진행 중에 제출된 Server 들이 제출한 정답을 받아서 0-1 사이의 값으로 그들의 Quality 를 측정하는 방식으로 진행됩니다. 1에 가까울 수록 Native 에 가까우며 0에 가까울 수록 나쁜 구조라는 뜻입니다. 정답 제출 형식은 다음과 같습니다. 제출 형식은 다음과 같습니다.
PFRMAT QA
TARGET T0436
MODEL 1
QMODE 1
3D-JIGSAW_AEP_TS2 0.81087
3D-JIGSAW_AEP_TS3 0.79910
......
END
QM2 - local confidence values
QM2는 QM1 에서 사용한 Model 들을 전체 구조가 아닌 각 Residue 별로 평가를 하는 작업입니다. 이것은 Sequence-dependent superposition 을 했을때 각 Residue 의 C-alpha 사이의 거리를 Angstroms 단위로 표시하게 됩니다. 정답 제출 형식은 다음과 같습니다.
PFRMAT QA
TARGET T0436
MODEL 1
QMODE 2
MUProt_TS4 0.81396 9.23 6.63 4.64 4.12 3.09 1.3 1.3 1.13 0.99 1.18 1.01 0.79 1.59 1.14 1.43 1.67
1.47 1.72 2.01 1.86 1.93 2.22 2.07 1.94 2.38 2.48 1.93 3.09 3.22 1.39 0.81
0.32 0.81 0.64 0.71 1.37 0.94 0.83 1.1 1.09 1.84 2.09 2.55 3.46 3.61 3.55
......
0.88 1.15 1.3 1.45 1.45 1.6 1.68 1.53 1.63 X X X X
MULTICOM-REFINE_TS4 0.81144 11.08 8.54 6.25 5.0 3.03 1.37 1.37 1.19 0.88 1.17 1.07 0.77 1.69 1.1 1.58 1.81
2.54 1.7 2.18 2.03 2.0 2.24 2.11 1.93 2.36 2.55 1.93 3.02 3.13 1.33 0.84
......
END
QM3
QM3 는 Tertiary Structure Prediction 에 제출된 각 Model 들에 대해서 B-factor 값을 이용하여 평가하는 MQA 입니다. 별도로 제출해야 하는 정답이 있는 것은 아니고, TSP 에 제출하는 PDB파일의 B-factor 를 계산해서 추가하면 됩니다.
Results
결과 분석과 순위는 Pearson Correlation 에 기반하여 이루어집니다. 모든 결과에서 LEE-SERVER 를 제외한 대부분 Consensus Method 들이 좋은 성적을 차지했습니다.
| QMode 1 (Target based) | QMode 1 (All) | QMode 2 | QMode 3 |
| 239 (Pcons_Pcons) | 31 (ModFOLDclust) | 27 (QMEANclust) | 379 (McGuffin) |
| 31 (ModFOLDclust) | 56 (SAM-T08-MQAC) | 364 (Mariner2) | 153 (GS-MetaServer2) |
| 56 (SAM-T08-MQAC) | 27 (QMEANclust) | 251 (selfQMEAN) | 297 (GeneSilicoMetaServer) |
| 27 (QMEANclust) | 453 (MULTICOM) | 239 (Pcons_Pcons) | 425 (BAKER-ROBETTA) |
| 453 (MULTICOM) | 239 (Pcons_Pcons) | 453 (MULTICOM) | 318 (panther_server) |
QM1 : global accuracy of models
각 Group 이 제출한 결과에서 Target 별 Correlation 을 계산합니다. 그리고 이 값을 Z-score 로 변환한뒤 0 이하의 값인 경우 0으로 설정합니다. 이 값의 평균값이 그 팀의 성적이 됩니다. 결과에서 특별하게 더 잘한 팀은 존재하지 않습니다. paired Student's t-test 를 이용한 결과에서 상위 4개의 팀이 하위의 팀보다 좀 더 잘한 것으로 나타났습니다.
각 Target 에 대한 correlation 이 아닌 전체 모델에 대한 절대적인 수치에 기준을 두고 분석한 결과에서는 ModFOLDClust 다른 팀과는 차별화된 결과를 냈습니다.
QM2 : residue-level accuracy of models
17개의 팀이 정답을 제출했습니다. 각 결과를 Sequence-dependent superimposition 을 통하여 정답구조와 비교한 결과를 이용하여 평가하였습니다. QMEANclust 가 다른 그룹과는 차별되는 좋은 결과를 냈습니다.
Conclusion
MQA 는 아직 시작 단계에 있는 분야입니다. CASP8 의 결과를 보면, 상당히 좋은 결과를 나타내는 Group 이 존재하지만, 이 들의 대부분이 Consensus 라는 점에 문제가 있습니다. 일상에서 연구자들이 Structure Prediction 을하고 그 Model 을 MQA 할때 그들이 Consensus 방법을 사용할 수는 없습니다. 다음 CASP 에서는 더 좋은 방법들이 많아지기를 기대합니다.
References
'Science n Bioinfo' 카테고리의 다른 글
| "Sun Grid Engine(SGE)" 이 "Open Grid Scheduler(OGS)" 로 변경되었군요. (0) | 2011.03.10 |
|---|---|
| MQAP #1 McGuffin - ModFOLD (0) | 2009.12.22 |
| 생물정보학 Software #2 PSI-BLAST : Protein Sequence Profile Search 를 하자. (2) | 2008.12.15 |
| SCOP Database 를 사용하는데 유용한 몇 가지 ID 목록 (0) | 2008.12.12 |
| 생물정보학 Software #1 CD-HIT : Non-redundant Set 을 만들자. (1) | 2008.09.10 |
