<aside> 💡 Vaex 활용한 유전체 데이터 분석

• Vaex는 대용량 데이터 셋을 다루기 위한 파이썬 라이브러리

• 메모리에 로딩 하지 않고도 처리 가능, 수십 기가바이트 유전체 데이터셋도 효율적으로 다룰 수 있음

  

• 데이터 필터링, 컬럼 기반 연산, 그룹화 및 집계 등 효율적으로 수행

  

• 시각화 도구 제공

  

</aside>

<aside> 💡 유전체 데이터 전처리

• 데이터 불러오기

  • 유전체 데이터는 일반적으로 텍스트 파일 저장

    

• 데이터 읽어온 후에 정제

  • 결측치 처리

    

  • 이상치와 중복 데이터 제거도 이루어져야 함

• 데이터 변환

  • dna 서열 숫자로 변환하는 작업 수행해야 함

    

• 데이터 저장

  • write() 함수를 이용하여 데이터를 텍스트 파일에 저장 가능

    

</aside>

<aside> 💡 유전체 데이터 분석 기본 용어

유전체 데이터 분석 (1). 대부분의 내용을 [유전체데이터분석 -김주한 지음]에서 참고하였음을… | by 김병하 | 휴먼스케이프 기술 블로그 | Medium

</aside>

<aside> 💡 유전체 데이터 분석 과정

1. 서열정렬
   • 부분적으로 잘라서 관측, 같은 부분도 여러 번에 걸쳐서 관측해야 함→ 정확도 개선의 문제
   • 정렬과 매핑 과정 → 서열 정렬
     • 해쉬 테이블 기반 알고리즘
       • key-value 쌍에서 key값을 테이블에 저장할 대, key값을 함수를 이용해 계산 후, 해쉬 함수(key값을 계산하는 함수)는 key를 입력 받아, 0부터 배열의 크기 사이의 값을 출력한다.
     • 서픽스 트리 기반 알고리즘
       • 주어진 모든 문자열의 모든 서픽스를 트리 형태로 나타내는 자료구조
       • 선형시간에 구성 할 수 있으며 문자열에 대한 많은 문제를 효율적으로 해결 가능 → 하지만 문자열 삽입/삭제하는 경우 트리를 구성하는데 상당히 많은 시간이 소요된다.
2. SNP, INDEL 검출
   • SNP
   • INDEL
   • 위 과정을 거쳐서 필터링이나 QV갑 도출 서열 재 정렬 등 거침
   • 통계적 방법론 적용하게 발전 데이터 특성과 분석 목적에 따라 특성화 필요
3. 서열 변이 주석 달기 및 기능 예측
   • 서열정렬 작업을 수행 후 개인 유전체 데이터 크기 → 3GB 참조 유전체를 기반으로 각 변이의 위치와 snp, INDEL, SV 정보만 저장하면 데이터 압축 가능 </aside>

<aside> 💡 유전체 데이터 METHOD

1. SVM
   1. [파이썬/머신러닝] SVM(Support Vector Machine) 분류 - 분석/예제 : 네이버 블로그 (naver.com) → 위 자료 이용하여 공부 후 분류 해보기
2. CNN
   • 유전체 데이터를 이미지로 변환 → CNN에 입력
   • CNN → 합성곱 층과 풀링 층으로 구성 → 데이터 공간적 특징 추출
   • 이를 통해 유전체 데이터 패턴 학습 → 유의미한 정보 추출
3. RNN

   • 순차적인 데이터 처리 딥 러닝 알고리즘

   • 유전체 데이터 → DNA 염기서열로 표현 → (시퀀스 데이터)

   • 시퀀스 데이터 → RNN입력하여 처리

     • RNN은 과거 정보를 기억하여 현재 상태에 영향을 줄 수 있어, 유전체 데이터 특징 잘 포착 가능

   • GAN

     • GAN은 생성 모델 → 유전체 데이터의 특성을 학습하고 새로운 유전체 데이터 생성 가능
     • 생성자와 판별자라는 두 가지 모델을 사용하여 학습
     • 생성자는 무작위 노이즈를 입력으로 받아 유전체 데이터와 유사한 샘플 생성하려 하며, 판별자는 진짜 데이터와 가짜 데이터 구분하려고 함, 실제 유전체 데이터와 유사한 샘플 생성 가능

     

</aside>