<aside> ✅ 정규 표현식

</aside>

• 정규 표현식 문법

<aside> ✅ 파이썬에서 정규 표현식 사용

</aside>

• 정규식을 사용할 때는 ‘re’라는 라이브러리 사용

  import re
  

• 라이브러리 내부 메서드

  • match
  • compile
  • search
  • split
  • sub
  • findall
  • finditer

<aside> ✅ 단어의 토큰화

</aside>

• 내장 함수인 split()을 사용하여 토큰화 (공백 기준으로 단어를 분리)
• nltk의 tokenize 사용하는 것이 단어를 단순 분할 하는 것보다 좋음
• 토큰화
  • 문장을 분리 split()하는 과정을 나타냄
  • Tokenizer 클래스 : 단어를 토큰으로 변환

import nltk

sentence = 'word is very difference'
# 공백 기준 분할
tokens = [x for x in sentence.split(' ')]

nltk.download('punkt')

from nltk.tokenize import word_tokenize

tokens = word_tokenize(sentence)
print(tokens)

<aside> ✅ 문장의 토큰화

</aside>

• 줄바꿈 기준으로 한다는 것 외에는 단어의 토큰화와 비슷함
• nltk 라이브러리의 sent_tokenize() 메소드 사용
• 이진 분류 이용하여 더욱 좋은 토큰화를 할 수 있음

from nltk import sent_tokenize

sentences = 'The world is peace.\\nbut The world is still proceeding war.\\nso we be careful saving peace.'

print(sentences)

tokens_v2 = sent_tokenize(sentences)
print(tokens_v2)