텍스트를 문장 단위로 분할하기(nltk, sentence tokenizing)

 

"Hello, David. I made some cookies. Do you want som?"

위와 같은 영어 텍스트를 문장 단위로 분할하려면 어떻게 해야할까?

자연어 처리 toolkit인 NLTK에 바로 이러한 기능이 있다.

먼저 커맨드 창에 아래의 명령어를 입력하여 nltk를 설치해주어야 한다.

pip install nltk
python -m nltk.downloader all

from nltk import sent_tokenize

text = "Hello, David. I made some cookies. Do you want som?"
tokenized_text = sent_tokenize(text)
print(tokenized_text)

# ['Hello, David.', 'I made some cookies.', 'Do you want som?']

 

nltk의 sent_tokenize 메소드는 위와 같이 파라미터로 주어진 텍스트에 대해 문장 단위로 끊어 리스트로 반환해준다.