300x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- linux
- 운영체제
- 순열
- DFS
- nlp
- BFS
- 딥러닝
- 킥스타트
- 코딩
- google coding competition
- 프로그래밍
- 구글 킥스타트
- 동적 프로그래밍
- AI
- 리눅스
- 알고리즘
- 백준
- 동적프로그래밍
- OS
- CSS
- 파이썬
- 그래프
- 네트워크
- kick start
- dp
- 코딩 테스트
- 브루트포스
- 프로그래머스
- PYTHON
- 코딩테스트
Archives
- Today
- Total
목록sentence tokenizing (1)
오뚝이개발자
텍스트를 문장 단위로 분할하기(nltk, sentence tokenizing)
"Hello, David. I made some cookies. Do you want som?" 위와 같은 영어 텍스트를 문장 단위로 분할하려면 어떻게 해야할까? 자연어 처리 toolkit인 NLTK에 바로 이러한 기능이 있다. 먼저 커맨드 창에 아래의 명령어를 입력하여 nltk를 설치해주어야 한다. pip install nltk python -m nltk.downloader all from nltk import sent_tokenize text = "Hello, David. I made some cookies. Do you want som?" tokenized_text = sent_tokenize(text) print(tokenized_text) # ['Hello, David.', 'I made som..
AI/AI 개발
2022. 5. 15. 15:56