300x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- 동적 프로그래밍
- 코딩 테스트
- 킥스타트
- 구글 킥스타트
- CSS
- nlp
- DFS
- 프로그래밍
- BFS
- dp
- google coding competition
- 동적프로그래밍
- 코딩
- 리눅스
- 알고리즘
- kick start
- 네트워크
- 브루트포스
- 프로그래머스
- 순열
- linux
- 딥러닝
- PYTHON
- 운영체제
- 백준
- OS
- AI
- 코딩테스트
- 파이썬
- 그래프
Archives
- Today
- Total
목록tokenizing (1)
오뚝이개발자
텍스트를 문장 단위로 분할하기(nltk, sentence tokenizing)
"Hello, David. I made some cookies. Do you want som?" 위와 같은 영어 텍스트를 문장 단위로 분할하려면 어떻게 해야할까? 자연어 처리 toolkit인 NLTK에 바로 이러한 기능이 있다. 먼저 커맨드 창에 아래의 명령어를 입력하여 nltk를 설치해주어야 한다. pip install nltk python -m nltk.downloader all from nltk import sent_tokenize text = "Hello, David. I made some cookies. Do you want som?" tokenized_text = sent_tokenize(text) print(tokenized_text) # ['Hello, David.', 'I made som..
AI/AI 개발
2022. 5. 15. 15:56