300x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- google coding competition
- linux
- 파이썬
- kick start
- CSS
- 킥스타트
- DFS
- 동적 프로그래밍
- 코딩
- 프로그래밍
- 네트워크
- dp
- BFS
- 순열
- 알고리즘
- 코딩테스트
- 프로그래머스
- 운영체제
- PYTHON
- 구글 킥스타트
- 딥러닝
- 그래프
- 브루트포스
- OS
- nlp
- AI
- 동적프로그래밍
- 코딩 테스트
- 백준
- 리눅스
Archives
- Today
- Total
목록tokenize (1)
오뚝이개발자
텍스트를 문장 단위로 분할하기(nltk, sentence tokenizing)
"Hello, David. I made some cookies. Do you want som?" 위와 같은 영어 텍스트를 문장 단위로 분할하려면 어떻게 해야할까? 자연어 처리 toolkit인 NLTK에 바로 이러한 기능이 있다. 먼저 커맨드 창에 아래의 명령어를 입력하여 nltk를 설치해주어야 한다. pip install nltk python -m nltk.downloader all from nltk import sent_tokenize text = "Hello, David. I made some cookies. Do you want som?" tokenized_text = sent_tokenize(text) print(tokenized_text) # ['Hello, David.', 'I made som..
AI/AI 개발
2022. 5. 15. 15:56