์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- ํ์ด์ฌ ์ฒ ์ ์ ๋ฌธ
- ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ ๊ฐ์ด๋
- harkerrank
- ์คํ๊ท๋ชจํ
- MySQL
- ํ์ด์ฌ ๋จธ์ ๋ฌ๋ ์๋ฒฝ๊ฐ์ด๋
- ์คํ๋ฅดํ์ฝ๋ฉ
- hackerrank
- ํ๋ก๊ทธ๋๋จธ์ค
- ์คํ๋ฅดํ
- ๋ด์ผ๋ฐฐ์์นด๋
- ํ ์คํธ ๋ถ์
- R
- TiL
- ์คํ๋ฅดํ ์ฝ๋ฉ
- ํ์ด์ฌ
- ์น ์คํฌ๋ฉํ
- ํ๋ก์ ํธ
- ๋ฏธ์ธ๋จผ์ง
- ํ์ด์ฌ ์ฒ ์ ์ ๋ฌธ
- ๋ด์ผ๋ฐฐ์์บ ํ
- ์ค๋ธ์
- ํ๊ท๋ถ์
- ํ์ด์ฌ ์๋ฒฝ ๊ฐ์ด๋
- wil
- ์ค์ ๋ฐ์ดํฐ ๋ถ์ ํ๋ก์ ํธ
- ๋ด์ผ๋ฐฐ์
- Cluster
- SQL
- ํฐ์คํ ๋ฆฌ์ฑ๋ฆฐ์ง
- Today
- Total
OkBublewrap
2025-04-23 TIL (gensim) ๋ณธ๋ฌธ
๐ 2025-04-23 | TIL (Today I Learned)
๐ ํ๋ฃจ ์์ฝ
- ๋ด์ค 3์ค ์์ฝ ํ๋ก์ ํธ
- ์ด๋ ฅ์ ๋ฌดํ ์์ ์ค
โก๏ธ ํ๊ณ
์ด๋ ฅ์
์ ๋์ ์ธ ๋น์ฆ๋์ค ์ํฉํธ + ๊ธฐ์ ์ญ๋ ๊ธฐ์ค์ผ๋ก ์์
- ์ฑ๊ณผ๊ฐ ๋ช ํํ์ง ์์ ๊ฒฝ์ฐ๋ ๊ธฐ์ฌ ๊ธฐ๋ฐ ๊ธฐ์ ์คํ ์ค์ฌ ์์ฝ์ผ๋ก ๋์ฒด
- ๋ชฉ์ -๊ณผ์ -๊ฒฐ๊ณผ ๊ตฌ๋ถํ ํํ๋ณด๋ค ํ๋์ ์คํ ๋ฆฌ ํ๋ฆ ์์ ์์ฐ์ค๋ฝ๊ฒ ํตํฉ๋ ์์ ๊ตฌ์กฐ๊ฐ ์ข์
๋ด์ค 3์ค ์์ฝ
- ๋ด์ค ๊ธฐ์ฌ (base64) ๋์ฝ๋ฉ
- ๋ฌธ์ ์์ฝ / ํค์๋ ์ถ์ถ
- ์์ฝ ๋ฆฌํฌํธ ์์ฑ
- html ํ์ผ๋ก Export
gensim
import gensim
์์ฐ์ด ์ฒ๋ฆฌ๋ฅผ ์ํ ์คํ ์์ค ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ
์ฃผ์ ๊ธฐ๋ฅ
- ํจ์จ์ ์ธ ํ ์คํธ ์ฒ๋ฆฌ
- ์ฃผ์ ๋ชจ๋ธ๋ง
- ๋ฌธ์ ์ ์ฌ์ฑ ๋ถ์
- ๋จ์ด ์๋ฒ ๋ฉ
์์
from gensim.models import Word2Vec
from gensim.test.utils import common_texts
# Word2Vec ๋ชจ๋ธ ํ๋ จ
model = Word2Vec(sentences=common_texts, vector_size=100, window=5, min_count=1, workers=4)
# ๋จ์ด ๋ฒกํฐ ์ป๊ธฐ
word_vectors = model.wv
์ฌ์ฉ ์ฌ๋ก
- ํ ์คํธ ๋ถ๋ฅ
- ์ถ์ฒ ์์คํ
- ๊ฐ์ฑ ๋ถ์
- ๋จ์ด ์๋ฒ ๋ฉ ๋ถ์
์๋ฃ
Gensim: ์์ฐ์ด ์ฒ๋ฆฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ
 Gensim[^gensim]์ ์์ฐ์ด ์ฒ๋ฆฌ๋ฅผ ์ํ ์คํ ์์ค ํ์ดโฆ
wikidocs.net
๐ gensim 4.0 ์ด์์ summarize ๊ธฐ๋ฅ์ด ์ ๋จ
์ฌ์ฉ๋ฒ
from gensim.summarization.summarizer import summarize
from gensim.summarization.textcleaner import split_sentences
# summarize ํจ์
# ๋จ์ด์ ๊ธฐ๋ฐ ์์ฝ (word_count)
print(summarize(article, word_count=50))
# ๋น์จ ๊ธฐ๋ฐ ์์ฝ (ratio)
print(summarize(article, ratio=0.1))
์๋ฌธ
์นด์ดํธ๋ค์ด ๋ค์ด๊ฐ ์๋ฅดํ ๋ฏธ์ค ๊ณํโฆ'๋ฌ์ ์ฌ์ '์ ๋ฏธ์์ง์๊น
29์ผ(ํ์ง์๊ฐ) ๋ฐ์ฌ ์์ ์ธ โ์ฐ์ฃผ๋ฐ์ฌ์์คํ โ(SLS)๋ก์ผ์ด ๋ฏธ๊ตญ ํ๋ก๋ฆฌ๋ค์ฃผ ์ผ๋ค๋ ์ฐ์ฃผ์ผํฐ์ ๋ฐ์ฌ๋ 39B์ ์ค์น๋ผ ์๋ค. (์ฌ์ง=๋์ฌ) 2025๋ ์ธ๋ฅ๋ฅผ ๋ฌ๋ก ๋ณด๋ด๊ธฐ ์ํ ์ฒซ ๋ฒ์งธ ์ฌ์ ์ด ํ๋ฃจ ์์ผ
n.news.naver.com
gensim ์์ฝ
[์ด๋ฐ์ผ๋ฆฌ ์ ๋ค์ฌ ๊ธฐ์] 2025๋
์ธ๋ฅ๋ฅผ ๋ฌ๋ก ๋ณด๋ด๊ธฐ ์ํ ์ฒซ ๋ฒ์งธ ์ฌ์ ์ด ํ๋ฃจ ์์ผ๋ก ๋ค๊ฐ์๋ค. 28์ผ ๋ฏธ๊ตญ ํญ๊ณต์ฐ์ฃผ๊ตญ(NASA)์ ๋ฐ๋ฅด๋ฉด (ํ์ง์๊ฐ) 27์ผ ๋ฏธ๊ตญ ํ๋ก๋ฆฌ๋ค์ฃผ ์ผ๋ค๋์ฐ์ฃผ์ผํฐ์์๋ ์ค๋ฆฌ์จ ์ฐ์ฃผ์ ์ ํ์ฌํ โ์ฐ์ฃผ๋ฐ์ฌ์์คํ
โ(SLS) ๋ก์ผ ๋ฐ์ฌ๋ฅผ ์ํ ์นด์ดํธ๋ค์ด์ด ์์๋๋ค. ์ค๋ 10์ 10์ผ์ฏค ๋ฏธ๊ตญ ์๋์์ด๊ณ ์ ํํ์์ผ๋ก ๊ทํํ ์์ ์ด๋ค. ๋ฌ์ ์ฐฉ๋ฅํ๋ ๊ฒ ์์ฒด๊ฐ ๋ชฉํ์๋ ์ํด๋ก ๊ณํ๊ณผ๋ ๋ฌ๋ฆฌ ์๋ฅดํ
๋ฏธ์ค ๊ณํ์ ๋ฌ, ๋ ๋์๊ฐ ํ์ฑ๊น์ง ์ธ๋ฅ๋ฅผ ์ง์ถ์ํค๊ธฐ ์ํ ๋ด๋ํ ๊ณํ์ ์ผํ์ด๋ค.
GPT ์์ฝ
๐ญ ์นด์ดํธ๋ค์ด ๋ค์ด๊ฐ ์๋ฅดํ
๋ฏธ์ค ๊ณํโฆ'๋ฌ์ ์ฌ์ '์ ๋ฏธ์ ์ง์๊น
๐ 2022.08.29 ๋ฐ์ฌ ์์
๋ฏธ๊ตญ NASA์ ์๋ฅดํ
๋ฏธ์ค 1ํธ๊ฐ ํ๋ก๋ฆฌ๋ค ์ผ๋ค๋ ์ฐ์ฃผ์ผํฐ์์ ๋ฌ์ ํฅํด ์ถ๋ฐ ์์ . ์ ์ธ ์บก์ โ์ค๋ฆฌ์จโ์ ๋ง๋คํน์ ์ค์ด ์ฝ 42์ผ๊ฐ์ ์ํ ๋นํ์ ๋์ ๋ค.
๐ ์๋ฅดํ
๋ฏธ์ค์ ์๋ฏธ
์ํด๋ก ์ดํ ์ฒซ ์ ์ธ ๋ฌ ํ์ฌ ํ๋ก์ ํธ๋ก, ๋ฌ์ ๋ฌผ๋ก ํ์ฑ ํ์ฌ ์ ์ง๊ธฐ์ง๋ก ์ผ๋ ์ฅ๊ธฐ ๊ณํ์ ์์. ํฅํ ์ ์ธ ์ฐฉ๋ฅ๊ณผ ์ฐ์ฃผ์ ๊ฑฐ์ฅ โ๊ฒ์ดํธ์จ์ดโ ๊ฑด์ค๋ ์์ ๋ผ ์๋ค.
๐ฐ ์ฒ๋ฌธํ์ ๋น์ฉ๊ณผ ํจ๊ถ ๊ฒฝ์
ํ๋ก์ ํธ ์ด์์ฐ 930์ต ๋ฌ๋ฌ ์์. ์ค๊ตญยท๋ฌ์์ ๋ฑ๋ ๋ฌ ๊ธฐ์ง๋ฅผ ์ค๋น ์ค์ผ๋ก, ์ฐ์ฃผ์์์ ํจ๊ถ ๋คํผ ๋ณธ๊ฒฉํ.
๐ ๋ฌ ์์ ๊ฐ๋ฐ ๊ธฐ๋
๋ฌ ๋จ๊ทน ์ง์ญ์ ๋ฌผ ์์์ ํ์ฉํด ๋ก์ผ ์ฐ๋ฃ ์์ฐ ๊ฐ๋ฅ์ฑ. ์ด๋ ์ฅ๊ธฐ์ ์ผ๋ก ์ฐ์ฃผ ํ์ฌ ๋น์ฉ ์ ๊ฐ ํจ๊ณผ ๊ธฐ๋.
โ๏ธ ์ ๋ค์ฌ ๊ธฐ์ / ์ด๋ฐ์ผ๋ฆฌ
Claude์ ํ๊ฐ
gensim ์์ฝ ํ๊ฐ
- ๊ฐ๊ฒฐ์ฑ: ์งง๊ณ ํต์ฌ๋ง ๋ด์์ผ๋ ๋๋ฌด ์ ๋ณด๊ฐ ์ ํ์ ์ ๋๋ค.
- ์ ๋ณด ํฌ๊ด์ฑ: ๋ฐ์ฌ ์ค๋น, ๊ทํ ์ผ์ , ์๋ฅดํ ๋ฏธ์ค์ ์ํด๋ก์ ์ฐจ์ด์ ๋ง ๊ฐ๋ตํ ์ธ๊ธํ์ต๋๋ค.
- ๊ตฌ์กฐ: ํน๋ณํ ๊ตฌ์กฐํ ์์ด ์๋ฌธ์ ์ผ๋ถ๋ฅผ ์ถ์ถํ ๋ฏํ ์ธ์์ ๋๋ค.
- ๋งฅ๋ฝ ์ ๊ณต: ์๋ฅดํ ๋ฏธ์ค ๊ณํ์ ์ฅ๊ธฐ์ ๋ชฉํ(ํ์ฑ ์ง์ถ)๋ ์ธ๊ธํ์ผ๋ ๊ตฌ์ฒด์ ์ธ ๋งฅ๋ฝ์ด ๋ถ์กฑํฉ๋๋ค.
GPT ์์ฝ ํ๊ฐ
- ์๊ฐ์ ๊ตฌ์กฐํ: ์ด๋ชจ์ง์ ๋ณผ๋์ฒด๋ฅผ ํ์ฉํด ์ ๋ณด๋ฅผ ๊ตฌ๋ถํ๊ณ ์๊ฐ์ ์ผ๋ก ๋ช ํํ๊ฒ ํํํ์ต๋๋ค.
- ์ ๋ณด ํ๋ถ์ฑ: ๋ฐ์ฌ ์ผ์ , ๋ฏธ์ ๊ธฐ๊ฐ, ์์ฐ, ๊ตญ์ ๊ฒฝ์ ๊ตฌ๋, ์์ ํ์ฉ ๊ฐ๋ฅ์ฑ ๋ฑ ๋ค์ํ ์ธก๋ฉด์ ํฌํจํ์ต๋๋ค.
- ๋งฅ๋ฝ ์ ๊ณต: ์ฐ์ฃผ ํจ๊ถ ๊ฒฝ์๊ณผ ๋ฌ ์์ ๊ฐ๋ฐ์ ์๋ฏธ ๋ฑ ๋ ๋์ ๋งฅ๋ฝ์ ์ ๊ณตํฉ๋๋ค.
- ๋ ์ ์นํ์ : ํต์ฌ ํค์๋๋ฅผ ๊ฐ์กฐํ๊ณ ์ฒด๊ณ์ ์ผ๋ก ์ ๋ณด๋ฅผ ๋ถ๋ฅํด ๊ฐ๋ ์ฑ์ด ๋์ต๋๋ค.
์ข ํฉ ํ๊ฐ
GPT ์์ฝ์ด ๋ช
ํํ ๋ ํจ๊ณผ์ ์
๋๋ค. ์ ๋ณด๋์ด ํ๋ถํ๊ณ , ์๊ฐ์ ๊ตฌ์กฐํ๋ก ๊ฐ๋
์ฑ์ด ๋์ผ๋ฉฐ, ๋จ์ ์ฌ์ค ์ ๋ฌ์ ๋์ด ๋ฏธ์
์ ์๋ฏธ์ ๋งฅ๋ฝ๊น์ง ์ ๊ณตํฉ๋๋ค. gensim ์์ฝ์ ํ์ ์ ๋ณด๋ง ๊ฐ๋ตํ ์ ๋ฌํ๋ ๋ฐ ๊ทธ์ณ, ๋
์๊ฐ ์๋ฅดํ
๋ฏธ์ค ๊ณํ์ ์ ์ฒด์ ์ธ ์ค์์ฑ์ ์ดํดํ๊ธฐ ์ด๋ ต์ต๋๋ค. GPT ์์ฝ์ ๋
์๊ฐ ๋น ๋ฅด๊ฒ ์ค์บํ๋ฉด์๋ ์ค์ ์ ๋ณด๋ฅผ ํ์
ํ ์ ์๋๋ก ์ค๊ณ๋์๊ณ , ์๋ณธ ๊ธฐ์ฌ์ ์์ฑ์ ์ ๋ณด๊น์ง ํฌํจํ ์ ๋ ์ฅ์ ์
๋๋ค.
์์ฆ ์นด๋๋ ํฐ ์ด๋ฐ ๊ฑธ ๋ณด๋ฉด ์์ฝ, ์ ๋ฆฌ๋ ํ์คํ๊ฒ AI ๋ถ๋ถ์ด ๋๋ฆฌ ์ฌ์ฉ๋๊ณ ์๋ ๊ฒ ๊ฐ๋ค.
๋ด์ค๋ ํฐ BM๋ ์๊ฐ๋ณด๋ค ๊ด์ฐฎ์ ๋ณด์ธ๋ค.
โ๏ธ To-Do
2025.04.23 ํ ์ผ
- ๋ฌธ์ ๊ตฌ์กฐํ์ ์๊ฐํ ๋ฃ๊ธฐ
- ๋ฉด์ ์คํฐ๋
- ๋ฐ๋ฐ๋ผ ๋ฏผํ ๋ ผ๋ฆฌ์ ๊ธฐ์ ๋ถ์ค ํฐ๋
'Today I Learning' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
2025-04-28 TIL (Python ์ด๋ฉ์ผ ์ก/์์ ) (1) | 2025.04.28 |
---|---|
2025-04-27 TIL (socket, ๋ถ์คํฐ๋) (0) | 2025.04.28 |
2025-04-15 TIL (์ผ๊ธฐ) (0) | 2025.04.16 |
2025-04-14 TIL (๋ฉด์ ์ค๋น) (2) | 2025.04.15 |
2025-04-09 TIL (์๋ฃ ํ) (0) | 2025.04.10 |