๊ด€๋ฆฌ ๋ฉ”๋‰ด

OkBublewrap

2025-04-23 TIL (gensim) ๋ณธ๋ฌธ

Today I Learning

2025-04-23 TIL (gensim)

์˜ฅ๋ฝ๋ฝ 2025. 4. 23. 23:25

๐Ÿ“… 2025-04-23 | TIL (Today I Learned)

๐Ÿ“‹ ํ•˜๋ฃจ ์š”์•ฝ

  • ๋‰ด์Šค 3์ค„ ์š”์•ฝ ํ”„๋กœ์ ํŠธ
  • ์ด๋ ฅ์„œ ๋ฌดํ•œ ์ˆ˜์ •์ค‘

 

โšก๏ธ ํšŒ๊ณ 

์ด๋ ฅ์„œ

์ •๋Ÿ‰์ ์ธ ๋น„์ฆˆ๋‹ˆ์Šค ์ž„ํŒฉํŠธ + ๊ธฐ์ˆ  ์—ญ๋Ÿ‰ ๊ธฐ์ค€์œผ๋กœ ์„œ์ˆ 

  • ์„ฑ๊ณผ๊ฐ€ ๋ช…ํ™•ํ•˜์ง€ ์•Š์€ ๊ฒฝ์šฐ๋Š” ๊ธฐ์—ฌ ๊ธฐ๋ฐ˜ ๊ธฐ์ˆ  ์Šคํƒ ์ค‘์‹ฌ ์š”์•ฝ์œผ๋กœ ๋Œ€์ฒด
  • ๋ชฉ์ -๊ณผ์ •-๊ฒฐ๊ณผ ๊ตฌ๋ถ„ํ˜• ํ‘œํ˜„๋ณด๋‹ค ํ•˜๋‚˜์˜ ์Šคํ† ๋ฆฌ ํ๋ฆ„ ์†์— ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ํ†ตํ•ฉ๋œ ์„œ์ˆ  ๊ตฌ์กฐ๊ฐ€ ์ข‹์Œ

 

๋‰ด์Šค 3์ค„ ์š”์•ฝ 

  1. ๋‰ด์Šค ๊ธฐ์‚ฌ (base64) ๋””์ฝ”๋”ฉ
  2. ๋ฌธ์„œ ์š”์•ฝ / ํ‚ค์›Œ๋“œ ์ถ”์ถœ
  3. ์š”์•ฝ ๋ฆฌํฌํŠธ ์ž‘์„ฑ
  4. html ํŒŒ์ผ๋กœ Export

gensim

import gensim

 
์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์˜คํ”ˆ ์†Œ์Šค ํŒŒ์ด์ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ
 

์ฃผ์š” ๊ธฐ๋Šฅ

  • ํšจ์œจ์ ์ธ ํ…์ŠคํŠธ ์ฒ˜๋ฆฌ
  • ์ฃผ์ œ ๋ชจ๋ธ๋ง
  • ๋ฌธ์„œ ์œ ์‚ฌ์„ฑ ๋ถ„์„
  • ๋‹จ์–ด ์ž„๋ฒ ๋”ฉ

์˜ˆ์ œ

from gensim.models import Word2Vec
from gensim.test.utils import common_texts

# Word2Vec ๋ชจ๋ธ ํ›ˆ๋ จ
model = Word2Vec(sentences=common_texts, vector_size=100, window=5, min_count=1, workers=4)

# ๋‹จ์–ด ๋ฒกํ„ฐ ์–ป๊ธฐ
word_vectors = model.wv

 

์‚ฌ์šฉ ์‚ฌ๋ก€

  • ํ…์ŠคํŠธ ๋ถ„๋ฅ˜
  • ์ถ”์ฒœ ์‹œ์Šคํ…œ
  • ๊ฐ์„ฑ ๋ถ„์„
  • ๋‹จ์–ด ์ž„๋ฒ ๋”ฉ ๋ถ„์„

 

์ž๋ฃŒ

Gensim: ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ

![](https://wikidocs.net/images/page/233744/GENSIM_logo.png) Gensim[^gensim]์€ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์˜คํ”ˆ ์†Œ์Šค ํŒŒ์ดโ€ฆ

wikidocs.net

 
๐Ÿ“ gensim 4.0 ์ด์ƒ์€ summarize ๊ธฐ๋Šฅ์ด ์•ˆ ๋จ
 

์‚ฌ์šฉ๋ฒ•

from gensim.summarization.summarizer import summarize
from gensim.summarization.textcleaner import split_sentences

# summarize ํ•จ์ˆ˜
# ๋‹จ์–ด์ˆ˜ ๊ธฐ๋ฐ˜ ์š”์•ฝ (word_count)
print(summarize(article, word_count=50))

# ๋น„์œจ ๊ธฐ๋ฐ˜ ์š”์•ฝ (ratio)
print(summarize(article, ratio=0.1))

 

์›๋ฌธ

์นด์šดํŠธ๋‹ค์šด ๋“ค์–ด๊ฐ„ ์•„๋ฅดํ…Œ๋ฏธ์Šค ๊ณ„ํšโ€ฆ'๋‹ฌ์˜ ์—ฌ์‹ '์€ ๋ฏธ์†Œ์ง€์„๊นŒ

29์ผ(ํ˜„์ง€์‹œ๊ฐ„) ๋ฐœ์‚ฌ ์˜ˆ์ •์ธ โ€˜์šฐ์ฃผ๋ฐœ์‚ฌ์‹œ์Šคํ…œโ€™(SLS)๋กœ์ผ“์ด ๋ฏธ๊ตญ ํ”Œ๋กœ๋ฆฌ๋‹ค์ฃผ ์ผ€๋„ค๋”” ์šฐ์ฃผ์„ผํ„ฐ์˜ ๋ฐœ์‚ฌ๋Œ€ 39B์— ์„ค์น˜๋ผ ์žˆ๋‹ค. (์‚ฌ์ง„=๋‚˜์‚ฌ) 2025๋…„ ์ธ๋ฅ˜๋ฅผ ๋‹ฌ๋กœ ๋ณด๋‚ด๊ธฐ ์œ„ํ•œ ์ฒซ ๋ฒˆ์งธ ์—ฌ์ •์ด ํ•˜๋ฃจ ์•ž์œผ

n.news.naver.com

 

gensim ์š”์•ฝ

[์ด๋ฐ์ผ๋ฆฌ ์ •๋‹ค์Šฌ ๊ธฐ์ž] 2025๋…„ ์ธ๋ฅ˜๋ฅผ ๋‹ฌ๋กœ ๋ณด๋‚ด๊ธฐ ์œ„ํ•œ ์ฒซ ๋ฒˆ์งธ ์—ฌ์ •์ด ํ•˜๋ฃจ ์•ž์œผ๋กœ ๋‹ค๊ฐ€์™”๋‹ค. 28์ผ ๋ฏธ๊ตญ ํ•ญ๊ณต์šฐ์ฃผ๊ตญ(NASA)์— ๋”ฐ๋ฅด๋ฉด (ํ˜„์ง€์‹œ๊ฐ„) 27์ผ ๋ฏธ๊ตญ ํ”Œ๋กœ๋ฆฌ๋‹ค์ฃผ ์ผ€๋„ค๋””์šฐ์ฃผ์„ผํ„ฐ์—์„œ๋Š” ์˜ค๋ฆฌ์˜จ ์šฐ์ฃผ์„ ์„ ํƒ‘์žฌํ•œ โ€˜์šฐ์ฃผ๋ฐœ์‚ฌ์‹œ์Šคํ…œโ€™(SLS) ๋กœ์ผ“ ๋ฐœ์‚ฌ๋ฅผ ์œ„ํ•œ ์นด์šดํŠธ๋‹ค์šด์ด ์‹œ์ž‘๋๋‹ค. ์˜ค๋Š” 10์›” 10์ผ์ฏค ๋ฏธ๊ตญ ์ƒŒ๋””์—์ด๊ณ  ์•ž ํƒœํ‰์–‘์œผ๋กœ ๊ท€ํ™˜ํ•  ์˜ˆ์ •์ด๋‹ค. ๋‹ฌ์— ์ฐฉ๋ฅ™ํ•˜๋Š” ๊ฒƒ ์ž์ฒด๊ฐ€ ๋ชฉํ‘œ์˜€๋˜ ์•„ํด๋กœ ๊ณ„ํš๊ณผ๋Š” ๋‹ฌ๋ฆฌ ์•„๋ฅดํ…Œ๋ฏธ์Šค ๊ณ„ํš์€ ๋‹ฌ, ๋” ๋‚˜์•„๊ฐ€ ํ™”์„ฑ๊นŒ์ง€ ์ธ๋ฅ˜๋ฅผ ์ง„์ถœ์‹œํ‚ค๊ธฐ ์œ„ํ•œ ๋‹ด๋Œ€ํ•œ ๊ณ„ํš์˜ ์ผํ™˜์ด๋‹ค.
 

GPT ์š”์•ฝ

๐Ÿ”ญ ์นด์šดํŠธ๋‹ค์šด ๋“ค์–ด๊ฐ„ ์•„๋ฅดํ…Œ๋ฏธ์Šค ๊ณ„ํšโ€ฆ'๋‹ฌ์˜ ์—ฌ์‹ '์€ ๋ฏธ์†Œ ์ง€์„๊นŒ
๐Ÿ—“ 2022.08.29 ๋ฐœ์‚ฌ ์˜ˆ์ •
๋ฏธ๊ตญ NASA์˜ ์•„๋ฅดํ…Œ๋ฏธ์Šค 1ํ˜ธ๊ฐ€ ํ”Œ๋กœ๋ฆฌ๋‹ค ์ผ€๋„ค๋”” ์šฐ์ฃผ์„ผํ„ฐ์—์„œ ๋‹ฌ์„ ํ–ฅํ•ด ์ถœ๋ฐœ ์˜ˆ์ •. ์œ ์ธ ์บก์А โ€˜์˜ค๋ฆฌ์˜จโ€™์— ๋งˆ๋„คํ‚น์„ ์‹ค์–ด ์•ฝ 42์ผ๊ฐ„์˜ ์‹œํ—˜ ๋น„ํ–‰์— ๋‚˜์„ ๋‹ค.
๐Ÿš€ ์•„๋ฅดํ…Œ๋ฏธ์Šค์˜ ์˜๋ฏธ
์•„ํด๋กœ ์ดํ›„ ์ฒซ ์œ ์ธ ๋‹ฌ ํƒ์‚ฌ ํ”„๋กœ์ ํŠธ๋กœ, ๋‹ฌ์€ ๋ฌผ๋ก  ํ™”์„ฑ ํƒ์‚ฌ ์ „์ง„๊ธฐ์ง€๋กœ ์‚ผ๋Š” ์žฅ๊ธฐ ๊ณ„ํš์˜ ์‹œ์ž‘. ํ–ฅํ›„ ์œ ์ธ ์ฐฉ๋ฅ™๊ณผ ์šฐ์ฃผ์ •๊ฑฐ์žฅ โ€˜๊ฒŒ์ดํŠธ์›จ์ดโ€™ ๊ฑด์„ค๋„ ์˜ˆ์ •๋ผ ์žˆ๋‹ค.
๐Ÿ’ฐ ์ฒœ๋ฌธํ•™์  ๋น„์šฉ๊ณผ ํŒจ๊ถŒ ๊ฒฝ์Ÿ
ํ”„๋กœ์ ํŠธ ์ด์˜ˆ์‚ฐ 930์–ต ๋‹ฌ๋Ÿฌ ์˜ˆ์ƒ. ์ค‘๊ตญยท๋Ÿฌ์‹œ์•„ ๋“ฑ๋„ ๋‹ฌ ๊ธฐ์ง€๋ฅผ ์ค€๋น„ ์ค‘์œผ๋กœ, ์šฐ์ฃผ์—์„œ์˜ ํŒจ๊ถŒ ๋‹คํˆผ ๋ณธ๊ฒฉํ™”.
๐ŸŒŒ ๋‹ฌ ์ž์› ๊ฐœ๋ฐœ ๊ธฐ๋Œ€
๋‹ฌ ๋‚จ๊ทน ์ง€์—ญ์˜ ๋ฌผ ์ž์›์„ ํ™œ์šฉํ•ด ๋กœ์ผ“ ์—ฐ๋ฃŒ ์ƒ์‚ฐ ๊ฐ€๋Šฅ์„ฑ. ์ด๋Š” ์žฅ๊ธฐ์ ์œผ๋กœ ์šฐ์ฃผ ํƒ์‚ฌ ๋น„์šฉ ์ ˆ๊ฐ ํšจ๊ณผ ๊ธฐ๋Œ€.
โœ๏ธ ์ •๋‹ค์Šฌ ๊ธฐ์ž / ์ด๋ฐ์ผ๋ฆฌ
 

Claude์˜ ํ‰๊ฐ€

gensim ์š”์•ฝ ํ‰๊ฐ€

  • ๊ฐ„๊ฒฐ์„ฑ: ์งง๊ณ  ํ•ต์‹ฌ๋งŒ ๋‹ด์•˜์œผ๋‚˜ ๋„ˆ๋ฌด ์ •๋ณด๊ฐ€ ์ œํ•œ์ ์ž…๋‹ˆ๋‹ค.
  • ์ •๋ณด ํฌ๊ด„์„ฑ: ๋ฐœ์‚ฌ ์ค€๋น„, ๊ท€ํ™˜ ์ผ์ •, ์•„๋ฅดํ…Œ๋ฏธ์Šค์™€ ์•„ํด๋กœ์˜ ์ฐจ์ด์ ๋งŒ ๊ฐ„๋žตํžˆ ์–ธ๊ธ‰ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๊ตฌ์กฐ: ํŠน๋ณ„ํ•œ ๊ตฌ์กฐํ™” ์—†์ด ์›๋ฌธ์˜ ์ผ๋ถ€๋ฅผ ์ถ”์ถœํ•œ ๋“ฏํ•œ ์ธ์ƒ์ž…๋‹ˆ๋‹ค.
  • ๋งฅ๋ฝ ์ œ๊ณต: ์•„๋ฅดํ…Œ๋ฏธ์Šค ๊ณ„ํš์˜ ์žฅ๊ธฐ์  ๋ชฉํ‘œ(ํ™”์„ฑ ์ง„์ถœ)๋Š” ์–ธ๊ธ‰ํ–ˆ์œผ๋‚˜ ๊ตฌ์ฒด์ ์ธ ๋งฅ๋ฝ์ด ๋ถ€์กฑํ•ฉ๋‹ˆ๋‹ค.

GPT ์š”์•ฝ ํ‰๊ฐ€

  • ์‹œ๊ฐ์  ๊ตฌ์กฐํ™”: ์ด๋ชจ์ง€์™€ ๋ณผ๋“œ์ฒด๋ฅผ ํ™œ์šฉํ•ด ์ •๋ณด๋ฅผ ๊ตฌ๋ถ„ํ•˜๊ณ  ์‹œ๊ฐ์ ์œผ๋กœ ๋ช…ํ™•ํ•˜๊ฒŒ ํ‘œํ˜„ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ •๋ณด ํ’๋ถ€์„ฑ: ๋ฐœ์‚ฌ ์ผ์ •, ๋ฏธ์…˜ ๊ธฐ๊ฐ„, ์˜ˆ์‚ฐ, ๊ตญ์ œ ๊ฒฝ์Ÿ ๊ตฌ๋„, ์ž์› ํ™œ์šฉ ๊ฐ€๋Šฅ์„ฑ ๋“ฑ ๋‹ค์–‘ํ•œ ์ธก๋ฉด์„ ํฌํ•จํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋งฅ๋ฝ ์ œ๊ณต: ์šฐ์ฃผ ํŒจ๊ถŒ ๊ฒฝ์Ÿ๊ณผ ๋‹ฌ ์ž์› ๊ฐœ๋ฐœ์˜ ์˜๋ฏธ ๋“ฑ ๋” ๋„“์€ ๋งฅ๋ฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
  • ๋…์ž ์นœํ™”์ : ํ•ต์‹ฌ ํ‚ค์›Œ๋“œ๋ฅผ ๊ฐ•์กฐํ•˜๊ณ  ์ฒด๊ณ„์ ์œผ๋กœ ์ •๋ณด๋ฅผ ๋ถ„๋ฅ˜ํ•ด ๊ฐ€๋…์„ฑ์ด ๋†’์Šต๋‹ˆ๋‹ค.

์ข…ํ•ฉ ํ‰๊ฐ€

GPT ์š”์•ฝ์ด ๋ช…ํ™•ํžˆ ๋” ํšจ๊ณผ์ ์ž…๋‹ˆ๋‹ค. ์ •๋ณด๋Ÿ‰์ด ํ’๋ถ€ํ•˜๊ณ , ์‹œ๊ฐ์  ๊ตฌ์กฐํ™”๋กœ ๊ฐ€๋…์„ฑ์ด ๋†’์œผ๋ฉฐ, ๋‹จ์ˆœ ์‚ฌ์‹ค ์ „๋‹ฌ์„ ๋„˜์–ด ๋ฏธ์…˜์˜ ์˜๋ฏธ์™€ ๋งฅ๋ฝ๊นŒ์ง€ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. gensim ์š”์•ฝ์€ ํ•„์ˆ˜ ์ •๋ณด๋งŒ ๊ฐ„๋žตํžˆ ์ „๋‹ฌํ•˜๋Š” ๋ฐ ๊ทธ์ณ, ๋…์ž๊ฐ€ ์•„๋ฅดํ…Œ๋ฏธ์Šค ๊ณ„ํš์˜ ์ „์ฒด์ ์ธ ์ค‘์š”์„ฑ์„ ์ดํ•ดํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. GPT ์š”์•ฝ์€ ๋…์ž๊ฐ€ ๋น ๋ฅด๊ฒŒ ์Šค์บ”ํ•˜๋ฉด์„œ๋„ ์ค‘์š” ์ •๋ณด๋ฅผ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ๋„๋ก ์„ค๊ณ„๋˜์—ˆ๊ณ , ์›๋ณธ ๊ธฐ์‚ฌ์˜ ์ž‘์„ฑ์ž ์ •๋ณด๊นŒ์ง€ ํฌํ•จํ•œ ์ ๋„ ์žฅ์ ์ž…๋‹ˆ๋‹ค.
 
์š”์ฆ˜ ์นด๋“œ๋ ˆํ„ฐ ์ด๋Ÿฐ ๊ฑธ ๋ณด๋ฉด ์š”์•ฝ, ์ •๋ฆฌ๋Š” ํ™•์‹คํ•˜๊ฒŒ AI ๋ถ€๋ถ„์ด ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๊ณ  ์žˆ๋Š” ๊ฒƒ ๊ฐ™๋‹ค.
๋‰ด์Šค๋ ˆํ„ฐ BM๋„ ์ƒ๊ฐ๋ณด๋‹ค ๊ดœ์ฐฎ์•„ ๋ณด์ธ๋‹ค.
 

โœ”๏ธ To-Do

2025.04.23 ํ•  ์ผ

  • ๋ฌธ์„œ ๊ตฌ์กฐํ™”์™€ ์‹œ๊ฐํ™” ๋“ฃ๊ธฐ
  • ๋ฉด์ ‘ ์Šคํ„ฐ๋””
  • ๋ฐ”๋ฐ”๋ผ ๋ฏผํ†  ๋…ผ๋ฆฌ์˜ ๊ธฐ์ˆ  ๋ถ์Šค ํ„ฐ๋””