▪️Installation

▪️Models

🔸commands

• ollama list : 모델 리스트 확인

🔸importing models

https://docs.ollama.com/import#Importing-a-model-from-Safetensors-weights

• safetensors

  1. file 작성 → safetensors 가 저장된 디렉토리 지정

     FROM /path/to/safetensors/directory
     

  2. ollama create [create-name] -f [1번 파일 위치]

  3. ollama run [createname] or ollama serve [createname]

• gguf

  1. file 작성 → gguf 모델 경로 지정

     FROM /path/to/file.gguf
     

  2. 위와 동일

• adapter

  1. file 작성 → base model과 그 모델에 붙일 adapter 모델 지정

     FROM <model name from ollama> or <base model file/dir from sf/gguf>
     ADAPTER /path/to/<file.gguf> or /path/to/safetensors/adapter/directory
     

  2. ollama create [model name] -f [file name]

▪️ModelFile

• DockerFile 처럼 ModelFile을 만들고, 모델과 파라미터, 시스템 프롬프트 등등 설정 가능.

🔸Parameter

FROM [model name]

PARAMETER temperature 0.9
PARAMETER top_p 0.9
PARAMETER top_k 0.9
PARAMETER num_ctx 16384

# 해당 모델이 동시에 받을 수 있는 사용자 요청의 개수를 제한 (oom 방지)
PARAMETER num_parrallel 1
...

🔸prompt

FROM ...

PARAMETER ...

SYSTEM "You are ..."

▪️server

🔸launch from model list

# check downloaded model list
ollama list
# run locally with specific model
ollama run [model name]
# serve > model은 api 호출 시 특정.
OLLAMA_HOST=0.0.0.0:[PORT] ollama serve