개발자 이야기

  • 블로그홈
  • 지역로그
  • 태그로그
  • 미디어로그
  • 방명록

LLM 1

Serving LLM API

개요 생성 모델을 개발하다보면, 내가 만든 모델을 테스트 해볼 수 있는 WebUI나 Restful API를 만들어야 하는 상황이 오게 됩니다. 요즘에는 오픈소스가 매우 잘 되어있어서 이런 기능이 이미 잘 만들어져 있는 것을 쉽게 찾아볼 수 있습니다. 그중에서도 FastChat 프로젝트를 소개하고 간단히 알아보겠습니다. FastChat? 공식 페이지는 아래와 같습니다. https://lmsys.org/about/ About | LMSYS Org LMSYS Org, Large Model Systems Organization, is an organization missioned to democratize the technologies underlying large models and their system i..

Large Language Model/Implements 2023.09.18
1
더보기
프로필사진

일하며 알게된 내용들을 다양한 주제로 공유하고자 합니다.

  • 개발자 이야기 (20)
    • Large Language Model (1)
      • Models (0)
      • Datasets (0)
      • Implements (1)
    • Algorithm (9)
      • Greedy (8)
      • Search (0)
      • Dynamic Programming - basic (0)
    • Tools&Library (2)
    • Statistics (3)
    • Papers (1)
    • Etc (3)

Tag

RAY, 병렬처리, 모집단, LLM, 분산, 표준편차, reward_model, 표본집단, 평균, serving, 기술통계, docker-compose, JQ, API, RL, 추론통계, 통계기초, multiprocessing, opensource,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바