개발자 이야기

  • 블로그홈
  • 지역로그
  • 태그로그
  • 미디어로그
  • 방명록

multiprocessing 1

[ray] 파이썬 병렬 처리 라이브러리

개요 파이썬에서 병렬처리를 쉽게 해줄 수 있는 라이브러리 입니다. 단순히 병렬처리 뿐만 아니라 머신러닝을 위한 다양한 기능이 있는 파이토치와 같은 프레임워크를 지향하는 것 같습니다. 저는 간단히 멀티프로세싱 로직만 써보고 해당 내용을 정리하고자 합니다. 설치 pip를 이용해서 간단히 설치해줍니다. pip install ray 사용법 - 1 가장 기본적인 사용법을 정리합니다. 상황은 5개의 파일이 있고, 하나의 파일을 처리하는데 5초가 걸리는 시나리오를 생각합니다. 순차방식으로 처리를 하면 대략 25초 정도의 시간이 걸려야 하지만, 이를 병렬처리를 통해 효과적으로 처리해보겠습니다. 코드 import ray import time ray.init @ray.remote def process_task(file_p..

Tools&Library 2023.12.15
1
더보기
프로필사진

일하며 알게된 내용들을 다양한 주제로 공유하고자 합니다.

  • 개발자 이야기 (20)
    • Large Language Model (1)
      • Models (0)
      • Datasets (0)
      • Implements (1)
    • Algorithm (9)
      • Greedy (8)
      • Search (0)
      • Dynamic Programming - basic (0)
    • Tools&Library (2)
    • Statistics (3)
    • Papers (1)
    • Etc (3)

Tag

병렬처리, docker-compose, 통계기초, API, RL, 추론통계, LLM, multiprocessing, 표준편차, 표본집단, JQ, 기술통계, 모집단, opensource, reward_model, 분산, RAY, serving, 평균,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바