개발자 이야기

개요 일을 하다보면, json 형식의 문서를 많이 다룹니다. 어떤 처리를 하고자 한다면 파이썬 프로그램 등을 작성하는 등 코딩을 하는 수고를 해야하지만, 단순히 내용을 봐야하는 것이라면 코딩을 하기에 매우 번거로울 수 있습니다. 처음에 jq라는 툴을 알았을 때는 단순히 pretty print를 해서 볼 수 있는 툴이라고만 생각을 했었는데, 생각보다 많은 기능이 있었습니다. 우선 이번 글에서는 어떤 json파일을 조회할 때, 사용할 수 있는 방법을 간단히 정리 합니다. 방법1) pretty print 형태로 출력하기 MacBookPro:~/ $ cat ./temp.json [7:07:17] {"a":1, "b":2, "c":3} {"a":1, "b":2, "c":3} {"a":1, "b":2, "c":3}..

개요 파이썬에서 병렬처리를 쉽게 해줄 수 있는 라이브러리 입니다. 단순히 병렬처리 뿐만 아니라 머신러닝을 위한 다양한 기능이 있는 파이토치와 같은 프레임워크를 지향하는 것 같습니다. 저는 간단히 멀티프로세싱 로직만 써보고 해당 내용을 정리하고자 합니다. 설치 pip를 이용해서 간단히 설치해줍니다. pip install ray 사용법 - 1 가장 기본적인 사용법을 정리합니다. 상황은 5개의 파일이 있고, 하나의 파일을 처리하는데 5초가 걸리는 시나리오를 생각합니다. 순차방식으로 처리를 하면 대략 25초 정도의 시간이 걸려야 하지만, 이를 병렬처리를 통해 효과적으로 처리해보겠습니다. 코드 import ray import time ray.init @ray.remote def process_task(file_p..