MG AI 소개
MG AI는 하이퍼커넥트의 AI 기술을 활용하여 Tinder, Hinge를 비롯한 매치그룹의 다양한 제품에 기여하고 있습니다. 또한 기존의 기술로는 접근하기 어렵지만 머신러닝 기술을 통해 풀 수 있는 문제들을 찾아내고 해결하여 사용자 경험을 혁신합니다. 이를 위해 사용자들이 자신을 더 잘 표현할 수 있도록 돕는 도구를 만들고, 의미 있는 만남을 발견하는 과정에서 더 만족스러운 경험을 제공할 수 있는 새로운 기능들을 개발하고 있습니다.
MG AI ML Team 소개
ML Team은 사용자들에게 더 나은 경험을 제공하기 위해 모바일과 서버 환경에서 자연어 처리, 이미지 분석, 추천 시스템 등 다양한 분야의 AI 기술을 적극적으로 활용하여 연구 개발을 진행합니다.
이를 위해 함께 다음과 같은 문제를 해결할 수 있는 분들을 찾고 있습니다.
• Multi-modal 데이터를 효과적으로 활용하는 문제
• 서로 다른 도메인에서 수집된 데이터 간 차이를 극복하는 domain adaptation 문제
• Multi-task 혹은 multi-label 분류 모델링에 대한 문제
• 텍스트 및 이미지 요약과 평가 방법에 대한 문제
• 추천 시스템에서 발생하는 diversity 및 long-tail 문제
• large language models 혹은 vision-language models을 활용한 새로운 피쳐 개발과 이를 위한 대규모 모델 학습, 튜닝 및 서빙 문제
MG AI에서는 제품에 포함되는 AI 기술을 연구하기 위한 노력들도 꾸준히 진행하고 있습니다.
다양한 prototyping을 진행하여 빠르게 기술의 실현 가능성을 판단하고, 제품화 이후 시스템의 지속적인 개선과 성장을 이끄는 AI flywheel을 구축하기 위해 다음과 같은 방법들을 찾아낼 수 있는 분들을 찾고 있습니다.
• Highly imbalanced 또는 noisy label 데이터를 다루는 방법
• 모델 요구사항이 지속적으로 변화하거나 초기 데이터가 부족한 상황에 대응할 수 있는 meta learning 방법
• 모바일 환경에서 짧은 latency를 유지하면서도 높은 성능을 달성하는 경량 모델과 최적화
• Large scale model을 학습하고, 실제 서비스 환경에서 초당 수백 또는 수천 개의 입력을 안정적으로 처리할 수 있도록 할 수 있는 modeling, optimization 및 distillation 방법
• 기존에 배포된 모델을 지속적으로 개선할 수 있는 continual/life-long learning 방법
ML Engineer 소개
ML Engineer는 최첨단의 모델을 연구하고 개선하는 과학자로서의 연구 능력과, 만들어진 모델의 시간/공간적 복잡도를 고려해 추론 성능을 극한으로 끌어올리는 공학자로서의 개발 능력이 필요합니다.
이런 능력을 바탕으로 실제 서비스에서 겪는 문제를 발견/정의하고, 문제해결을 위한 SotA 모델을 재현 또는 개발하고, 모델을 온디바이스 및 서버 환경에 배포하고, 이후 모니터링하며 지속적으로 모델을 개선하는 AI flywheel 을 구축하는 등 다양한 업무를 수행합니다. 이 과정에서 백엔드/프론트엔드/DevOps 엔지니어, 데이터 분석가, PM 등 다양한 전문조직과 적극적으로 협업하며 도움을 받습니다.
일하는 모습에 대한 조금 더 자세한 이야기는 다음의 내용을 참고하시면 좋습니다.
연구의 결과물을 정리하여 논문 혹은 코드로 공개하는 것 또한 팀 목표 중 하나입니다.
제품에 사용하기 위한 목적으로 머신러닝 모델을 만들다 보면, 기존 연구로는 부족한 경우가 많습니다. 부족한 부분을 채우기 위해 진행된 연구의 결과물을 프로젝트 참여자들이 모두 함께 협업하여 연구의 의미 있는 부분을 정돈하고 가능하다면 코드와 함께 공개합니다. 그 결과, 지금까지 아래와 같은 대외적 연구 성과를 거둘 수 있었습니다.
- 2018년 저전력 이미지 인식 대회(LPIRC) 2등
ML 연구가 잘 진행되기 위해서는 딥러닝 학습을 위한 인프라도 잘 갖추어져야합니다.
하이퍼커넥트에서는 ML Engineer들이 충분히 모델 개발 및 실험을 진행할 수 있도록 자체적인 딥러닝 연구용 클러스터를 구축하여 활용하고 있습니다.
DGX-A100 20대로 구성된 클러스터(총 160대의 A100 GPU)를 사용할 수 있으며,를 포함한 다양한 on-premise 장비들을 연구개발에 활용할 수 있습니다. 추가적으로, 데이터 수집, 전처리를 포함한 자체적인 데이터 파이프라인을 클라우드 서비스를 활용하여 구축 및 운영하고 있습니다. 또, ML 모델의 제품화를 도와주실 다양한 소프트웨어 엔지니어 (백엔드/프론트엔드/DevOps/MLSE)분들과 함께 일하고 있습니다.
#HPCNT