오늘 임플론포스팅, 미리보기 ?✔윤승넷플릭스에서 사용할 추천 알고리즘을 알아보기 ✔ お추천 시스템의 종류에 대해서 알아보기 ✔PPython으로 추천 알고리즘을 풀다.
?
넷플릭스 이용자가 고를 수 있는 영화 수는 약 7만 5천편이라는 사실을 알고 계셨나요? 막대한 선택지가 넷플릭스 이용자 앞에 놓여있는 셈인데, 그래서 넷플릭스 이용자의 취향에 따라 콘텐츠를 추천하는 개인화 추천 시스템을 활용하고 있습니다. 자신의 취향에 따라 홈 화면도 극과 극으로 나뉘는 경우가 있을 정도로 개인 추천 시스템이 잘 구축되어 있습니다. 오늘은 넷플릭스의 추천 알고리즘에 대해 알아보겠습니다
추천 시스템이란?Recommendation System
권장 시스템은 사용자의 과거 행동 데이터나 다른 데이터를 바탕으로 사용자에게 필요한 정보나 제품을 제시하는 시스템입니다. 유튜브, 넷플릭스뿐만 아니라 온라인 쇼핑몰, 뉴스추천, 금융상품추천, 검색시스템 등 다양한 분야에서 사용되고 있습니다.
추천 알고리즘은 빅데이터와 함께 발전합니다. 빅데이터 속 집단의 크기를 나눌 수 있게 되었습니다. 사용자별로 맞춤형 추천과 서비스를 제공하는 것을 개인화 추천 시스템이라고 합니다.
넷플릭스 추천 알고리즘 추천 시스템 종류
추천 시스템 종류
추천 시스템은 크게 다섯 가지로 분류할 수 있습니다. 협업 필터링(Collaborative Filtering), 내용 기반 필터링(Content-based Filtering), 지식 기반 필터링(Knowlege-Based Filtering), 딥러닝 권장 기술(Deep Learing), 하이브리드(Hybrid)입니다. 그 중에서 Netflix 의 추천 알고리즘은 협업 필터링과 내용 기반의 필터링이 적용되고 있는 것으로 알려져 있습니다. 먼저 이 두 가지 필터링부터 살펴보겠습니다.
협업 필터링(Collaborative Filtering)
(왼쪽) 로맨스, 드라마 장르를 좋아하는 A의 홈 화면 / (오른쪽) 액션, 미스터리 장르를 좋아하는 B의 홈 화면 출처 : 넷플릭스
콜라보레이션 필터링은 구매하고 소비한 제품에 대한 각 소비자의 평가를 받고 평가 패턴이 비슷한 소비자를 하나의 집단으로 간주합니다. 각 집단에 속한 소비자들의 취향을 활용하는 기술입니다. 알고리즘의 결과가 직관적이며 항목의 구체적인 내용을 분석하지 않아도 된다는 장점이 있습니다. 예를 들면, “마이네임”을 시청한 시청자가 “닥스트아워”를 시청한 사람에게 “닥스트아워”를 추천하는 방법입니다.
핵심은 소비자의 평가입니다. 사람들의 취향이 뚜렷하게 구분되는 제품에는 높은 정확도를 보이지만 소비자의 평가 정보를 얻기 어렵다는 단점이 있습니다. 이러한 한계를 보완하기 위해 장바구니에 담은 제품이거나 공지 설정한 제품의 클릭스트림(Clickstream)을 수집, 분석하여 소비자의 취향과 요구를 파악할 수 있습니다.
내용기반 필터링(Content-based Filtering)
협업 필터링과 내용 기반 필터링 출처: researchgate
내용기반 필터링은 제품의 내용을 분석하고 추천해 주는 기술입니다. 소비자가 소비하는 제품 중 텍스트 정보가 많은 제품을 분석하여 추천할 때 자주 이용합니다. 내용기반 필터링을 수행하기 위해서는 항목을 분석한 프로파일과 사용자의 선호도를 추출한 프로파일을 추출하여 유사성을 계산해야 합니다. 사용자의 특성을 비교하여 사용자가 선호하는 콘텐츠를 제공합니다.
사용자들은 어떤 영화를 찾나 그가 보기 시작하자마자 그만두는 영화는 무엇인가 그는 시리즈물을 한꺼번에 보는가?하는 개인적 취향에 대한 정보와 영화의 배경, 인물, 장르 등을 분석한 정보와 비교하는 방법입니다.
출처 : https : // www . netflixpr ize.com/leaderboard.html
현재 넷플릭스에서 사용되는 알고리즘은 협업 필터링을 기반으로 고도화된 “모델 기반의 협업 필터링(Model-based Collaborative Filtering algorithm)”이라고 합니다. 2006년 넷플릭스가 100만달러의 상금을 들여 공모한 ‘넷플릭스 프라이즈’에 의해 개발되었다고 합니다.
협업 필터링은 계산량이 비교적 많기 때문에 사용자 수가 많을 경우 효율적으로 추천할 수 없다는 단점이 있습니다. 또한 사용자가 포인트를 주지 않은 영화의 경우 협업 필터링을 적극적으로 활용할 수 없게 됩니다. Netflix 는 협업 필터링의 한계를 극복하기 위해, 내용 기반의 필터링도 동시에 사용됩니다.
나와 취향이 같은 단 1명의 사람을 찾지 않고, 나와 ‘비교적’ 취향이 가까운 사용자 집단을 찾아내고 나서 그들 모두가 좋아하는 작품을 선별합니다. 주연배우는인사이더인가,아웃사이더인가?,영화의배경은어디인가?,해피엔딩인가?이런영화의내용을세세하게분해해서내용기반 필터링의기반이됩니다.
기타 권장 알고리즘의 종류 추천 시스템 종류 지식 기반 필터링(Knowlege-Based Filtering) 협업 필터링과 내용 기반 필터링의 공통된 단점이 있습니다. 어떤 소비자들이 어떤 제품을 선호하는지에 대한 분석은 가능하지만 왜 그 제품을 좋아하는지에 대한 대답은 내릴 수 없어요. 지식기반 필터링은 특정 분야의 전문가의 도움을 받아 해당 분야의 전체적인 지식구조를 구축하고 활용하는 방법입니다. 해당 도메인의 중요한 개념을 바탕으로 체계도(ontology)를 만들어내는 것이 일반적인 방법이죠. 이러한시스템도를바탕으로소비자가구입한흥미있는제품과관련있는제품을추천할때이시스템을참고해야합니다.
딥러닝 권장기술(Deep Learing) AI 알고리즘 중 현재 가장 많이 사용되고 있습니다. 다양한 사용자와 아이템의 특징값(피처)을 사용하며, 이를 통해 얻은 출력은 각 아이템에 대한 각 사용자의 예상 선호도에 사용됩니다. 각 사용자에 대해 많은 아이템별로 예상되는 선호도를 계산하여 선호도가 높은 제품을 추천하는 것입니다. 다양한 입력 변수를 사용할 수 있지만 정확도가 다른 알고리즘에 비해서 그렇게 뛰어나지는 않습니다.
하이브리드(Hybrid)에 4개의 알고리즘 중 2개 이상을 혼합하여 사용하는 형태입니다. 각 알고리즘의 장단점이 분명하기 때문에 이를 적절하게 결합해서 좋은 알고리즘을 만들 수 있습니다. 넷플릭스도협업필터링과내용기반필터링을활용하고있어서하이브리드라고할수있겠습니다.
Python에서 구현되는 추천시스템 강의 임프론 강의 소개
다양한 추천 알고리즘의 작동 원리를 이해함으로써 당신만의 개인화 추천 알고리즘을 만들어 보세요!, 개인화 추천 시스템 구현✅ 거친 코딩과 함께 거칠지만 이득! 성공 서비스 비결, 추천 시스템 알고리즘 ?? [사진] 넷플릭스, 아마존, 유튜브, 스포… bit.ly
권장 알고리즘 기초개념부터 널리 알기
출처 : 인터파크도서
개인화 추천 알고리즘에 관심 있는 데이터 분석가라면 신규 인프라 업데이트 된 이 강의를 소개합니다! 개인화 추천 기술의 전반적인 내용을 다룹니다. 추천시스템책의 PPython을 이용한 개인화 추천 시스템 ᅳ를 참고로 체계적인 강의 커리큘럼이 구성되어 있습니다. 본격적인 실습으로 넘어가기 전에 개념과 기본 동작의 원리를 익히면서 기초를 다질 수 있습니다.
권장 알고리즘 내 손으로 직접 구현하기
실강의 화면
권장 알고리즘의 정확한 개념과 원리를 고민한 후 직관적인 언어파이슨(Python)을 활용하여 실습해 보는 강의입니다. 파이썬(Python)은 다른 프로그래밍 언어에 비해 더 빨리 배울 수 있으며 인공지능 분야에 특화된 언어입니다. 인공지능 모델 구축에 필요한 데이터 엔지니어링까지 함께 배울 수 있도록 설계되었습니다!
어떤 추천 시스템 데이터로 실습을 진행하시겠습니까? 미네소타대학교 그룹렌즈(Group Lens) 프로젝트를 통해 개발되고 검증된 Movie Lens 데이터를 활용하여 실습을 진행한다는 점! 추천 시스템을 배워 실무에 맞는 구현 능력까지 키우고 싶으신 분이라면 지금 바로 커리큘럼을 보세요!
무려 20% 얼리버드 할인으로 커피 5잔 가격으로 추천 알고리즘을 학습할 수 있으니 놓치지 말고 얼리버드 할인 기회를 활용해 보세요!
다양한 추천 알고리즘의 작동 원리를 이해함으로써 당신만의 개인화 추천 알고리즘을 만들어 보세요!, 개인화 추천 시스템 구현✅ 거친 코딩과 함께 거칠지만 이득! 성공 서비스 비결, 추천 시스템 알고리즘 ?? [사진] 넷플릭스, 아마존, 유튜브, 스포… bit.ly
진정한 프로의 지식을 배우는 곳
