전체 글 86

[최종 프로젝트] [2주차] 크롤링 진행 상황

저번주 화~목요일 오전까지 크롤링 코드 작성을 완료하고, 목요일 오후부터 금, 토, 일 연휴 내내 크롤링을 했다. 내가 처음 맡았던 2025년 4~5월 부분에서는 삭제된 방송이 많이 없었는데, 내 걸 다 마치고 다른 분들이 담당하시는 부분을 도와드리려고 2024년 7~8월을 크롤링해보니 비교적 삭제된 방송이 많은 걸 발견했다. 아무래도 1년 전 방송이다보니 그런 것 같다. 우리는 삭제된 방송이면 스토어명을 알 수 없고, 스토어명을 알 수 없다면 방송 지표도 의미가 없을 거라고 판단했기 때문에 해당 방송에 대해서는 아무 것도 수집하지 않고 다음 방송으로 넘어가는 구조로 코드를 작성했었다.대신 에러로그 파일에는 해당 날짜, 방송 상세정보 링크, 오류 정보가 누적되어 쌓였다. 그런데 삭제된 방송이 생각보다 ..

[최종 프로젝트] [1주차] 튜터링 1회차, 최종 주제 선정, 크롤링할 구역 논의

비전문가 셀러 대상 라이브커머스 매출 최적화 전략 제시를 주제로 한 내 기획안이아무래도 데이터 수집에 어려움이 있을 것 같아 양질의 데이터셋을 구할 수 있는 다른 주제로 탐색해보는 시간을 가졌다. 그렇게 팀원 두 분이 조사해오신 주제는 아래 두 가지였고,내 주제와 함께 총 3개 기획안의 분석 가치, 실현 가능성, 취업용 포트폴리오 주제로서의 적합성 등에 대한 튜터링을 받으러 갔다.1. 인천 펜타포트 락페스티벌에 관한 리뷰 데이터를 상세하게 크롤링해서 분석 후 맞춤 기획 전략을 제안2. 지역 축제 과잉으로 인한 환경오염, 예산 낭비 등의 문제점을 지적하며 개선 전략을 제시 튜터님 피드백은 (위 순서대로)1. 리뷰 크롤링은 비교적 난이도가 낮긴 하지만, 이 주제로 수집한 모든 자료가 실질적으로 비즈니스적 전..

[250602] A/B 테스트 핵심요소 및 활용되는 통계적 개념, 최종 프로젝트 주제 선정

👩🏻‍💻 Point of Today I LEARNED 📌 최종 프로젝트↗ 주제 탐색 및 선정↗ 최종 기획안 제출📌 선택학습반 (Product Data Science)↗ 4회차 벌써 6월이다. 프로젝트 하나 끝나면 월이 달라져있는데 이게 맞나 ..6월도 파이팅이다..!1. Product Data ScientistA/B 테스트1) 핵심 요소대조군 : 아무 변화를 주지 않은 그룹실험군 : 효과가 궁금한 특정 업데이트를 적용한 그룹평가지표 : 실험 효과를 측정할 수 있는 기준ex) CVR, CTR, 평균 구매 금액 등 ..2) Randomization실험군, 대조군은 반드시 랜덤화 (무작위 배정) 해야 한다.두 그룹 간의 의도적인 차이가 없어야 하기 때문 (편향 제거)= 각 그룹의 학생들이 기본적..

데이터 분석 2025.06.02

[250530] 최종 프로젝트 시작

👩🏻‍💻 Point of Today I LEARNED 📌 최종 프로젝트 시작↗ 팀원분들과 친해지기 ↗ 주제 선정 및 1차 기획안 제출 운 좋게 5월 초에 미리 팀 빌딩을 해두었는데, 그 팀원분들이 드디어 한 자리에 모였다 !모두 한 마음 한 뜻으로 함께하게 된만큼 이번 프로젝트 과정들이 기대가 된다.(사실 나만 잘 하면 됨 . . .) 즐겁고, 치열한 과정을 보내며모두가 만족스러운 성과물이 나왔으면 좋겠다 ! 오늘은 각자 생각해본 주제에 대해 이야기 나눠봤고,우선적으로는 내가 제안한[ 오픈마켓 라이브커머스 편성 가이드 및 마케팅 전략 제시 ] 주제로 1차 기획안 내용으로 제출했다. 하지만 거의 100% 웹 크롤링으로 데이터셋을 만들어야하는 게위험하기도 하고, 고객 분석이 어렵다는 단점이 있어서..

데이터 분석 2025.05.30

[250528] 지표 변동의 원인 파악 프로세스, API 실습, 정적 웹 크롤링 실습

👩🏻‍💻 Point of Today I LEARNED 📌 선택학습반 (Product Data Science)↗ 3회차📌 API 활용 실습과제↗ 네이버 검색어 트렌드 - 검색량 수집 및 line graph 시각화 실습↗ 카카오맵 - 할리스 카페 위치 정보 파악 및 folium 시각화 실습 (위도/경도)📌 웹 크롤링 ↗ 정적 크롤링 - AI 기사 추출 실습📌 최종 프로젝트 주제 탐색 1. Product Data Scientist 지표 변동의 원인을 파악하고 이에 대해 체계적으로 분석해야 한다.1단계 변동의 심각성 판단계절성이 있는 주기적인 변동인가?데이터 로깅 방식의 변경 여부제품/서비스 출시 여부2단계 Funnel 분석으로 문제가 발생한 정확한 지점 식별ex) 문제 상황 : 갑자기 카카오..

데이터 분석 2025.05.28

[250527] 기회 규모 추정 프로세스, API 강의 복습

👩🏻‍💻 Point of Today I LEARNED 📌 선택학습반 (Product Data Science) ↗ 2회차📌 API 강의 복습 1. Product Data Scientist기회 규모 추정 방법론 (3단계 Framework)1단계 동기 이해고객/회사 모두 이 기능을 통해 어떤 이점을 얻을 수 있나. 뭐가 편해지나? 특히 고객 입장에서 이 기능이 얼마나 가치가 있는지 파악2단계 기회 규모 추정이 기능이 주요 지표에 얼마나 큰 변화를 가져올 것인지를 정량적으로 추정구체적인 영향을 계산해서 기대가능한 기회규모를 산출A/B 테스트 전에 미리 계산3단계 비용 / 리스크 평가개발 비용, 잠재적 리스크 평가다른 기능이나 다른 프로젝트와 비교해서 우선순위를 결정⬇︎설정 : ㅇㅇ페이에서 정기 결제..

데이터 분석 2025.05.28

[250526] Spark 1주차, Product Data Scientist 직무소개

👩🏻‍💻 Point of Today I LEARNED 📌 SQL↗ QCC 복습📌 Spark↗ 1주차 강의📌 선택학습반 (Product Data Science)↗ 1회차 저번 주에 심화 프로젝트가 끝나고이번 주 금요일 최종 프로젝트가 시작된다.그러니까 오늘부터 목요일까지가 '마지막' 학습 주간이라는 소리..이번 주 공부 스케쥴 ^_^파이팅 ! 팅 !1. SQL 1-1. QCC 복습 QCC 6회차1번제출한 쿼리 (오답)(select gender, name, scorefrom studentswhere gender = 'F'order by score desc limit 3)union(select gender, name, scorefrom studentswhere gender = 'M'order b..

데이터 분석 2025.05.27