달력

3

« 2024/3 »

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

'netflix prize'에 해당되는 글 41

  1. 2008.03.03 ensemble, 앙상블
  2. 2008.02.28 영화, 극과 극
  3. 2008.02.27 순위상승
  4. 2008.02.26 황규백 교수님 면담 (2)
  5. 2008.02.25 순위등극!!!!
  6. 2008.02.25 32번째
  7. 2008.02.21 32번째
  8. 2008.02.20 전시를 위한 개조
  9. 2008.02.19 http://www.diegm.uniud.it/digaspero/index.php?page=software
  10. 2008.02.18 이상한 결과
2008. 3. 3. 17:17

ensemble, 앙상블 netflix prize/기타2008. 3. 3. 17:17

앙상블

인공지능 교재 664p에 매우 잘 나와있다.

"boosting" - 가장 흔한 방법

:
Posted by Kwang-sung Jun
2008. 2. 28. 22:08

영화, 극과 극 netflix prize/기타2008. 2. 28. 22:08

다음은 사용자들의 평가가 극고 극에 달하는 영화들의 리스트이다.

3864 2005 Batman Begins

5991 2005 Sin City

17324 2005 Hitch


457 2004 Kill Bill: Vol. 2

3713 2004 Saw

3710 2004 Van Helsing: The London Assignment

10231 2004 Kung Fu Hustle

10817 2004 Gantz


12155 2004 Spider-Man 2

13836 2004 Mulan 2

3579 2003 2 Fast 2 Furious


4472 2003 Love Actually

13102 2000 Coyote Ugly

11022 2004 Fahrenheit 9/11


9340,2001,Pearl Harbor

9886,1999,Star Wars: Episode I: The Phantom Menace

6844,2001,The Fast and the Furious

5991,2005,Sin City

14454,2003,Kill Bill: Vol. 1

15887,2004,Van Helsing

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

468,2003,The Matrix: Revolutions

483,2001,Rush Hour 2


1865,2004,Eternal Sunshine of the Spotless Mind

1962,2004,50 First Dates

1975,2000,Hollow Man

=2152,2000,What Women Want


3282,2004,Sideways


3427,2002,Men in Black II

3638,2003,Bad Boys II

3756,2002,About Schmidt


3925,2003,The Matrix: Reloaded

4266,2004,The Passion of the Christ


4670,1999,Wild Wild West

4698,1997,The Lost World: Jurassic Park

4972,2003,Paycheck


5154,2005,Constantine

5862,2000,Memento


5926,1999,Fight Club

6030,2001,I Am Sam


6972,1998,Armageddon

7032,2002,Austin Powers in Goldmember

8636,2003,Lara Croft: Tomb Raider: The Cradle of Life

8687,2002,Star Wars: Episode II: Attack of the Clones

9049,1997,Boogie Nights

9340,2001,Pearl Harbor

9886,1999,Star Wars: Episode I: The Phantom Menace

10170,2001,American Pie 2

10730,2002,Gangs of New York


12047,2000,Mission: Impossible II

12161,2003,Big Fish


12355,2001,A.I. Artificial Intelligence

12476,2002,Blade 2

13195,1997,Austin Powers: International Man of Mystery


14367,1998,Lethal Weapon 4

14454,2003,Kill Bill: Vol. 1


14712,2001,Tomb Raider

14725,1999,Austin Powers: The Spy Who Shagged Me


15124,1996,Independence Day

15205,2004,The Day After Tomorrow

=16522,2004,Shall We Dance?

16879,1997,Titanic

17622,2001,Vanilla Sky

:
Posted by Kwang-sung Jun
2008. 2. 27. 10:35

순위상승 netflix prize/기타2008. 2. 27. 10:35

사용자 삽입 이미지
이번엔 700위대로 진입!

:
Posted by Kwang-sung Jun
2008. 2. 26. 15:56

황규백 교수님 면담 (2) netflix prize/논문 미팅2008. 2. 26. 15:56

1. 유사도 변경
 - Corr을 이용한 유사도
 - 유클리드 거리 (2-norm)
 - p-norm (p승하여 시그마한 후에 p승시킴.) : p 값을, 0.4, 0.6, 0.8 시도해본다.

2. 다양한 파라미터로 시도. (파라미터 간의 상관관계가 있는지 여부를 따진다.)

3. 다음주 수요일 2시 미팅.

4. 무비렌즈 데이터에도 적용해보기..
:
Posted by Kwang-sung Jun
2008. 2. 25. 18:41

순위등극!!!! netflix prize/기타2008. 2. 25. 18:41


사용자 삽입 이미지
:
Posted by Kwang-sung Jun
2008. 2. 25. 00:12

32번째 netflix prize/일지2008. 2. 25. 00:12

32번째작업일지..

흠... 그동안 내가 probe set을 training 에 포함시킨 채로 알고리즘을 돌리고는 성능측정하는데 probe를 사용한건 나의 크나큰 삽질 중의 하나다.
지난번포스트를 보면 알겠지만, 어쩐지 성능이 좋더라니... 하는 말이 나온다.

  1. 최근, probe set을 제외하도록 프로그램을 수정하였다.(은근 빡심)
     -> 컴파일할때 FOR_QUALIFYING 이라는 식별자정의를 포함시켜주어야 한다.
  2. recommender(실제 추론하는 부분)이 스레드를 활용하여 작동하도록 수정하였다.
  3. 파라미터에 대한 실험.. Beta = 120000, similarity는 15가 매우 적당하다.
다음은 해야할 일
  1. 더이상 global effect를 추진할 시간이 없다. 어서 다른 프로그램들을 준비하여, SDS 페스티벌에 낼 시연 형태, 그리고 프레젠 테이션 연습 및 작성을 해야한다.
  2. 상관계수로 weight구하는 방식을 구현해 본다.(추후에 비교 분석 해야하므로.)
  3. 그리고는 논문작성은 교수님께 말씀드려서 조금 천천히 해야지.

:
Posted by Kwang-sung Jun
2008. 2. 21. 19:34

32번째 netflix prize/일지2008. 2. 21. 19:34

32번째 일지

날짜세는게 귀찮아져서 앞으로는 그냥 이렇게 하기로 마음머겄다.

오늘 처음으로 submission을 날렸다!

최근 작업현황ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
1. global mean from userdata_gen
3.604290
2. global mean from moviedata_gen
3.604290
3.  from global mean, RMSE = 1.129834
4. tried to use QuadProg++, but too complicated.
가장 수상한건 매트릭스 !!!!!!!!!!!!!!!!!!!!
둘째로 수상한것 -> 사용자 데이터를 한박자 늦게 읽는다거나.
매트릭스에서 이상한 결과가 나오거나..
아니면 BestNeighbor[]를 이용하는과정에서 엉뚱한 이웃이 들어갔다든지 또는 NonNegativeQuadraticOpt 이 잘못됐든지..
먼저, QuadProg부터 수정하고 보자.
5. RMSE = 1.308381, 8.296 sec elapsed.( weights are 1 / K )
from global mean, RMSE = 1.129834
6.
RMSE = 1.288206, 10.65321 sec elapsed. (alpha =
2816795 from global mean, RMSE 816796 average prediction = 3.822552
7.
couldn't find 1865(movie) from user scaled 360787(1989766 in user id).. movieID = 1.
해결후
8.
0.949893... k = 10, Beta = 80000 average = 3.677862, Over = 0, Below = 5650.949893... k = 10, Beta = 60000 average = 3.677862, Over = 0, Below = 565(iterations were all 2)
<iterations were all 2> =======> result from odd A(모두 평균값으로  채워져있었다.. 대각은 대각 평균으로, 나머지는 나머지 평균으로..)
9. 자료는 모두 엑셀로 옮겼다.
10. 프로그램을 좀더 테스트에 편하도록 자동화시켰다.
11. 발견한 사실 - shinkage를 낮추니까 Ax=b에서 루프가 매우 조금만 돌고도 답이 나온다.


RMSE K Beta Alpha naïve average average OverRangeCnt BelowRangeCnt
1.086715 20 500 1
0.000000 x x
1.087711 20 500 5
3.811471 x x
1.066420 20 500 5
3.772584 x x
1.062754 15 500 5
3.763922 x x
1.060523 10 500 5
3.751026 x x
1.059561 10 500 5
3.671148 x x
1.058549 10 500 5
3.671544 x x
1.082158 10 50 5
3.679396 x x
1.043956 10 1000 5
3.669001 x x
0.999239 10 5000 5
3.672115 61274 1823
0.977306 10 10000 5
3.671869 33801 1240
0.960570 10 20000 5
3.672174 16041 793
0.951201 10 40000 5
x 8467 631
0.946785 10 80000 5
3.673125 4348 607
0.944558 10 160000 5 3.579016 3.673185 1700 588
0.944167 10 240000 5 3.582144 3.673198 704 582
0.946210 10 240000 10 3.583814 3.673236 704 551
0.943102 10 240000 1 3.579747 3.673172 702 605
0.944175 10 320000 5 3.584546 3.673181 287 576
0.944596 10 480000 5 3.587935 3.673000 18 568
0.945135 10 640000 5 3.590200 3.673006 1 568
0.948938 20 240000 1 3.634656 3.673611 1187 282
0.950472 20 320000 1 3.638476 3.673582 728 277
0.947117 20 160000 1 3.629352 3.673597 2206 290
0.945321 20 80000 1 3.621160 3.673425 4868 303
0.946892 20 40000 1 3.615978 3.673165 9207 329








0.952628 20 320000 1 3.638476 3.638590 728 277

qualifying set.






20 80000 1 3.616442
9908 1773

흠..  신기한건
파라미터들이 별의별 조합을 다이뤄가며 희한한 결과를 만들어낸다는 거다.. 현재 제출한 조합은 맨 아래 있는 것과 같고.....
:
Posted by Kwang-sung Jun
2008. 2. 20. 13:55

전시를 위한 개조 netflix prize/기타2008. 2. 20. 13:55

알고리즘 진행에 대한 시각화.(예를 들면 유사도 선정 또는... Ax=b solver)

그리고.

임시의 recommender.php가 존재하는데 이는 관리 목적의 페이지로서, 서버의 관리자만이 접속할 수 있다.
(프로토타입일 뿐이므로 다른 관리 페이지를 따와서, 로그인 세션등만 위조해낸다.)

:
Posted by Kwang-sung Jun
:
Posted by Kwang-sung Jun
2008. 2. 18. 16:37

이상한 결과 netflix prize/기타2008. 2. 18. 16:37

k = 01, RMSE = 1.195444
k = 05, RMSE = 1.207073
k = 10, RMSE = 1.242245
k = 15, RMSE = 1.266350
k = 20, RMSE = 1.286274
k = 25, RMSE = 1.301162

이웃이 많을 수록 결과는 나쁘다....
왜그럴까.
:
Posted by Kwang-sung Jun