netflix prize/일지
32번째
Kwang-sung Jun
2008. 2. 21. 19:34
32번째 일지
날짜세는게 귀찮아져서 앞으로는 그냥 이렇게 하기로 마음머겄다.
오늘 처음으로 submission을 날렸다!
최근 작업현황ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
1. global mean from userdata_gen
3.604290
2. global mean from moviedata_gen
3.604290
3. from global mean, RMSE = 1.129834
4. tried to use QuadProg++, but too complicated.
가장 수상한건 매트릭스 !!!!!!!!!!!!!!!!!!!!
둘째로 수상한것 -> 사용자 데이터를 한박자 늦게 읽는다거나.
매트릭스에서 이상한 결과가 나오거나..
아니면 BestNeighbor[]를 이용하는과정에서 엉뚱한 이웃이 들어갔다든지 또는 NonNegativeQuadraticOpt 이 잘못됐든지..
먼저, QuadProg부터 수정하고 보자.
5. RMSE = 1.308381, 8.296 sec elapsed.( weights are 1 / K )
from global mean, RMSE = 1.129834
6.
RMSE = 1.288206, 10.65321 sec elapsed. (alpha =
2816795 from global mean, RMSE 816796 average prediction = 3.822552
7.
couldn't find 1865(movie) from user scaled 360787(1989766 in user id).. movieID = 1.
해결후
8.
0.949893... k = 10, Beta = 80000 average = 3.677862, Over = 0, Below = 5650.949893... k = 10, Beta = 60000 average = 3.677862, Over = 0, Below = 565(iterations were all 2)
<iterations were all 2> =======> result from odd A(모두 평균값으로 채워져있었다.. 대각은 대각 평균으로, 나머지는 나머지 평균으로..)
9. 자료는 모두 엑셀로 옮겼다.
10. 프로그램을 좀더 테스트에 편하도록 자동화시켰다.
11. 발견한 사실 - shinkage를 낮추니까 Ax=b에서 루프가 매우 조금만 돌고도 답이 나온다.
흠.. 신기한건
파라미터들이 별의별 조합을 다이뤄가며 희한한 결과를 만들어낸다는 거다.. 현재 제출한 조합은 맨 아래 있는 것과 같고.....
날짜세는게 귀찮아져서 앞으로는 그냥 이렇게 하기로 마음머겄다.
오늘 처음으로 submission을 날렸다!
최근 작업현황ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
1. global mean from userdata_gen
3.604290
2. global mean from moviedata_gen
3.604290
3. from global mean, RMSE = 1.129834
4. tried to use QuadProg++, but too complicated.
가장 수상한건 매트릭스 !!!!!!!!!!!!!!!!!!!!
둘째로 수상한것 -> 사용자 데이터를 한박자 늦게 읽는다거나.
매트릭스에서 이상한 결과가 나오거나..
아니면 BestNeighbor[]를 이용하는과정에서 엉뚱한 이웃이 들어갔다든지 또는 NonNegativeQuadraticOpt 이 잘못됐든지..
먼저, QuadProg부터 수정하고 보자.
5. RMSE = 1.308381, 8.296 sec elapsed.( weights are 1 / K )
from global mean, RMSE = 1.129834
6.
RMSE = 1.288206, 10.65321 sec elapsed. (alpha =
2816795 from global mean, RMSE 816796 average prediction = 3.822552
7.
couldn't find 1865(movie) from user scaled 360787(1989766 in user id).. movieID = 1.
해결후
8.
0.949893... k = 10, Beta = 80000 average = 3.677862, Over = 0, Below = 5650.949893... k = 10, Beta = 60000 average = 3.677862, Over = 0, Below = 565(iterations were all 2)
<iterations were all 2> =======> result from odd A(모두 평균값으로 채워져있었다.. 대각은 대각 평균으로, 나머지는 나머지 평균으로..)
9. 자료는 모두 엑셀로 옮겼다.
10. 프로그램을 좀더 테스트에 편하도록 자동화시켰다.
11. 발견한 사실 - shinkage를 낮추니까 Ax=b에서 루프가 매우 조금만 돌고도 답이 나온다.
| RMSE | K | Beta | Alpha | naïve average | average | OverRangeCnt | BelowRangeCnt |
| 1.086715 | 20 | 500 | 1 | 0.000000 | x | x | |
| 1.087711 | 20 | 500 | 5 | 3.811471 | x | x | |
| 1.066420 | 20 | 500 | 5 | 3.772584 | x | x | |
| 1.062754 | 15 | 500 | 5 | 3.763922 | x | x | |
| 1.060523 | 10 | 500 | 5 | 3.751026 | x | x | |
| 1.059561 | 10 | 500 | 5 | 3.671148 | x | x | |
| 1.058549 | 10 | 500 | 5 | 3.671544 | x | x | |
| 1.082158 | 10 | 50 | 5 | 3.679396 | x | x | |
| 1.043956 | 10 | 1000 | 5 | 3.669001 | x | x | |
| 0.999239 | 10 | 5000 | 5 | 3.672115 | 61274 | 1823 | |
| 0.977306 | 10 | 10000 | 5 | 3.671869 | 33801 | 1240 | |
| 0.960570 | 10 | 20000 | 5 | 3.672174 | 16041 | 793 | |
| 0.951201 | 10 | 40000 | 5 | x | 8467 | 631 | |
| 0.946785 | 10 | 80000 | 5 | 3.673125 | 4348 | 607 | |
| 0.944558 | 10 | 160000 | 5 | 3.579016 | 3.673185 | 1700 | 588 |
| 0.944167 | 10 | 240000 | 5 | 3.582144 | 3.673198 | 704 | 582 |
| 0.946210 | 10 | 240000 | 10 | 3.583814 | 3.673236 | 704 | 551 |
| 0.943102 | 10 | 240000 | 1 | 3.579747 | 3.673172 | 702 | 605 |
| 0.944175 | 10 | 320000 | 5 | 3.584546 | 3.673181 | 287 | 576 |
| 0.944596 | 10 | 480000 | 5 | 3.587935 | 3.673000 | 18 | 568 |
| 0.945135 | 10 | 640000 | 5 | 3.590200 | 3.673006 | 1 | 568 |
| 0.948938 | 20 | 240000 | 1 | 3.634656 | 3.673611 | 1187 | 282 |
| 0.950472 | 20 | 320000 | 1 | 3.638476 | 3.673582 | 728 | 277 |
| 0.947117 | 20 | 160000 | 1 | 3.629352 | 3.673597 | 2206 | 290 |
| 0.945321 | 20 | 80000 | 1 | 3.621160 | 3.673425 | 4868 | 303 |
| 0.946892 | 20 | 40000 | 1 | 3.615978 | 3.673165 | 9207 | 329 |
| 0.952628 | 20 | 320000 | 1 | 3.638476 | 3.638590 | 728 | 277 |
| qualifying set. | |||||||
| 20 | 80000 | 1 | 3.616442 | 9908 | 1773 |
흠.. 신기한건
파라미터들이 별의별 조합을 다이뤄가며 희한한 결과를 만들어낸다는 거다.. 현재 제출한 조합은 맨 아래 있는 것과 같고.....