ËÑË÷¸ß¼¶ËÑË÷
»úÆ÷ÈËÍø»¥¶¯ÉçÇø¼¼ÊõÌÖÂÛ×¨ÇøÈí¼þÓë±à³Ì[×ªÔØ]Éî¶Èѧϰ£º ÍÆ½øÈ˹¤ÖÇÄܵÄÃÎÏë
½»Á÷»úÆ÷ÈËÔ˶¯ºÍ×÷ÒµµÄÖ¸Áî¿ØÖÆ¼¼Êõ¡¢Èí¼þÓë±à³Ì¼¼ÊõºÍ·½·¨£¬ÒÔ¼°¿ØÖÆÆ÷³ÌÐò¿ª·¢¡£
´ó¼ÒÔÚ×öʲô
·¢±íÐÂÖ÷Ìâ  ÊÕ²Ø ´òÓ¡ ÍÆ¼ö 
×÷Õß ÎÊÌ⣺

[×ªÔØ]Éî¶Èѧϰ£º ÍÆ½øÈ˹¤ÖÇÄܵÄÃÎÏë

·¢²¼Ê±¼ä£º 2014-6-4 ÏÂÎç4:56

×÷Õߣº germ

µÈ¼¶£º ÎäÁÖÐÂÐã

»ý·Ö£º 785 ·Ö

·¢ÌûÊý£º 152 ´Î

ÍøÕ¾×Ü»ý·Ö£º 785 ·Ö

¾­ÑéÖµ£º 16.0

²é¿´Óû§µÄËùÓз¢ÑÔ

²é¿´Óû§µÄ¸öÈËÖ÷Ò³

2012Äê6Ô£¬¡¶Å¦Ô¼Ê±±¨¡·Åû¶ÁËGoogle BrainÏîÄ¿£¬ÎüÒýÁ˹«ÖڵĹ㷺¹Ø×¢¡£Õâ¸öÏîÄ¿ÊÇÓÉÖøÃûµÄ˹̹¸£´óѧ»úÆ÷ѧϰ½ÌÊÚAndrew NgºÍÔÚ´ó¹æÄ£¼ÆËã»úϵͳ·½ÃæµÄÊÀ½ç¶¥¼âר¼ÒJeff Dean¹²Í¬Ö÷µ¼£¬ÓÃ16000¸öCPU CoreµÄ²¢ÐмÆËãÆ½Ì¨ÑµÁ·Ò»ÖÖ³ÆÎª¡°Éî²ãÉñ¾­ÍøÂ硱£¨DNN£¬Deep Neural Networks£©µÄ»úÆ÷ѧϰģÐÍ£¬ÔÚÓïÒôʶ±ðºÍͼÏñʶ±ðµÈÁìÓò»ñµÃÁ˾޴óµÄ³É¹¦¡£2012Äê11Ô£¬Î¢ÈíÔÚÖйúÌì½òµÄÒ»´Î»î¶¯ÉϹ«¿ªÑÝʾÁËÒ»¸öÈ«×Ô¶¯µÄͬÉù´«Òëϵͳ£¬½²ÑÝÕßÓÃÓ¢ÎÄÑݽ²£¬ºǫ́µÄ¼ÆËã»úÒ»ÆøºÇ³É×Ô¶¯Íê³ÉÓïÒôʶ±ð¡¢Ó¢ÖлúÆ÷·­Ò룬ÒÔ¼°ÖÐÎÄÓïÒôºÏ³É£¬Ð§¹û·Ç³£Á÷³©¡£¾Ý±¨µÀ£¬ºóÃæÖ§³ÅµÄ¹Ø¼ü¼¼ÊõÒ²ÊÇDNN£¬»òÕßÉî¶Èѧϰ£¨DL£¬Deep Learning£©¡£
2013Äê1Ô£¬ÔڰٶȵÄÄê»áÉÏ£¬´´Ê¼È˼æCEOÀîÑåºê¸ßµ÷Ðû²¼Òª³ÉÁ¢°Ù¶ÈÑо¿Ôº£¬ÆäÖеÚÒ»¸öÖØµã·½Ïò¾ÍÊÇÉî¶Èѧϰ£¬²¢Îª´Ë¶ø³ÉÁ¢Institute of Deep Learning£¨IDL£©¡£ÕâÊǰٶȳÉÁ¢Ê®¶àÄêÒÔÀ´µÚÒ»´Î³ÉÁ¢Ñо¿Ôº¡£2013Äê4Ô£¬¡¶ÂéÊ¡Àí¹¤Ñ§Ôº¼¼ÊõÆÀÂÛ¡·ÔÓÖ¾½«Éî¶ÈѧϰÁÐΪ2013ÄêÊ®´óÍ»ÆÆÐÔ¼¼Êõ£¨Breakthrough Technology£©Ö®Êס£
¶ÁÕßÒ»¶¨·Ç³£ºÃÆæ£¬Ê²Ã´ÊÇÉî¶Èѧϰ£¿ÎªÊ²Ã´Éî¶ÈѧϰÊܵ½Ñ§Êõ½çºÍ¹¤Òµ½çÈç´Ë¹ã·ºµÄÖØÊÓ£¿Éî¶Èѧϰ¼¼ÊõÑз¢ÃæÁÙʲôÑùµÄ¿ÆÑ§ºÍ¹¤³ÌÎÊÌ⣿Éî¶Èѧϰ´øÀ´µÄ¿Æ¼¼½ø²½½«ÔõÑù¸Ä±äÈËÃǵÄÉú»î£¿
»úÆ÷ѧϰµÄÁ½´ÎÀ˳±£º´Ódz²ãѧϰµ½Éî¶Èѧϰ
ÔÚ½âÊÍÉî¶Èѧϰ֮ǰ£¬ÎÒÃÇÐèÒªÁ˽âʲôÊÇ»úÆ÷ѧϰ¡£»úÆ÷ѧϰÊÇÈ˹¤ÖÇÄܵÄÒ»¸ö·ÖÖ§£¬¶øÔںܶàʱºò£¬¼¸ºõ³ÉΪÈ˹¤ÖÇÄܵĴúÃû´Ê¡£¼òµ¥À´Ëµ£¬»úÆ÷ѧϰ¾ÍÊÇͨ¹ýËã·¨£¬Ê¹µÃ»úÆ÷ÄÜ´Ó´óÁ¿ÀúÊ·Êý¾ÝÖÐѧϰ¹æÂÉ£¬´Ó¶ø¶ÔеÄÑù±¾×öÖÇÄÜʶ±ð»ò¶ÔδÀ´×öÔ¤²â¡£´Ó1980Äê´úÄ©ÆÚÒÔÀ´£¬»úÆ÷ѧϰµÄ·¢Õ¹´óÖ¾­ÀúÁËÁ½´ÎÀ˳±£ºÇ³²ãѧϰ£¨Shallow Learning£©ºÍÉî¶Èѧϰ£¨Deep Learning£©¡£ÐèÒªÖ¸³öÊÇ£¬»úÆ÷ѧϰÀúÊ·½×¶ÎµÄ»®·ÖÊÇÒ»¸öÈÊÕß¼ûÈÊ£¬ÖÇÕß¼ûÖǵÄÊÂÇ飬´Ó²»Í¬µÄά¶ÈÀ´¿´»áµÃµ½²»Í¬µÄ½áÂÛ¡£ÕâÀïÎÒÃÇÊÇ´Ó»úÆ÷ѧϰģÐ͵IJã´Î½á¹¹À´¿´µÄ¡£
µÚÒ»´ÎÀ˳±£ºÇ³²ãѧϰ
1980Äê´úÄ©ÆÚ£¬ÓÃÓÚÈ˹¤Éñ¾­ÍøÂçµÄ·´Ïò´«²¥Ëã·¨£¨Ò²½ÐBack PropagationËã·¨»òÕßBPËã·¨£©µÄ·¢Ã÷£¬¸ø»úÆ÷ѧϰ´øÀ´ÁËÏ£Íû£¬ÏÆÆðÁË»ùÓÚͳ¼ÆÄ£Ð͵ĻúÆ÷ѧϰÈȳ±¡£Õâ¸öÈȳ±Ò»Ö±³ÖÐøµ½½ñÌì¡£ÈËÃÇ·¢ÏÖ£¬ÀûÓÃBPËã·¨¿ÉÒÔÈÃÒ»¸öÈ˹¤Éñ¾­ÍøÂçÄ£ÐÍ´Ó´óÁ¿ÑµÁ·Ñù±¾ÖÐѧϰ³öͳ¼Æ¹æÂÉ£¬´Ó¶ø¶Ôδ֪ʼþ×öÔ¤²â¡£ÕâÖÖ»ùÓÚͳ¼ÆµÄ»úÆ÷ѧϰ·½·¨±ÈÆð¹ýÈ¥»ùÓÚÈ˹¤¹æÔòµÄϵͳ£¬ÔÚºÜ¶à·½ÃæÏÔʾ³öÓÅÔ½ÐÔ¡£Õâ¸öʱºòµÄÈ˹¤Éñ¾­ÍøÂ磬ËäȻҲ±»³Æ×÷¶à²ã¸ÐÖª»ú£¨Multi-layer Perceptron£©£¬µ«Êµ¼ÊÉÏÊÇÒ»ÖÖÖ»º¬ÓÐÒ»²ãÒþ²ã½ÚµãµÄdz²ãÄ£ÐÍ¡£
90Äê´ú£¬¸÷ÖÖ¸÷ÑùµÄdz²ã»úÆ÷ѧϰģÐÍÏà¼Ì±»Ìá³ö£¬±ÈÈçÖ§³ÅÏòÁ¿»ú£¨SVM£¬Support Vector Machines£©¡¢Boosting¡¢×î´óìØ·½·¨£¨ÀýÈçLR£¬ Logistic Regression£©µÈ¡£ÕâЩģÐ͵Ľṹ»ù±¾ÉÏ¿ÉÒÔ¿´³É´øÓÐÒ»²ãÒþ²ã½Úµã£¨ÈçSVM¡¢Boosting£©£¬»òûÓÐÒþ²ã½Úµã£¨ÈçLR£©¡£ÕâЩģÐÍÔÚÎÞÂÛÊÇÀíÂÛ·ÖÎö»¹ÊÇÓ¦Óö¼»ñµÃÁ˾޴óµÄ³É¹¦¡£Ïà±È½Ï֮ϣ¬ÓÉÓÚÀíÂÛ·ÖÎöµÄÄѶȣ¬¼ÓÉÏѵÁ··½·¨ÐèÒªºÜ¶à¾­ÑéºÍ¼¼ÇÉ£¬ËùÒÔÕâ¸öʱÆÚdz²ãÈ˹¤Éñ¾­ÍøÂç·´¶øÏà¶Ô½ÏΪ³Á¼Å¡£
2000ÄêÒÔÀ´»¥ÁªÍøµÄ¸ßËÙ·¢Õ¹£¬¶Ô´óÊý¾ÝµÄÖÇÄÜ»¯·ÖÎöºÍÔ¤²âÌá³öÁ˾޴óÐèÇó£¬Ç³²ãѧϰģÐÍÔÚ»¥ÁªÍøÓ¦ÓÃÉÏ»ñµÃÁ˾޴ó³É¹¦¡£×î³É¹¦µÄÓ¦ÓðüÀ¨ËÑË÷¹ã¸æÏµÍ³£¨±ÈÈçGoogleµÄAdWords¡¢°Ù¶ÈµÄ·ï³²ÏµÍ³£©µÄ¹ã¸æµã»÷ÂÊCTRÔ¤¹À¡¢ÍøÒ³ËÑË÷ÅÅÐò£¨ÀýÈçYahoo!ºÍ΢ÈíµÄËÑË÷ÒýÇæ£©¡¢À¬»øÓʼþ¹ýÂËϵͳ¡¢»ùÓÚÄÚÈݵÄÍÆ¼öϵͳµÈ¡£


µÚ¶þ´ÎÀ˳±£ºÉî¶Èѧϰ
2006Ä꣬¼ÓÄôó¶àÂ×¶à´óѧ½ÌÊÚ¡¢»úÆ÷ѧϰÁìÓòÌ©¶·¡ª¡ªGeoffrey HintonºÍËûµÄѧÉúRuslan SalakhutdinovÔÚ¶¥¼âѧÊõ¿¯Îï¡¶¿ÆÑ§¡·ÉÏ·¢±íÁËһƪÎÄÕ£¬¿ªÆôÁËÉî¶ÈѧϰÔÚѧÊõ½çºÍ¹¤Òµ½çµÄÀ˳±¡£ÕâÆªÎÄÕÂÓÐÁ½¸öÖ÷ÒªµÄÐÅÏ¢£º1. ºÜ¶àÒþ²ãµÄÈ˹¤Éñ¾­ÍøÂç¾ßÓÐÓÅÒìµÄÌØÕ÷ѧϰÄÜÁ¦£¬Ñ§Ï°µÃµ½µÄÌØÕ÷¶ÔÊý¾ÝÓиü±¾ÖʵĿ̻­£¬´Ó¶øÓÐÀûÓÚ¿ÉÊÓ»¯»ò·ÖÀࣻ2. Éî¶ÈÉñ¾­ÍøÂçÔÚѵÁ·ÉϵÄÄѶȣ¬¿ÉÒÔͨ¹ý¡°Öð²ã³õʼ»¯¡±£¨Layer-wise Pre-training£©À´ÓÐЧ¿Ë·þ£¬ÔÚÕâÆªÎÄÕÂÖУ¬Öð²ã³õʼ»¯ÊÇͨ¹ýÎ޼ලѧϰʵÏֵġ£
×Ô2006ÄêÒÔÀ´£¬Éî¶ÈѧϰÔÚѧÊõ½ç³ÖÐøÉýΡ£Ë¹Ì¹¸£´óѧ¡¢Å¦Ô¼´óѧ¡¢¼ÓÄôóÃÉÌØÀû¶û´óѧµÈ³ÉΪÑо¿Éî¶ÈѧϰµÄÖØÕò¡£2010Ä꣬ÃÀ¹ú¹ú·À²¿DARPA¼Æ»®Ê×´Î×ÊÖúÉî¶ÈѧϰÏîÄ¿£¬²ÎÓë·½ÓÐ˹̹¸£´óѧ¡¢Å¦Ô¼´óѧºÍNECÃÀ¹úÑо¿Ôº¡£Ö§³ÖÉî¶ÈѧϰµÄÒ»¸öÖØÒªÒÀ¾Ý£¬¾ÍÊÇÄÔÉñ¾­ÏµÍ³µÄÈ·¾ßÓзḻµÄ²ã´Î½á¹¹¡£Ò»¸ö×îÖøÃûµÄÀý×Ó¾ÍÊÇHubel-WieselÄ£ÐÍ£¬ÓÉÓÚ½ÒʾÁËÊÓ¾õÉñ¾­µÄ»úÀí¶øÔø»ñµÃŵ±´¶ûҽѧÓëÉúÀíѧ½±¡£³ýÁË·ÂÉúѧµÄ½Ç¶È£¬Ä¿Ç°Éî¶ÈѧϰµÄÀíÂÛÑо¿»¹»ù±¾´¦ÓÚÆð²½½×¶Î£¬µ«ÔÚÓ¦ÓÃÁìÓòÒÑÏÔÏÖ³ö¾Þ´óÄÜÁ¿¡£2011ÄêÒÔÀ´£¬Î¢ÈíÑо¿ÔººÍGoogleµÄÓïÒôʶ±ðÑо¿ÈËÔ±ÏȺó²ÉÓÃDNN¼¼Êõ½µµÍÓïÒôʶ±ð´íÎóÂÊ20£¥~30£¥£¬ÊÇÓïÒôʶ±ðÁìÓòÊ®¶àÄêÀ´×î´óµÄÍ»ÆÆÐÔ½øÕ¹¡£2012Ä꣬DNN¼¼ÊõÔÚͼÏñʶ±ðÁìÓòÈ¡µÃ¾ªÈ˵ÄЧ¹û£¬ÔÚImageNetÆÀ²âÉϽ«´íÎóÂÊ´Ó26£¥½µµÍµ½15£¥¡£ÔÚÕâÒ»Ä꣬DNN»¹±»Ó¦ÓÃÓÚÖÆÒ©¹«Ë¾µÄDruge ActivityÔ¤²âÎÊÌ⣬²¢»ñµÃÊÀ½ç×îºÃ³É¼¨£¬ÕâÒ»ÖØÒª³É¹û±»¡¶Å¦Ô¼Ê±±¨¡·±¨µÀ¡£
ÕýÈçÎÄÕ¿ªÍ·ËùÃèÊöµÄ£¬½ñÌìGoogle¡¢Î¢Èí¡¢°Ù¶ÈµÈÖªÃûµÄÓµÓдóÊý¾ÝµÄ¸ß¿Æ¼¼¹«Ë¾ÕùÏàͶÈë×ÊÔ´£¬Õ¼ÁìÉî¶ÈѧϰµÄ¼¼ÊõÖÆ¸ßµã£¬ÕýÊÇÒòΪËüÃǶ¼¿´µ½ÁËÔÚ´óÊý¾Ýʱ´ú£¬¸ü¼Ó¸´ÔÓÇÒ¸ü¼ÓÇ¿´óµÄÉî¶ÈÄ£ÐÍÄÜÉî¿Ì½Òʾº£Á¿Êý¾ÝÀïËù³ÐÔØµÄ¸´ÔÓ¶ø·á¸»µÄÐÅÏ¢£¬²¢¶ÔδÀ´»òδ֪ʼþ×ö¸ü¾«×¼µÄÔ¤²â¡£
´óÊý¾ÝÓëÉî¶Èѧϰ
ÔÚ¹¤Òµ½çÒ»Ö±ÓиöºÜÁ÷ÐеĹ۵㣺ÔÚ´óÊý¾ÝÌõ¼þÏ£¬¼òµ¥µÄ»úÆ÷ѧϰģÐÍ»á±È¸´ÔÓÄ£Ð͸ü¼ÓÓÐЧ¡£ÀýÈ磬ÔںܶàµÄ´óÊý¾ÝÓ¦ÓÃÖУ¬×î¼òµ¥µÄÏßÐÔÄ£Ð͵õ½´óÁ¿Ê¹Ó᣶ø×î½üÉî¶ÈѧϰµÄ¾ªÈ˽øÕ¹£¬´ÙʹÎÒÃÇÒ²Ðíµ½ÁËÒªÖØÐÂ˼¿¼Õâ¸ö¹ÛµãµÄʱºò¡£¼ò¶øÑÔÖ®£¬ÔÚ´óÊý¾ÝÇé¿öÏ£¬Ò²ÐíÖ»ÓбȽϸ´ÔÓµÄÄ£ÐÍ£¬»òÕß˵±í´ïÄÜÁ¦Ç¿µÄÄ£ÐÍ£¬²ÅÄܳä·Ö·¢¾òº£Á¿Êý¾ÝÖÐÔ̲صķḻÐÅÏ¢¡£ÔËÓøüÇ¿´óµÄÉî¶ÈÄ£ÐÍ£¬Ò²ÐíÎÒÃÇÄÜ´Ó´óÊý¾ÝÖз¢¾ò³ö¸ü¶àÓмÛÖµµÄÐÅÏ¢ºÍ֪ʶ¡£
ΪÁËÀí½âΪʲô´óÊý¾ÝÐèÒªÉî¶ÈÄ£ÐÍ£¬ÏȾÙÒ»¸öÀý×Ó¡£ÓïÒôʶ±ðÒѾ­ÊÇÒ»¸ö´óÊý¾ÝµÄ»úÆ÷ѧϰÎÊÌ⣬ÔÚÆäÉùѧ½¨Ä£²¿·Ö£¬Í¨³£ÃæÁÙµÄÊÇÊ®ÒÚµ½Ç§ÒÚ¼¶±ðµÄѵÁ·Ñù±¾¡£ÔÚGoogleµÄÒ»¸öÓïÒôʶ±ðʵÑéÖУ¬·¢ÏÖѵÁ·ºóµÄDNN¶ÔѵÁ·Ñù±¾ºÍ²âÊÔÑù±¾µÄÔ¤²âÎó²î»ù±¾Ï൱¡£ÕâÊǷdz£Î¥·´³£Ê¶µÄ£¬ÒòΪͨ³£Ä£ÐÍÔÚѵÁ·Ñù±¾ÉϵÄÔ¤²âÎó²î»áÏÔÖøÐ¡ÓÚ²âÊÔÑù±¾¡£Òò´Ë£¬Ö»ÓÐÒ»¸ö½âÊÍ£¬¾ÍÊÇÓÉÓÚ´óÊý¾ÝÀﺬÓзḻµÄÐÅϢά¶È£¬¼´±ãÊÇDNNÕâÑùµÄ¸ßÈÝÁ¿¸´ÔÓÄ£ÐÍÒ²ÊÇ´¦ÓÚÇ·ÄâºÏµÄ״̬£¬¸ü²»±ØËµ´«Í³µÄGMMÉùѧģÐÍÁË¡£ËùÒÔ´ÓÕâ¸öÀý×ÓÖÐÎÒÃÇ¿´³ö£¬´óÊý¾ÝÐèÒªÉî¶Èѧϰ¡£
dz²ãÄ£ÐÍÓÐÒ»¸öÖØÒªÌØµã£¬¾ÍÊǼÙÉè¿¿È˹¤¾­ÑéÀ´³éÈ¡Ñù±¾µÄÌØÕ÷£¬¶øÇ¿µ÷Ä£ÐÍÖ÷ÒªÊǸºÔð·ÖÀà»òÔ¤²â¡£ÔÚÄ£Ð͵ÄÔËÓò»³ö²î´íµÄǰÌáÏ£¨Èç¼ÙÉ軥ÁªÍø¹«Ë¾Æ¸ÇëµÄÊÇ»úÆ÷ѧϰµÄר¼Ò£©£¬ÌØÕ÷µÄºÃ»µ¾Í³ÉΪÕû¸öϵͳÐÔÄܵį¿¾±¡£Òò´Ë£¬Í¨³£Ò»¸ö¿ª·¢ÍŶÓÖиü¶àµÄÈËÁ¦ÊÇͶÈëµ½·¢¾ò¸üºÃµÄÌØÕ÷ÉÏÈ¥µÄ¡£Òª·¢ÏÖÒ»¸öºÃµÄÌØÕ÷£¬¾ÍÒªÇ󿪷¢ÈËÔ±¶Ô´ý½â¾öµÄÎÊÌâÒªÓкÜÉîÈëµÄÀí½â¡£¶ø´ïµ½Õâ¸ö³Ì¶È£¬ÍùÍùÐèÒª·´¸´µØÃþË÷£¬ÉõÖÁÊÇÊýÄêÄ¥Ò»½£¡£Òò´Ë£¬È˹¤Éè¼ÆÑù±¾ÌØÕ÷£¬²»ÊÇÒ»¸ö¿ÉÀ©Õ¹µÄ;¾¶¡£
Éî¶ÈѧϰµÄʵÖÊ£¬ÊÇͨ¹ý¹¹½¨¾ßÓкܶàÒþ²ãµÄ»úÆ÷ѧϰģÐͺͺ£Á¿µÄѵÁ·Êý¾Ý£¬À´Ñ§Ï°¸üÓÐÓõÄÌØÕ÷£¬´Ó¶ø×îÖÕÌáÉý·ÖÀà»òÔ¤²âµÄ׼ȷÐÔ¡£ËùÒÔ¡°Éî¶ÈÄ£ÐÍ¡±ÊÇÊֶΣ¬¡°ÌØÕ÷ѧϰ¡±ÊÇÄ¿µÄ¡£Çø±ðÓÚ´«Í³µÄdz²ãѧϰ£¬Éî¶ÈѧϰµÄ²»Í¬ÔÚÓÚ£º1. Ç¿µ÷ÁËÄ£ÐͽṹµÄÉî¶È£¬Í¨³£ÓÐ5²ã¡¢6²ã£¬ÉõÖÁ10¶à²ãµÄÒþ²ã½Úµã£»2. Ã÷È·Í»³öÁËÌØÕ÷ѧϰµÄÖØÒªÐÔ£¬Ò²¾ÍÊÇ˵£¬Í¬¹ýÖð²ãÌØÕ÷±ä»»£¬½«Ñù±¾ÔÚÔ­¿Õ¼äµÄÌØÕ÷±íʾ±ä»»µ½Ò»¸öÐÂÌØÕ÷¿Õ¼ä£¬Ê¹·ÖÀà»òÔ¤²â¸ü¼ÓÈÝÒס£
ÓëÈ˹¤¹æÔò¹¹ÔìÌØÕ÷µÄ·½·¨Ïà±È£¬ÀûÓôóÊý¾ÝÀ´Ñ§Ï°ÌØÕ÷£¬¸üÄ̻ܿ­Êý¾Ý·á¸»µÄÄÚÔÚÐÅÏ¢¡£ËùÒÔ£¬ÔÚδÀ´µÄ¼¸ÄêÀÎÒÃǽ«¿´µ½Ô½À´Ô½¶àµÄÀý×Ó£ºÉî¶ÈÄ£ÐÍÓ¦ÓÃÓÚ´óÊý¾Ý£¬¶ø²»ÊÇdz²ãµÄÏßÐÔÄ£ÐÍ¡£
Éî¶ÈѧϰµÄÓ¦ÓÃ
ÓïÒôʶ±ð
ÓïÒôʶ±ðϵͳ³¤ÆÚÒÔÀ´£¬ÔÚÃèÊöÿ¸ö½¨Ä£µ¥ÔªµÄͳ¼Æ¸ÅÂÊÄ£ÐÍʱ£¬´ó¶à²ÉÓõÄÊÇ»ìºÏ¸ß˹ģÐÍ£¨GMM£©¡£ÕâÖÖÄ£ÐÍÓÉÓÚ¹À¼Æ¼òµ¥£¬ÊʺϺ£Á¿Êý¾ÝѵÁ·£¬Í¬Ê±ÓгÉÊìµÄÇø·Ö¶ÈѵÁ·¼¼ÊõÖ§³Ö£¬³¤ÆÚÒÔÀ´£¬Ò»Ö±ÔÚÓïÒôʶ±ðÓ¦ÓÃÖÐÕ¼ÓТ¶ÏÐÔµØÎ»¡£µ«ÕâÖÖ»ìºÏ¸ß˹ģÐͱ¾ÖÊÉÏÊÇÒ»ÖÖdz²ãÍøÂ罨죬²»Äܳä·ÖÃèÊöÌØÕ÷µÄ״̬¿Õ¼ä·Ö²¼¡£ÁíÍ⣬GMM½¨Ä£µÄÌØÕ÷άÊýÒ»°ãÊǼ¸Ê®Î¬£¬²»Äܳä·ÖÃèÊöÌØÕ÷Ö®¼äµÄÏà¹ØÐÔ¡£×îºó£¬GMM½¨Ä£±¾ÖÊÉÏÊÇÒ»ÖÖËÆÈ»¸ÅÂʽ¨Ä££¬ËäÈ»Çø·Ö¶ÈѵÁ·Äܹ»Ä£ÄâһЩģʽÀàÖ®¼äµÄÇø·ÖÐÔ£¬µ«ÄÜÁ¦ÓÐÏÞ¡£
΢ÈíÑо¿ÔºÓïÒôʶ±ðר¼ÒµËÁ¢ºÍÓá¶°´Ó2009Ä꿪ʼºÍÉî¶Èѧϰר¼ÒGeoffery HintonºÏ×÷¡£2011Äê΢ÈíÐû²¼»ùÓÚÉî¶ÈÉñ¾­ÍøÂçµÄʶ±ðϵͳȡµÃ³É¹û²¢ÍƳö²úÆ·£¬³¹µ×¸Ä±äÁËÓïÒôʶ±ðÔ­Óеļ¼Êõ¿ò¼Ü¡£²ÉÓÃÉî¶ÈÉñ¾­ÍøÂçºó£¬¿ÉÒÔ³ä·ÖÃèÊöÌØÕ÷Ö®¼äµÄÏà¹ØÐÔ£¬¿ÉÒÔ°ÑÁ¬Ðø¶àÖ¡µÄÓïÒôÌØÕ÷²¢ÔÚÒ»Æð£¬¹¹³ÉÒ»¸ö¸ßÎ¬ÌØÕ÷¡£×îÖÕµÄÉî¶ÈÉñ¾­ÍøÂç¿ÉÒÔ²ÉÓøßÎ¬ÌØÕ÷ѵÁ·À´Ä£Äâ¡£ÓÉÓÚÉî¶ÈÉñ¾­ÍøÂç²ÉÓÃÄ£ÄâÈËÄԵĶà²ã½á¹û£¬¿ÉÒÔÖ𼶵ؽøÐÐÐÅÏ¢ÌØÕ÷³éÈ¡£¬×îÖÕÐγÉÊʺÏģʽ·ÖÀàµÄ½ÏÀíÏëÌØÕ÷¡£ÕâÖÖ¶à²ã½á¹¹ºÍÈËÄÔ´¦ÀíÓïÒôͼÏñÐÅϢʱ£¬ÊÇÓкܴóµÄÏàËÆÐԵġ£Éî¶ÈÉñ¾­ÍøÂçµÄ½¨Ä£¼¼Êõ£¬ÔÚʵ¼ÊÏßÉÏ·þÎñʱ£¬Äܹ»ÎÞ·ìµØºÍ´«Í³µÄÓïÒôʶ±ð¼¼ÊõÏà½áºÏ£¬ÔÚ²»ÒýÆðÈκÎϵͳ¶îÍâºÄ·ÑÇé¿öÏ£¬´ó·ù¶ÈÌáÉýÁËÓïÒôʶ±ðϵͳµÄʶ±ðÂÊ¡£ÆäÔÚÏßµÄʹÓ÷½·¨¾ßÌåÈçÏ£ºÔÚʵ¼Ê½âÂë¹ý³ÌÖУ¬ÉùѧģÐÍÈÔÈ»ÊDzÉÓô«Í³µÄHMMÄ£ÐÍ£¬ÓïÒôÄ£ÐÍÈÔÈ»ÊDzÉÓô«Í³µÄͳ¼ÆÓïÑÔÄ£ÐÍ£¬½âÂëÆ÷ÈÔÈ»ÊDzÉÓô«Í³µÄ¶¯Ì¬WFST½âÂëÆ÷¡£µ«ÔÚÉùѧģÐ͵ÄÊä³ö·Ö²¼¼ÆËãʱ£¬ÍêÈ«ÓÃÉñ¾­ÍøÂçµÄÊä³öºóÑé¸ÅÂʳËÒÔÒ»¸öÏÈÑé¸ÅÂÊÀ´´úÌæ´«Í³HMMÄ£ÐÍÖеÄGMMµÄÊä³öËÆÈ»¸ÅÂÊ¡£°Ù¶ÈÔÚʵ¼ùÖз¢ÏÖ£¬²ÉÓÃDNN½øÐÐÉùÒô½¨Ä£µÄÓïÒôʶ±ðϵͳÏà±ÈÓÚ´«Í³µÄGMMÓïÒôʶ±ðϵͳ¶øÑÔ£¬Ïà¶ÔÎóʶ±ðÂÊÄܽµµÍ25%¡£×îÖÕÔÚ2012Äê11Ô£¬°Ù¶ÈÉÏÏßÁ˵ÚÒ»¿î»ùÓÚDNNµÄÓïÒôËÑË÷ϵͳ£¬³ÉΪ×îÔç²ÉÓÃDNN¼¼Êõ½øÐÐÉÌÒµÓïÒô·þÎñµÄ¹«Ë¾Ö®Ò»¡£
¹ú¼ÊÉÏ£¬GoogleÒ²²ÉÓÃÁËÉî²ãÉñ¾­ÍøÂç½øÐÐÉùÒô½¨Ä££¬ÊÇ×îÔçÍ»ÆÆÉî²ãÉñ¾­ÍøÂ繤ҵ»¯Ó¦ÓÃµÄÆóÒµÖ®Ò»¡£µ«Google²úÆ·ÖвÉÓõÄÉî¶ÈÉñ¾­ÍøÂçÖ»ÓÐ4-5²ã£¬¶ø°Ù¶È²ÉÓõÄÉî¶ÈÉñ¾­ÍøÂç¶à´ï9²ã¡£ÕâÖֽṹ²îÒìµÄºËÐÄÆäʵÊǰٶȸüºÃµØ½â¾öÁËÉî¶ÈÉñ¾­ÍøÂçÔÚÏß¼ÆËãµÄ¼¼ÊõÄÑÌ⣬Òò´Ë°Ù¶ÈÏßÉϲúÆ·¿ÉÒÔ²ÉÓøü¸´ÔÓµÄÍøÂçÄ£ÐÍ¡£Õ⽫¶ÔÓÚδÀ´ÍØÕ¹º£Á¿ÓïÁϵÄDNNÄ£ÐÍѵÁ·Óиü´óµÄÓÅÊÆ¡£
ͼÏñʶ±ð
ͼÏñÊÇÉî¶Èѧϰ×îÔç³¢ÊÔµÄÓ¦ÓÃÁìÓò¡£ÔçÔÚ19***£¬Yann LeCun (ÏÖŦԼ´óѧ½ÌÊÚ) ºÍËûµÄͬÊÂÃǾͷ¢±íÁ˾í»ýÉñ¾­ÍøÂ磨Convolution Neural Networks£¬ ¼ò³ÆCNN£©µÄ¹¤×÷¡£CNNÊÇÒ»ÖÖ´øÓоí»ý½á¹¹µÄÉî¶ÈÉñ¾­ÍøÂ磬ͨ³£ÖÁÉÙÓÐÁ½¸ö·ÇÏßÐÔ¿ÉѵÁ·µÄ¾í»ý²ã£¬Á½¸ö·ÇÏßÐԵĹ̶¨¾í»ý²ã£¨ÓÖ½ÐPooling Laye£©ºÍÒ»¸öÈ«Á¬½Ó²ã£¬Ò»¹²ÖÁÉÙ5¸öÒþº¬²ã¡£CNNµÄ½á¹¹Êܵ½ÖøÃûµÄHubel-WieselÉúÎïÊÓ¾õÄ£ÐÍµÄÆô·¢£¬ÓÈÆäÊÇÄ£ÄâÊÓ¾õƤ²ãV1ºÍV2²ãÖÐSimple CellºÍComplex CellµÄÐÐΪ¡£Ôںܳ¤Ê±¼äÀCNNËäÈ»ÔÚС¹æÄ£µÄÎÊÌâÉÏ£¬ÈçÊÖдÊý×Ö£¬È¡µÃ¹ýµ±Ê±ÊÀ½ç×îºÃ½á¹û£¬µ«Ò»Ö±Ã»ÓÐÈ¡µÃ¾Þ´ó³É¹¦¡£ÕâÖ÷ÒªÔ­ÒòÊÇ£¬CNNÔÚ´ó¹æÄ£Í¼ÏñÉÏЧ¹û²»ºÃ£¬±ÈÈçÏñËØºÜ¶àµÄ×ÔȻͼƬÄÚÈÝÀí½â£¬ËùÒÔûÓеõ½¼ÆËã»úÊÓ¾õÁìÓòµÄ×ã¹»ÖØÊÓ¡£Õâ¸öÇé¿öÒ»Ö±³ÖÐøµ½2012Äê10Ô£¬Geoffrey HintonºÍËûµÄÁ½¸öѧÉúÔÚÖøÃûµÄImageNetÎÊÌâÉÏÓøüÉîµÄCNNÈ¡µÃÊÀ½ç×îºÃ½á¹û£¬Ê¹µÃͼÏñʶ±ð´ó̤²½Ç°½ø¡£ÔÚHintonµÄÄ£ÐÍÀÊäÈë¾ÍÊÇͼÏñµÄÏñËØ£¬Ã»ÓÐÓõ½ÈκεÄÈ˹¤ÌØÕ÷¡£
Õâ¸ö¾ªÈ˵Ľá¹ûΪʲôÔÚ֮ǰûÓз¢Éú£¿ Ô­Òòµ±È»°üÀ¨Ëã·¨µÄÌáÉý£¬±ÈÈçdropoutµÈ·ÀÖ¹¹ýÄâºÏ¼¼Êõ£¬µ«×îÖØÒªµÄÊÇ£¬GPU´øÀ´µÄ¼ÆËãÄÜÁ¦ÌáÉýºÍ¸ü¶àµÄѵÁ·Êý¾Ý¡£°Ù¶ÈÔÚ2012Äêµ×½«Éî¶Èѧϰ¼¼Êõ³É¹¦Ó¦ÓÃÓÚ×ÔȻͼÏñOCRʶ±ðºÍÈËÁ³Ê¶±ðµÈÎÊÌ⣬²¢ÍƳöÏàÓ¦µÄ×ÀÃæºÍÒÆ¶¯ËÑË÷²úÆ·£¬2013Ä꣬Éî¶ÈѧϰģÐͱ»³É¹¦Ó¦ÓÃÓÚÒ»°ãͼƬµÄʶ±ðºÍÀí½â¡£´Ó°Ù¶ÈµÄ¾­ÑéÀ´¿´£¬Éî¶ÈѧϰӦÓÃÓÚͼÏñʶ±ð²»µ«´ó´óÌáÉýÁË׼ȷÐÔ£¬¶øÇÒ±ÜÃâÁËÈ˹¤ÌØÕ÷³éÈ¡µÄʱ¼äÏûºÄ£¬´Ó¶ø´ó´óÌá¸ßÁËÔÚÏß¼ÆËãЧÂÊ¡£¿ÉÒÔºÜÓаÑÎÕµØËµ£¬´ÓÏÖÔÚ¿ªÊ¼£¬Éî¶Èѧϰ½«È¡´ú¡°È˹¤ÌØÕ÷+»úÆ÷ѧϰ¡±µÄ·½·¨¶øÖð½¥³ÉΪÖ÷Á÷ͼÏñʶ±ð·½·¨¡£
×ÔÈ»ÓïÑÔ´¦Àí
³ýÁËÓïÒôºÍͼÏñ£¬Éî¶ÈѧϰµÄÁíÒ»¸öÓ¦ÓÃÁìÓòÎÊÌâÊÇ×ÔÈ»ÓïÑÔ´¦Àí£¨NLP£©¡£¾­¹ý¼¸Ê®ÄêµÄ·¢Õ¹£¬»ùÓÚͳ¼ÆµÄÄ£ÐÍÒѾ­³ÉΪNLPµÄÖ÷Á÷£¬µ«×÷Ϊͳ¼Æ·½·¨Ö®Ò»µÄÈ˹¤Éñ¾­ÍøÂçÔÚNLPÁìÓò¼¸ºõûÓÐÊܵ½ÖØÊÓ¡£×îÔçÓ¦ÓÃÉñ¾­ÍøÂçµÄNLPÎÊÌâÊÇÓïÑÔÄ£ÐÍ¡£¼ÓÄôóÃÉÌØÀû¶û´óѧ½ÌÊÚYoshua BengioµÈÈËÓÚ2003ÄêÌá³öÓÃembeddingµÄ·½·¨½«´ÊÓ³Éäµ½Ò»¸öʸÁ¿±íʾ¿Õ¼ä£¬È»ºóÓ÷ÇÏßÐÔÉñ¾­ÍøÂçÀ´±íʾN-GramÄ£ÐÍ¡£ÊÀ½çÉÏ×îÔçµÄ×îÔçµÄÉî¶ÈѧϰÓÃÓÚNLPµÄÑо¿¹¤×÷µ®ÉúÓÚNECÃÀ¹úÑо¿Ôº£¬ÆäÑо¿Ô±Ronan CollobertºÍJason Weston´Ó2008Ä꿪ʼ²ÉÓÃembeddingºÍ¶à²ãһά¾í»ýµÄ½á¹¹£¬ÓÃÓÚPOS Tagging¡¢Chunking¡¢Named Entity Recognition¡¢Semantic Role LabelingµÈËĸöµäÐÍNLPÎÊÌâ¡£ÖµµÃ×¢ÒâµÄÊÇ£¬ËûÃǽ«Í¬Ò»¸öÄ£ÐÍÓÃÓÚ²»Í¬ÈÎÎñ£¬¶¼ÄÜÈ¡µÃÓëÒµ½ç×îÇ°ÑØÏ൱µÄ׼ȷÂÊ¡£×î½üÒÔÀ´£¬Ë¹Ì¹¸£´óѧ½ÌÊÚChris ManningµÈÈËÔÚ½«Éî¶ÈѧϰÓÃÓÚNLPµÄ¹¤×÷Ò²ÖµµÃ¹Ø×¢¡£
×ܵÄÀ´Ëµ£¬Éî¶ÈѧϰÔÚNLPÉÏÈ¡µÃµÄ½øÕ¹Ã»ÓÐÔÚÓïÒôͼÏñÉÏÄÇôÁîÈËÓ°ÏìÉî¿Ì¡£Ò»¸öºÜÓÐÒâ˼µÄã£ÂÛÊÇ£ºÏà±ÈÓÚÉùÒôºÍͼÏñ£¬ÓïÑÔÊÇΨһµÄ·Ç×ÔÈ»Ðźţ¬ÊÇÍêÈ«ÓÉÈËÀà´óÄÔ²úÉúºÍ´¦ÀíµÄ·ûºÅϵͳ£¬µ«Ä£·ÂÈËÄԽṹµÄÈ˹¤Éñ¾­ÍøÂçÈ´ËÆºõÔÚ´¦Àí×ÔÈ»ÓïÑÔÉÏûÓÐÏÔÏÖÃ÷ÏÔÓÅÊÆ£¿ ÎÒÃÇÏàÐÅ£¬Éî¶ÈѧϰÔÚNLP·½ÃæÓкܴóµÄ̽Ë÷¿Õ¼ä¡£´Ó2006ÄêͼÏñÉî¶Èѧϰ³ÉΪѧÊõ½çÈÈÃÅ¿ÎÌâµ½2012Äê10ÔÂGeoffery HintonÔÚImageNetÉϵÄÖØ´óÍ»ÆÆ£¬¾­ÀúÁË6Äêʱ¼ä¡£ÎÒÃÇÐèÒªÓÐ×ã¹»µÄÄÍÐÄ¡£
ËÑË÷¹ã¸æCTRÔ¤¹À
ËÑË÷¹ã¸æÊÇËÑË÷ÒýÇæµÄÖ÷Òª±äÏÖ·½Ê½£¬¶ø°´µã»÷¸¶·Ñ£¨Cost Per Click£¬CPC£©ÓÖÊÇÆäÖб»×î¹ã·ºÓ¦ÓõļƷÑģʽ¡£ÔÚCPCģʽÏ£¬Ô¤¹ÀµÄCTR£¨pCTR£©Ô½×¼È·£¬µã»÷ÂʾͻáÔ½¸ß£¬ÊÕÒæ¾ÍÔ½´ó¡£Í¨³££¬ËÑË÷¹ã¸æµÄpCTRÊÇͨ¹ý»úÆ÷ѧϰģÐÍÔ¤¹ÀµÃµ½¡£Ìá¸ßpCTRµÄ׼ȷÐÔ£¬ÊÇÌáÉýËÑË÷¹«Ë¾¡¢¹ã¸æÖ÷¡¢ËÑË÷Óû§Èý·½ÀûÒæµÄ×î¼Ñ;¾¶¡£
´«Í³ÉÏ£¬Google¡¢°Ù¶ÈµÈËÑË÷ÒýÇæ¹«Ë¾ÒÔLogistic Regression£¨LR£©×÷ΪԤ¹ÀÄ£ÐÍ¡£¶ø´Ó2012Ä꿪ʼ£¬°Ù¶È¿ªÊ¼Òâʶµ½Ä£Ð͵Ľṹ¶Ô¹ã¸æCTRÔ¤¹ÀµÄÖØÒªÐÔ£ºÊ¹ÓÃ±âÆ½½á¹¹µÄLRÑÏÖØÏÞÖÆÁËÄ£ÐÍѧϰÓë³éÏóÌØÕ÷µÄÄÜÁ¦¡£ÎªÁËÍ»ÆÆÕâÑùµÄÏÞÖÆ£¬°Ù¶È³¢ÊÔ½«DNN×÷ÓÃÓÚËÑË÷¹ã¸æ£¬¶øÕâÆäÖÐ×î´óµÄÌôÕ½ÔÚÓÚµ±Ç°µÄ¼ÆËãÄÜÁ¦»¹ÎÞ·¨½ÓÊÜ1011¼¶±ðµÄԭʼ¹ã¸æÌØÕ÷×÷ΪÊäÈë¡£×÷Ϊ½â¾ö£¬ÔڰٶȵÄDNNϵͳÀï£¬ÌØÕ÷Êý´Ó1011ÊýÁ¿¼¶±»½µµ½ÁË103£¬´Ó¶øÄܱ»DNNÕý³£µØÑ§Ï°¡£ÕâÌ×Éî¶ÈѧϰϵͳÒÑÓÚ2013Äê5Ô¿ªÊ¼·þÎñÓÚ°Ù¶ÈËÑË÷¹ã¸æÏµÍ³£¬Ã¿ÌìΪÊýÒÚÍøÃñʹÓá£
DNNÔÚËÑË÷¹ã¸æÏµÍ³ÖеÄÓ¦Óû¹Ô¶Ô¶Ã»ÓгÉÊ죬ÆäÖÐDNNÓëÇ¨ÒÆÑ§Ï°µÄ½áºÏ½«¿ÉÄÜÊÇÒ»¸öÁîÈËÕñ·ÜµÄ·½Ïò¡£Ê¹ÓÃDNN£¬Î´À´µÄËÑË÷¹ã¸æ½«¿ÉÄܽèÖúÍøÒ³ËÑË÷µÄ½á¹ûÓÅ»¯ÌØÕ÷µÄѧϰÓëÌáÈ¡£»Òà¿ÉÄÜͨ¹ýDNN½«²»Í¬µÄ²úÆ·ÏßÁªÏµÆðÀ´£¬Ê¹µÃ²»Í¬µÄ±äÏÖ²úÆ·²»¹ÜÊý¾Ý¶àÉÙ£¬¶¼ÄÜ»¥ÏàÓÅ»¯¡£ÎÒÃÇÈÏΪδÀ´µÄDNNÒ»¶¨»áÔÚËÑË÷¹ã¸æÖÐÆðµ½¸üÖØÒªµÄ×÷Óá£
Éî¶ÈѧϰÑз¢ÃæÁÙµÄÖØ´óÎÊÌâ
ÀíÂÛÎÊÌâ
ÀíÂÛÎÊÌâÖ÷ÒªÌåÏÖÔÚÁ½¸ö·½Ã棬һ¸öÊÇͳ¼ÆÑ§Ï°·½ÃæµÄ£¬ÁíÒ»¸öÊǼÆËã·½ÃæµÄ¡£ÎÒÃÇÒѾ­ÖªµÀ£¬Éî¶ÈÄ£ÐÍÏà±È½ÏÓÚdz²ãÄ£ÐÍÓиüºÃµÄ¶Ô·ÇÏßÐÔº¯ÊýµÄ±íʾÄÜÁ¦¡£¾ßÌåÀ´Ëµ£¬¶ÔÓÚÈÎÒâÒ»¸ö·ÇÏßÐÔº¯Êý£¬¸ù¾ÝÉñ¾­ÍøÂçµÄUniversal Approximation Theory£¬ÎÒÃÇÒ»¶¨ÄÜÕÒµ½Ò»¸ödz²ãÍøÂçºÍÒ»¸öÉî¶ÈÍøÂçÀ´×ã¹»ºÃµØ±íʾ¡£µ«Éî¶ÈÍøÂçÖ»ÐèÒªÉٵöàµÄ²ÎÊý¡£µ«¿É±íʾÐÔ²»´ú±í¿ÉѧϰÐÔ¡£ÎÒÃÇÐèÒªÁ˽âÉî¶ÈѧϰµÄÑù±¾¸´ÔÓ¶È£¬Ò²¾ÍÊÇÎÒÃÇÐèÒª¶àÉÙѵÁ·Ñù±¾²ÅÄÜѧϰµ½×ã¹»ºÃµÄÉî¶ÈÄ£ÐÍ¡£´ÓÁíÒ»·½ÃæÀ´Ëµ£¬ÎÒÃÇÐèÒª¶àÉÙ¼ÆËã×ÊÔ´²ÅÄÜͨ¹ýѵÁ·µÃµ½¸üºÃµÄÄ£ÐÍ£¿ÀíÏëµÄ¼ÆËãÓÅ»¯·½·¨ÊÇʲô£¿ÓÉÓÚÉî¶ÈÄ£ÐͶ¼ÊÇ·Ç͹º¯Êý£¬Õâ·½ÃæµÄÀíÂÛÑо¿¼«ÆäÀ§ÄÑ¡£
½¨Ä£ÎÊÌâ
ÔÚÍÆ½øÉî¶ÈѧϰµÄѧϰÀíÂۺͼÆËãÀíÂÛµÄͬʱ£¬ÎÒÃÇÊÇ·ñ¿ÉÒÔÌá³öеķֲãÄ£ÐÍ£¬Ê¹Æä²»µ«¾ßÓд«Í³Éî¶ÈÄ£ÐÍËù¾ßÓеÄÇ¿´ó±íʾÄÜÁ¦£¬»¹¾ßÓÐÆäËûµÄºÃ´¦£¬±ÈÈç¸üÈÝÒ××öÀíÂÛ·ÖÎö¡£ÁíÍ⣬Õë¶Ô¾ßÌåÓ¦ÓÃÎÊÌ⣬ÎÒÃÇÈçºÎÉè¼ÆÒ»¸ö×îÊʺϵÄÉî¶ÈÄ£ÐÍÀ´½â¾öÎÊÌ⣿ÎÒÃÇÒѾ­¿´µ½£¬ÎÞÂÛÔÚͼÏñÉî¶ÈÄ£ÐÍ£¬»¹ÊÇÓïÑÔÉî¶ÈÄ£ÐÍ£¬Ëƺõ¶¼´æÔÚÉî¶ÈºÍ¾í»ýµÈ¹²Í¬µÄÐÅÏ¢´¦Àí½á¹¹¡£ÉõÖÁ¶ÔÓÚÓïÒôÉùѧģÐÍ£¬Ñо¿ÈËÔ±Ò²ÔÚ̽Ë÷¾í»ýÉî¶ÈÍøÂç¡£ÄÇôһ¸ö¸üÓÐÒâ˼µÄÎÊÌâÊÇ£¬ÊÇ·ñ´æÔÚ¿ÉÄܽ¨Á¢Ò»¸öͨÓõÄÉî¶ÈÄ£ÐÍ»òÉî¶ÈÄ£Ð͵Ľ¨Ä£ÓïÑÔ£¬×÷ΪͳһµÄ¿ò¼ÜÀ´´¦ÀíÓïÒô¡¢Í¼ÏñºÍÓïÑÔ£¿
¹¤³ÌÎÊÌâ
ÐèÒªÖ¸³öµÄÊÇ£¬¶ÔÓÚ»¥ÁªÍø¹«Ë¾¶øÑÔ£¬ÈçºÎÔÚ¹¤³ÌÉÏÀûÓôó¹æÄ£µÄ²¢ÐмÆËãÆ½Ì¨À´ÊµÏÖº£Á¿Êý¾ÝѵÁ·£¬ÊǸ÷¼Ò¹«Ë¾´ÓÊÂÉî¶Èѧϰ¼¼ÊõÑз¢Ê×ÏÈÒª½â¾öµÄÎÊÌâ¡£´«Í³µÄ´óÊý¾Ýƽ̨ÈçHadoop£¬ÓÉÓÚÊý¾Ý´¦ÀíµÄLatencyÌ«¸ß£¬ÏÔÈ»²»ÊʺÏÐèҪƵ·±µü´úµÄÉî¶Èѧϰ¡£ÏÖÓгÉÊìµÄDNNѵÁ·¼¼Êõ´ó¶¼ÊDzÉÓÃËæ»úÌݶȷ¨£¨SGD£©·½·¨ÑµÁ·µÄ¡£ÕâÖÖ·½·¨±¾Éí²»¿ÉÄÜÔÚ¶à¸ö¼ÆËã»úÖ®¼ä²¢ÐС£¼´Ê¹ÊDzÉÓÃGPU½øÐд«Í³µÄDNNÄ£ÐͽøÐÐѵÁ·£¬ÆäѵÁ·Ê±¼äÒ²ÊǷdz£Âþ³¤µÄ£¬Ò»°ãѵÁ·¼¸Ç§Ð¡Ê±µÄÉùѧģÐÍËùÐèÒª¼¸¸öÔµÄʱ¼ä¡£¶øËæ×Å»¥ÁªÍø·þÎñµÄÉîÈ룬º£Á¿Êý¾ÝѵÁ·Ô½À´Ô½ÖØÒª£¬DNNÕâÖÖ»ºÂýµÄѵÁ·ËٶȱØÈ»²»ÄÜÂú×㻥ÁªÍø·þÎñÓ¦ÓõÄÐèÒª¡£Google´î½¨µÄDistBelief£¬ÊÇÒ»¸ö²ÉÓÃÆÕͨ·þÎñÆ÷µÄÉî¶Èѧϰ²¢ÐмÆËãÆ½Ì¨£¬²ÉÓÃÒì²½Ëã·¨£¬ÓÉºÜ¶à¼ÆËãµ¥Ôª¶ÀÁ¢µØ¸üÐÂͬһ¸ö²ÎÊý·þÎñÆ÷µÄÄ£ÐͲÎÊý£¬ÊµÏÖÁËËæ»úÌݶÈϽµËã·¨µÄ²¢Ðл¯£¬¼Ó¿ìÁËÄ£ÐÍѵÁ·ËÙ¶È¡£ÓëGoogle²ÉÓÃÆÕͨ·þÎñÆ÷²»Í¬£¬°Ù¶ÈµÄ¶àGPU²¢ÐмÆËãÆ½Ì¨£¬¿Ë·þÁË´«Í³SGDѵÁ·µÄ²»Äܲ¢Ðеļ¼ÊõÄÑÌ⣬Éñ¾­ÍøÂçµÄѵÁ·ÒѾ­¿ÉÒÔÔÚº£Á¿ÓïÁÏÉϲ¢ÐÐÕ¹¿ª¡£¿ÉÒÔÔ¤ÆÚ£¬Î´À´Ëæ×ź£Á¿Êý¾ÝѵÁ·µÄDNN¼¼ÊõµÄ·¢Õ¹£¬ÓïÒôͼÏñϵͳµÄʶ±ðÂÊ»¹»á³ÖÐøÌáÉý¡£
×ܽá
Éî¶Èѧϰ´øÀ´ÁË»úÆ÷ѧϰµÄÒ»¸öÐÂÀ˳±£¬Êܵ½´ÓѧÊõ½çµ½¹¤Òµ½çµÄ¹ã·ºÖØÊÓ£¬Ò²µ¼ÖÂÁË¡°´óÊý¾Ý+Éî¶ÈÄ£ÐÍ¡±Ê±´úµÄÀ´ÁÙ¡£ÔÚÓ¦Ó÷½Ã棬Éî¶ÈѧϰʹµÃÓïÒôͼÏñµÄÖÇÄÜʶ±ðºÍÀí½âÈ¡µÃ¾ªÈ˽øÕ¹£¬´Ó¶øÍƶ¯È˹¤ÖÇÄܺÍÈË»ú½»»¥´ó̤²½Ç°½ø¡£Í¬Ê±£¬pCTRÕâÑùµÄ¸´ÔÓ»úÆ÷ѧϰÈÎÎñÒ²µÃµ½ÏÔÖøÌáÉý¡£Èç¹ûÎÒÃÇÄÜÔÚÀíÂÛ¡¢½¨Ä£ºÍ¹¤³Ì·½Ãæ£¬Í»ÆÆÉî¶Èѧϰ¼¼ÊõÃæÁÙµÄһϵÁÐÄÑÌ⣬È˹¤ÖÇÄܵÄÃÎÏ뽫²»ÔÙÒ£Ô¶¡£
×÷ÕßÓà¿­£¬°Ù¶È¼¼Êõ¸±×ܼ࣬ǧÈ˼ƻ®¹ú¼ÒÌØÆ¸×¨¼Ò¡£¼ÖÀÚ£¬°Ù¶ÈÖ÷Èμܹ¹Ê¦£¬ÓïÒô¼¼Êõ¸ºÔðÈË¡£³ÂÓêÇ¿£¬°Ù¶ÈÉÌÎñËÑË÷²¿×ÊÉîÑз¢¹¤³Ìʦ£¬¸ºÔðËÑË÷¹ã¸æCTRÔ¤¹À¡£
 

ÒýÓà »Ø¸´ ÏÊ»¨ ( 1) ³ô¼¦µ° ( 0) ÓÐлظ´Ê±·¢ËÍÓʼþ֪ͨ
profinet¡¢Profi...    ÏÂÒ»Ìû  

Óë  ¼¼Êõ £¬ È˹¤ÖÇÄÜ £¬ ϵͳ £¬ Éñ¾­ÍøÂç  Ïà¹ØµÄ»°Ìâ
¿ìËٻظ´
Óû§Ãû£º 
ÃÀ¹úµÄÓο͠      (Äú½«ÒÔÓοÍÉí·Ý·¢±í£¬ÇëµÇ¼ | ×¢²á )  
±êÌ⣺ * Ä㻹¿ÉÒÔÊäÈë80×Ö
ÆÀÂÛ£º * Ä㻹¿ÉÒÔÊäÈë20000×Ö
·ÖÏíµ½£º ÐÂÀË΢²©   qq¿Õ¼ä   qq΢²©   ÈËÈËÍø   °Ù¶ÈËѲؠ 
ÑéÖ¤Â룺  * 
ά»¤×¨Òµ¡¢Õû½àµÄÂÛ̳»·¾³ÐèÒªÄúµÄ²ÎÓ룬Ç뼰ʱ¾Ù±¨Î¥¹æÌû×Ó£¬Èç¹û¾Ù±¨Êôʵ£¬ÎÒÃǽ«¸øÓèÏàÓ¦µÄ»ý·Ö½±Àø¡£
ллÄúµÄÈÈÐIJÎÓ룡
·µ»ØÈí¼þÓë±à³Ì | ·µ»Ø¼¼ÊõÌÖÂÛ×¨Çø
±¾ÂÛ̳½ö³ÂÊöר¼Ò»ò¸öÈ˹۵㣬²¢²»´ú±í»úÆ÷ÈËÍøÍøÕ¾Á¢³¡¡£
·µ»ØÂÛ̳ҳÊ×