3237:
3548:
2458:
7867:
5321:
3784:
2637:
2338:
7847:
4843:
4614:
2829:
964:
3953:
1773:
5096:
3401:
6035:
1036:
When the range of the activation function is finite, gradient-based training methods tend to be more stable, because pattern presentations significantly affect only limited weights. When the range is infinite, training is generally more efficient because pattern presentations significantly affect
1051:
is not continuously differentiable and has some issues with gradient-based optimization, but it is still possible) for enabling gradient-based optimization methods. The binary step activation function is not differentiable at 0, and it differentiates to 0 for all other values, so gradient-based
3658:
6223:
of the argument computed by the perceptron itself, with suitable quantum circuits computing the powers up to a wanted approximation degree. Because of the flexibility of such quantum circuits, they can be designed in order to approximate any arbitrary classical activation function.
6776:
4055:
4392:
3244:
1905:
4536:
5930:
2088:
4280:
4164:
4922:
5021:
5820:
4693:
4768:
2534:
3476:
3157:
1985:
1056:
These properties do not decisively influence performance, nor are they the only mathematical properties that may be useful. For instance, the strictly positive range of the softplus makes it suitable for predicting variances in
1590:
5612:
1492:
3555:
1418:
1681:
5241:
1767:
1342:
2926:
5708:
1258:
2699:
1180:
3560:
3249:
6268:
979:
is a function that calculates the output of the node based on its individual inputs and their weights. Nontrivial problems can be solved using only a few nodes if the activation function is
3960:
5536:
3396:{\displaystyle {\begin{aligned}(x)^{+}\doteq {}&{\begin{cases}0&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}\\={}&\max(0,x)=x{\textbf {1}}_{x>0}\end{aligned}}}
4298:
4575:
1809:
3835:
1030:. The identity activation function does not satisfy this property. When multiple layers use the identity activation function, the entire network is equivalent to a single-layer model.
6030:{\displaystyle {\begin{cases}1&{\text{if }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{if }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}
5280:
4454:
6215:, based on quantum perceptrons instead of variational quantum circuits, the non-linearity of the activation function can be implemented with no need of measuring the output of each
3745:
5143:
3881:
4291:
1799:, which are extremely efficient as universal function approximators. These activation functions can take many forms, but they are usually found as one of the following functions:
1992:
6071:
5057:
4804:
4200:
3706:
2417:
3048:
4446:
4420:
5924:
4206:
4085:
5407:
6139:
2753:
2118:
5881:
5468:
5308:
4850:
3942:
3914:
3773:
3509:
3223:
3033:
2814:
2445:
7741:
5360:
4952:
2969:
2315:
5722:
4621:
4944:
4077:
2588:
2162:
4699:
3195:
3005:
2619:
877:
6099:
5853:
5440:
5085:
4832:
4603:
3537:
2786:
6746:
He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015-02-06). "Delving Deep into
Rectifiers: Surpassing Human-Level Performance on ImageNet Classification".
2465:
2256:
915:
3407:
6190:
6170:
2555:
2381:
2360:
2281:
2142:
1701:
1102:
3055:
1912:
6329:
Hinton, Geoffrey; Deng, Li; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick;
872:
862:
6816:
Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2018). "Sigmoid-Weighted Linear Units for Neural
Network Function Approximation in Reinforcement Learning".
1026:
When the activation function is non-linear, then a two-layer neural network can be proven to be a universal function approximator. This is known as the
6989:
6669:
Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015-11-23). "Fast and
Accurate Deep Network Learning by Exponential Linear Units (ELUs)".
5546:
3653:{\displaystyle {\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}}\right)\right)\\{}={}&x\Phi (x)\end{aligned}}}
1503:
6279:
7583:
703:
910:
1429:
1714:, on the other hand, it may reflect the increase in firing rate that occurs as input current increases. Such a function would be of the form
1353:
5149:
867:
718:
2836:
449:
2186:, and in output layers of multiclass classification networks. These activations perform aggregation over the inputs, such as taking the
1622:
950:
753:
1717:
1292:
5635:
7099:
6497:
Practical
Mathematical Optimization: An Introduction to Basic Optimization Theory and Classical and New Gradient-Based Algorithms
3547:
829:
6719:
Maas, Andrew L.; Hannun, Awni Y.; Ng, Andrew Y. (June 2013). "Rectifier nonlinearities improve neural network acoustic models".
6982:
1282:
Ridge functions are multivariate functions acting on a linear combination of the input variables. Often used examples include:
1189:
378:
6793:
6505:
2644:
7772:
3040:
1111:
887:
650:
185:
6690:
Klambauer, GĂĽnter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (2017-06-08). "Self-Normalizing Neural
Networks".
7901:
7873:
7424:
7161:
905:
6219:
at each layer. The quantum properties loaded within the circuit such as superposition can be preserved by creating the
5616:
4050:{\displaystyle {\begin{cases}\alpha \left(e^{x}-1\right)&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}
2319:
738:
713:
662:
7685:
7312:
7119:
6975:
6632:
786:
781:
434:
6919:
Maronese, Marco; Destri, Claudio; Prati, Enrico (2022). "Quantum activation functions for quantum neural networks".
4387:{\displaystyle \lambda {\begin{cases}\alpha (e^{x}-1)&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}
7640:
6890:
Goodfellow, Ian J.; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yoshua (2013). "Maxout
Networks".
444:
82:
6409:"Dorsal Hand Vein Recognition by Convolutional Neural Networks: Feature Learning and Transfer Learning Approaches"
5494:
1900:{\displaystyle \,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}}\right)}
1027:
4542:
4531:{\displaystyle \lambda {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}
7827:
7767:
7365:
943:
839:
603:
424:
3791:
7360:
7049:
5247:
1796:
814:
516:
292:
3712:
2821:
2083:{\displaystyle \,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}\right)^{-{\frac {1}{2}}}}
7802:
7199:
7156:
7109:
7104:
5476:
5103:
3841:
2211:
2183:
771:
708:
618:
596:
439:
429:
6768:
6572:"A quantitative description of membrane current and its application to conduction and excitation in nerve"
1019:
Aside from their empirical performance, activation functions also have different mathematical properties:
7853:
7149:
7075:
6243:
6238:
3229:
1048:
984:
922:
834:
819:
280:
102:
19:
For the formalism used to approximate the influence of an extracellular electrical field on neurons, see
6041:
5027:
4774:
4170:
3664:
2387:
7477:
7412:
7013:
4275:{\displaystyle {\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}}
4159:{\displaystyle {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}
1265:
1058:
882:
809:
559:
454:
242:
175:
135:
2210:
The following table compares the properties of several activation functions that are functions of one
1264:, may be better than saturating activation functions, because they are less likely to suffer from the
7878:
7736:
7375:
7206:
7029:
6445:
4425:
4399:
1597:
976:
936:
542:
310:
180:
5939:
5892:
4961:
4917:{\displaystyle {\begin{cases}\alpha x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}
4859:
4708:
4630:
4466:
4310:
4215:
4094:
3969:
3416:
3280:
2474:
7777:
7034:
5366:
5016:{\displaystyle {\begin{cases}\alpha &{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}
564:
484:
407:
325:
155:
117:
112:
72:
67:
6114:
5815:{\displaystyle g_{i}\left({\vec {x}}\right)\left(\delta _{ij}-g_{j}\left({\vec {x}}\right)\right)}
2705:
2101:
7822:
7807:
7460:
7455:
7355:
7223:
7004:
6208:
5859:
5446:
5286:
4688:{\displaystyle {\begin{cases}0.01x&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}
3920:
3887:
3751:
3482:
3201:
3011:
2792:
2451:
2423:
1704:
1008:
511:
360:
260:
87:
5328:
2932:
7782:
7542:
7261:
7256:
6407:
King
Abdulaziz University; Al-johania, Norah; Elrefaei, Lamiaa; Benha University (2019-06-30).
6333:; Kingsbury, Brian (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition".
4763:{\displaystyle {\begin{cases}0.01&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}
691:
667:
569:
330:
305:
265:
77:
7812:
7797:
7762:
7450:
7350:
7218:
6869:
Ramachandran, Prajit; Zoph, Barret; Le, Quoc V (2017). "Searching for
Activation Functions".
4929:
4062:
2561:
2529:{\displaystyle {\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}
2147:
1792:
988:
645:
467:
419:
275:
190:
62:
7680:
6172:
could be iterating through the number of kernels of the previous neural network layer while
3471:{\displaystyle {\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}
3165:
2975:
2594:
7832:
7787:
7233:
7178:
7024:
7019:
6938:
6648:
6406:
6077:
5826:
5621:
5413:
5063:
4810:
4581:
3515:
2759:
2324:
2286:
574:
524:
5095:
2232:
8:
7407:
7385:
7129:
7087:
7039:
2092:
677:
613:
584:
489:
315:
248:
234:
220:
195:
145:
97:
57:
20:
6942:
7792:
7370:
6928:
6899:
6870:
6851:
6825:
6799:
6747:
6728:
6699:
6670:
6596:
6571:
6552:
6476:
6350:
6309:
6175:
6155:
3152:{\displaystyle \operatorname {smht} (x)\doteq {\frac {e^{ax}-e^{-bx}}{e^{cx}+e^{-dx}}}}
2540:
2366:
2345:
2266:
2127:
1980:{\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}}
1686:
1423:
1087:
996:
655:
579:
365:
160:
7858:
7846:
7650:
7302:
7173:
7166:
6954:
6843:
6789:
6628:
6601:
6556:
6544:
6501:
6468:
6389:
6354:
6233:
6212:
5314:
2625:
2331:
1803:
1497:
748:
591:
504:
300:
270:
215:
210:
165:
107:
24:
6732:
6620:
7603:
7593:
7400:
7194:
7144:
7139:
7082:
7070:
6946:
6855:
6835:
6803:
6781:
6591:
6587:
6583:
6534:
6480:
6460:
6423:
6381:
6342:
6248:
6202:
5628:
2199:
1613:
1601:
992:
776:
529:
479:
389:
373:
343:
205:
200:
150:
140:
38:
5475:
The following table lists activation functions that are not functions of a single
1612:
is firing or not. Neurons also cannot fire faster than a certain rate, motivating
7716:
7660:
7482:
7124:
7044:
6839:
6495:
6142:
1786:
1605:
1074:
804:
608:
474:
414:
6785:
7690:
7655:
7645:
7470:
7228:
7054:
6950:
6441:
6427:
5607:{\displaystyle {\frac {\partial g_{i}\left({\vec {x}}\right)}{\partial x_{j}}}}
1585:{\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}}
1277:
1070:
824:
355:
92:
3236:
7895:
7635:
7615:
7532:
7211:
6958:
6777:
2008 IEEE International
Conference on Acoustics, Speech and Signal Processing
6625:
27th
International Conference on International Conference on Machine Learning
6548:
6472:
6393:
6346:
6308:
Hendrycks, Dan; Gimpel, Kevin (2016). "Gaussian Error Linear Units (GELUs)".
6220:
2179:
2173:
1600:, the activation function is usually an abstraction representing the rate of
1078:
1038:
743:
672:
554:
285:
170:
7721:
7552:
6967:
6847:
6605:
6408:
6330:
1069:
The most common activation functions can be divided into three categories:
7817:
7588:
7497:
7492:
7114:
7092:
6369:
2457:
1776:
Rectified linear unit and Gaussian error linear unit activation functions
549:
43:
1487:{\displaystyle \phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}}
7711:
7670:
7665:
7578:
7487:
7395:
7307:
7287:
6464:
6216:
5540:
2260:
1413:{\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )}
698:
394:
320:
5320:
5091:
Sigmoid linear unit (SiLU, Sigmoid shrinkage, SiL, or Swish-1)
3783:
2636:
2337:
7706:
7675:
7573:
7417:
7380:
7317:
7271:
7266:
7251:
6767:
Atto, Abdourrahmane M.; Pastor, Dominique; Mercier, Grégoire (2008),
6521:
Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2017-05-24).
6368:
Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2017-05-24).
5236:{\displaystyle {\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}}
857:
638:
6889:
6539:
6522:
6385:
7608:
7440:
6933:
6875:
6830:
6752:
6704:
6675:
6314:
4842:
4613:
2921:{\displaystyle \tanh(x)\doteq {\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}
6904:
6689:
6656:
International Conference on Artificial Intelligence and Statistics
4290:
2828:
1676:{\displaystyle \phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )}
7731:
7568:
7522:
7445:
7345:
7340:
7292:
6523:"ImageNet classification with deep convolutional neural networks"
6370:"ImageNet classification with deep convolutional neural networks"
3952:
2195:
2191:
1004:
963:
633:
6769:"Smooth sigmoid wavelet shrinkage for non-parametric estimation"
1772:
983:. Modern activation functions include the smooth version of the
7746:
7726:
7598:
7390:
1762:{\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }
1609:
1337:{\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }
1286:
384:
6621:"Rectified Linear Units Improve Restricted Boltzmann Machines"
3047:
7547:
7527:
7517:
7512:
7507:
7502:
7465:
7297:
5703:{\displaystyle {\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}
1711:
628:
623:
350:
6668:
6416:
International Journal of Intelligent Engineering and Systems
6192:
iterates through the number of kernels of the current layer.
7537:
6023:
5009:
4910:
4756:
4681:
4524:
4380:
4268:
4152:
4043:
3464:
3328:
2522:
2187:
1604:
firing in the cell. In its simplest form, this function is
1347:
1261:
1000:
6520:
6446:"Approximation by superpositions of a sigmoidal function"
6367:
2178:
Folding activation functions are extensively used in the
1253:{\displaystyle \lim _{|v|\to \infty }|\nabla f(v)|\neq 0}
6647:
Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011).
1616:
activation functions whose range is a finite interval.
916:
List of datasets in computer vision and image processing
6276:
University of Applied Sciences Northwestern Switzerland
2694:{\displaystyle \sigma (x)\doteq {\frac {1}{1+e^{-x}}}}
6178:
6158:
6117:
6080:
6044:
5933:
5895:
5862:
5829:
5725:
5638:
5549:
5497:
5449:
5416:
5369:
5331:
5289:
5250:
5152:
5106:
5066:
5030:
4955:
4932:
4853:
4813:
4777:
4702:
4624:
4584:
4545:
4457:
4428:
4402:
4301:
4209:
4173:
4088:
4065:
3963:
3923:
3890:
3844:
3794:
3754:
3715:
3667:
3558:
3518:
3485:
3410:
3247:
3204:
3168:
3058:
3014:
2978:
2935:
2839:
2795:
2762:
2708:
2647:
2597:
2564:
2543:
2468:
2426:
2390:
2369:
2348:
2289:
2269:
2235:
2150:
2130:
2104:
1995:
1915:
1812:
1720:
1689:
1625:
1506:
1432:
1356:
1295:
1192:
1175:{\displaystyle \lim _{|v|\to \infty }|\nabla f(v)|=0}
1114:
1090:
1014:
6918:
2164:are parameters affecting the spread of the radius.
6868:
6646:
6184:
6164:
6133:
6093:
6065:
6029:
5918:
5875:
5847:
5814:
5702:
5606:
5530:
5462:
5434:
5401:
5354:
5302:
5274:
5235:
5137:
5079:
5051:
5015:
4938:
4916:
4826:
4798:
4762:
4687:
4597:
4569:
4530:
4440:
4414:
4386:
4274:
4194:
4158:
4071:
4049:
3936:
3908:
3875:
3829:
3767:
3739:
3700:
3652:
3531:
3503:
3470:
3395:
3217:
3189:
3151:
3027:
2999:
2963:
2920:
2808:
2780:
2747:
2693:
2613:
2582:
2549:
2528:
2439:
2411:
2375:
2354:
2309:
2275:
2250:
2156:
2136:
2112:
2082:
1979:
1899:
1761:
1695:
1675:
1584:
1486:
1412:
1336:
1252:
1174:
1096:
6815:
6766:
6692:Advances in Neural Information Processing Systems
1791:A special class of activation functions known as
1037:most of the weights. In the latter case, smaller
7893:
6328:
5897:
3345:
2205:
1374:
1194:
1116:
6307:
6196:
2167:
1260:. Non-saturating activation functions, such as
23:. For a linear system’s transfer function, see
1780:
911:List of datasets for machine-learning research
6983:
6745:
6627:, ICML'10, USA: Omnipress, pp. 807–814,
6569:
1271:
944:
6997:
6718:
6570:Hodgkin, A. L.; Huxley, A. F. (1952-08-28).
6453:Mathematics of Control, Signals, and Systems
6303:
6301:
6299:
6107:
5531:{\displaystyle g_{i}\left({\vec {x}}\right)}
2577:
2565:
2037:
2020:
1953:
1936:
1865:
1848:
6990:
6976:
6618:
4570:{\displaystyle (-\lambda \alpha ,\infty )}
951:
937:
6932:
6903:
6874:
6829:
6751:
6703:
6674:
6619:Nair, Vinod; Hinton, Geoffrey E. (2010),
6595:
6538:
6500:. Springer Science & Business Media.
6313:
6296:
6009:
5968:
4838:Parametric rectified linear unit (PReLU)
4609:Leaky rectified linear unit (Leaky ReLU)
1996:
1916:
1813:
6892:JMLR Workshop and Conference Proceedings
6760:
3830:{\displaystyle \ln \left(1+e^{x}\right)}
2120:is the vector representing the function
1771:
962:
6649:"Deep sparse rectifier neural networks"
6440:
5275:{\displaystyle [-0.278\ldots ,\infty )}
1064:
987:, the GELU, which was used in the 2018
16:Artificial neural network node function
7894:
6493:
6266:
4286:Scaled exponential linear unit (SELU)
3740:{\displaystyle (-0.17\ldots ,\infty )}
3039:Soboleva modified hyperbolic tangent (
1007:computer vision model and in the 2015
6971:
5138:{\displaystyle {\frac {x}{1+e^{-x}}}}
3876:{\displaystyle {\frac {1}{1+e^{-x}}}}
1598:biologically inspired neural networks
1052:methods can make no progress with it.
999:model developed by Hinton et al, the
7828:Generative adversarial network (GAN)
5482:from the previous layer or layers:
3372:
2217:from the previous layer or layers:
2198:. In multiclass classification the
906:Glossary of artificial intelligence
13:
6066:{\displaystyle (-\infty ,\infty )}
6057:
6051:
5868:
5588:
5553:
5455:
5295:
5266:
5052:{\displaystyle (-\infty ,\infty )}
5043:
5037:
4799:{\displaystyle (-\infty ,\infty )}
4790:
4784:
4561:
4195:{\displaystyle (-\alpha ,\infty )}
4186:
3929:
3900:
3760:
3731:
3701:{\displaystyle \Phi (x)+x\phi (x)}
3668:
3634:
3543:Gaussian Error Linear Unit (GELU)
3495:
3210:
3020:
2801:
2432:
2412:{\displaystyle (-\infty ,\infty )}
2403:
2397:
1224:
1214:
1146:
1136:
1015:Comparison of activation functions
14:
7913:
7866:
7865:
7845:
5319:
5094:
4841:
4612:
4289:
3951:
3782:
3546:
3235:
3046:
2827:
2635:
2456:
2336:
2106:
2032:
2024:
2004:
1948:
1940:
1924:
1860:
1852:
1821:
1755:
1746:
1728:
1666:
1657:
1633:
1562:
1553:
1514:
1472:
1463:
1440:
1403:
1394:
1364:
1330:
1321:
1303:
6912:
6883:
6862:
6809:
6739:
6712:
6683:
6662:
6640:
6612:
6335:IEEE Signal Processing Magazine
4441:{\displaystyle \alpha =1.67326}
4415:{\displaystyle \lambda =1.0507}
1028:Universal Approximation Theorem
7778:Recurrent neural network (RNN)
7768:Differentiable neural computer
6921:Quantum Information Processing
6588:10.1113/jphysiol.1952.sp004764
6563:
6514:
6487:
6434:
6400:
6361:
6322:
6260:
6148:
6060:
6045:
5919:{\displaystyle \max _{i}x_{i}}
5842:
5830:
5797:
5746:
5576:
5518:
5429:
5417:
5269:
5251:
5046:
5031:
4793:
4778:
4564:
4546:
4335:
4316:
4189:
4174:
3948:Exponential linear unit (ELU)
3903:
3891:
3734:
3716:
3695:
3689:
3677:
3671:
3643:
3637:
3498:
3486:
3360:
3348:
3259:
3252:
3184:
3169:
3071:
3065:
2994:
2979:
2952:
2945:
2852:
2846:
2775:
2763:
2742:
2739:
2733:
2721:
2718:
2712:
2657:
2651:
2406:
2391:
2304:
2298:
2245:
2239:
2008:
2000:
1928:
1920:
1825:
1817:
1732:
1724:
1670:
1646:
1637:
1629:
1570:
1566:
1539:
1524:
1518:
1510:
1444:
1436:
1407:
1377:
1368:
1360:
1307:
1299:
1240:
1236:
1230:
1220:
1211:
1207:
1199:
1162:
1158:
1152:
1142:
1133:
1129:
1121:
326:Relevance vector machine (RVM)
1:
7823:Variational autoencoder (VAE)
7783:Long short-term memory (LSTM)
7050:Computational learning theory
6254:
5402:{\displaystyle -2xe^{-x^{2}}}
2206:Table of activation functions
2184:convolutional neural networks
815:Computational learning theory
379:Expectation–maximization (EM)
7803:Convolutional neural network
6840:10.1016/j.neunet.2017.12.012
6494:Snyman, Jan (3 March 2005).
6197:Quantum activation functions
6134:{\displaystyle \delta _{ij}}
2748:{\displaystyle g(x)(1-g(x))}
2168:Folding activation functions
2113:{\displaystyle \mathbf {c} }
1047:This property is desirable (
995:) function used in the 2012
967:Logistic activation function
772:Coefficient of determination
619:Convolutional neural network
331:Support vector machine (SVM)
7:
7798:Multilayer perceptron (MLP)
6786:10.1109/ICASSP.2008.4518347
6244:Stability (learning theory)
6239:Rectifier (neural networks)
6227:
5876:{\displaystyle C^{\infty }}
5463:{\displaystyle C^{\infty }}
5303:{\displaystyle C^{\infty }}
3937:{\displaystyle C^{\infty }}
3909:{\displaystyle (0,\infty )}
3768:{\displaystyle C^{\infty }}
3504:{\displaystyle [0,\infty )}
3218:{\displaystyle C^{\infty }}
3028:{\displaystyle C^{\infty }}
2809:{\displaystyle C^{\infty }}
2440:{\displaystyle C^{\infty }}
1781:Radial activation functions
1044:Continuously differentiable
923:Outline of machine learning
820:Empirical risk minimization
10:
7918:
7902:Artificial neural networks
7874:Artificial neural networks
7788:Gated recurrent unit (GRU)
7014:Differentiable programming
6951:10.1007/s11128-022-03466-0
6428:10.22266/ijies2019.0630.19
6200:
5355:{\displaystyle e^{-x^{2}}}
2964:{\displaystyle 1-g(x)^{2}}
2202:activation is often used.
2171:
1784:
1275:
1272:Ridge activation functions
1266:vanishing gradient problem
560:Feedforward neural network
311:Artificial neural networks
18:
7841:
7755:
7699:
7628:
7561:
7433:
7333:
7326:
7280:
7244:
7207:Artificial neural network
7187:
7063:
7030:Automatic differentiation
7003:
6576:The Journal of Physiology
6527:Communications of the ACM
6374:Communications of the ACM
6211:programmed on gate-model
1989:Inverse multiquadratics:
1710:If a line has a positive
977:artificial neural network
543:Artificial neural network
7035:Neuromorphic engineering
6998:Differentiable computing
6347:10.1109/MSP.2012.2205597
1619:The function looks like
1059:variational autoencoders
1041:are typically necessary.
852:Journals and conferences
799:Mathematical foundations
709:Temporal difference (TD)
565:Recurrent neural network
485:Conditional random field
408:Dimensionality reduction
156:Dimensionality reduction
118:Quantum machine learning
113:Neuromorphic engineering
73:Self-supervised learning
68:Semi-supervised learning
7808:Residual neural network
7224:Artificial Intelligence
6269:"Neural Networks, p. 7"
6209:quantum neural networks
4939:{\displaystyle \alpha }
4072:{\displaystyle \alpha }
2583:{\displaystyle \{0,1\}}
2157:{\displaystyle \sigma }
1705:Heaviside step function
1084:An activation function
261:Apprenticeship learning
6780:, pp. 3265–3268,
6186:
6166:
6135:
6095:
6067:
6031:
5920:
5877:
5849:
5816:
5704:
5679:
5608:
5532:
5464:
5436:
5403:
5356:
5304:
5276:
5237:
5139:
5081:
5053:
5017:
4940:
4918:
4828:
4800:
4764:
4689:
4599:
4571:
4532:
4442:
4416:
4388:
4276:
4196:
4160:
4073:
4051:
3938:
3910:
3877:
3831:
3769:
3741:
3702:
3654:
3533:
3505:
3472:
3397:
3219:
3191:
3190:{\displaystyle (-1,1)}
3153:
3029:
3001:
3000:{\displaystyle (-1,1)}
2965:
2922:
2810:
2782:
2749:
2695:
2615:
2614:{\displaystyle C^{-1}}
2584:
2551:
2530:
2441:
2413:
2377:
2356:
2311:
2277:
2252:
2158:
2138:
2114:
2084:
1981:
1901:
1793:radial basis functions
1777:
1763:
1697:
1677:
1586:
1488:
1414:
1338:
1254:
1176:
1098:
968:
810:Bias–variance tradeoff
692:Reinforcement learning
668:Spiking neural network
78:Reinforcement learning
7763:Neural Turing machine
7351:Human image synthesis
6187:
6167:
6136:
6096:
6094:{\displaystyle C^{0}}
6068:
6032:
5921:
5878:
5850:
5848:{\displaystyle (0,1)}
5817:
5705:
5659:
5609:
5533:
5465:
5437:
5435:{\displaystyle (0,1]}
5404:
5357:
5305:
5277:
5238:
5140:
5082:
5080:{\displaystyle C^{0}}
5054:
5018:
4941:
4919:
4829:
4827:{\displaystyle C^{0}}
4801:
4765:
4690:
4600:
4598:{\displaystyle C^{0}}
4572:
4533:
4443:
4417:
4389:
4277:
4197:
4161:
4074:
4052:
3939:
3911:
3878:
3832:
3770:
3742:
3703:
3655:
3534:
3532:{\displaystyle C^{0}}
3506:
3473:
3398:
3230:Rectified linear unit
3220:
3192:
3154:
3030:
3002:
2966:
2923:
2811:
2783:
2781:{\displaystyle (0,1)}
2750:
2696:
2616:
2585:
2552:
2531:
2442:
2414:
2378:
2357:
2312:
2310:{\displaystyle g'(x)}
2278:
2253:
2159:
2139:
2115:
2085:
1982:
1902:
1775:
1764:
1698:
1678:
1608:—that is, either the
1587:
1489:
1415:
1339:
1255:
1177:
1099:
991:model, the logistic (
966:
646:Neural radiance field
468:Structured prediction
191:Structured prediction
63:Unsupervised learning
7854:Computer programming
7833:Graph neural network
7408:Text-to-video models
7386:Text-to-image models
7234:Large language model
7219:Scientific computing
7025:Statistical manifold
7020:Information geometry
6176:
6156:
6115:
6078:
6042:
5931:
5893:
5860:
5827:
5723:
5636:
5547:
5495:
5447:
5414:
5367:
5329:
5287:
5248:
5150:
5104:
5064:
5028:
4953:
4930:
4851:
4811:
4775:
4700:
4622:
4582:
4543:
4455:
4426:
4400:
4299:
4207:
4171:
4086:
4063:
3961:
3921:
3888:
3842:
3792:
3752:
3713:
3665:
3556:
3516:
3483:
3408:
3245:
3202:
3166:
3056:
3012:
2976:
2933:
2837:
2820:Hyperbolic tangent (
2793:
2760:
2706:
2645:
2595:
2562:
2541:
2466:
2424:
2388:
2367:
2346:
2287:
2267:
2251:{\displaystyle g(x)}
2233:
2148:
2128:
2102:
2093:Polyharmonic splines
1993:
1913:
1810:
1718:
1687:
1623:
1504:
1430:
1354:
1293:
1190:
1112:
1088:
1065:Mathematical details
835:Statistical learning
733:Learning with humans
525:Local outlier factor
7200:In-context learning
7040:Pattern recognition
6943:2022QuIP...21..128M
5622:Order of continuity
2325:Order of continuity
1795:(RBFs) are used in
973:activation function
678:Electrochemical RAM
585:reservoir computing
316:Logistic regression
235:Supervised learning
221:Multimodal learning
196:Feature engineering
141:Generative modeling
103:Rule-based learning
98:Curriculum learning
58:Supervised learning
33:Part of a series on
21:activating function
7793:Echo state network
7681:JĂĽrgen Schmidhuber
7376:Facial recognition
7371:Speech recognition
7281:Software libraries
6465:10.1007/BF02551274
6267:Hinkelmann, Knut.
6182:
6162:
6131:
6091:
6063:
6027:
6022:
6007:
5966:
5916:
5905:
5873:
5845:
5812:
5700:
5604:
5528:
5460:
5432:
5399:
5352:
5300:
5272:
5233:
5135:
5077:
5049:
5013:
5008:
4936:
4914:
4909:
4824:
4796:
4760:
4755:
4685:
4680:
4595:
4567:
4528:
4523:
4438:
4412:
4384:
4379:
4272:
4267:
4192:
4156:
4151:
4069:
4047:
4042:
3934:
3906:
3873:
3827:
3765:
3737:
3698:
3650:
3648:
3529:
3501:
3468:
3463:
3393:
3391:
3327:
3215:
3187:
3149:
3025:
2997:
2961:
2918:
2806:
2778:
2745:
2691:
2628:, sigmoid, or soft
2611:
2580:
2547:
2526:
2521:
2437:
2409:
2373:
2352:
2307:
2273:
2248:
2154:
2134:
2110:
2080:
1977:
1897:
1778:
1759:
1693:
1673:
1582:
1484:
1410:
1334:
1250:
1218:
1172:
1140:
1094:
997:speech recognition
969:
246: •
161:Density estimation
7889:
7888:
7651:Stephen Grossberg
7624:
7623:
6795:978-1-4244-1483-3
6507:978-0-387-24348-1
6444:(December 1989).
6234:Logistic function
6213:quantum computers
6185:{\displaystyle i}
6165:{\displaystyle j}
6104:
6103:
6000:
5991:
5959:
5950:
5896:
5800:
5749:
5710: for
5698:
5602:
5579:
5521:
5473:
5472:
5231:
5133:
4995:
4972:
4896:
4873:
4742:
4719:
4667:
4644:
4510:
4487:
4366:
4343:
4263:
4233:
4138:
4115:
4029:
4006:
3871:
3607:
3606:
3591:
3572:
3450:
3427:
3374:
3314:
3291:
3147:
2916:
2689:
2550:{\displaystyle 0}
2508:
2485:
2376:{\displaystyle 1}
2355:{\displaystyle x}
2276:{\displaystyle g}
2137:{\displaystyle a}
2076:
1975:
1909:Multiquadratics:
1890:
1696:{\displaystyle U}
1193:
1115:
1097:{\displaystyle f}
1003:used in the 2012
961:
960:
766:Model diagnostics
749:Human-in-the-loop
592:Boltzmann machine
505:Anomaly detection
301:Linear regression
216:Ontology learning
211:Grammar induction
186:Semantic analysis
181:Association rules
166:Anomaly detection
108:Neuro-symbolic AI
25:transfer function
7909:
7879:Machine learning
7869:
7868:
7849:
7604:Action selection
7594:Self-driving car
7401:Stable Diffusion
7366:Speech synthesis
7331:
7330:
7195:Machine learning
7071:Gradient descent
6992:
6985:
6978:
6969:
6968:
6963:
6962:
6936:
6916:
6910:
6909:
6907:
6898:(3): 1319–1327.
6887:
6881:
6880:
6878:
6866:
6860:
6859:
6833:
6813:
6807:
6806:
6773:
6764:
6758:
6757:
6755:
6743:
6737:
6736:
6716:
6710:
6709:
6707:
6687:
6681:
6680:
6678:
6666:
6660:
6659:
6653:
6644:
6638:
6637:
6616:
6610:
6609:
6599:
6567:
6561:
6560:
6542:
6518:
6512:
6511:
6491:
6485:
6484:
6450:
6438:
6432:
6431:
6413:
6404:
6398:
6397:
6365:
6359:
6358:
6326:
6320:
6319:
6317:
6305:
6294:
6293:
6291:
6290:
6284:
6278:. Archived from
6273:
6264:
6249:Softmax function
6203:Quantum function
6191:
6189:
6188:
6183:
6171:
6169:
6168:
6163:
6151:
6140:
6138:
6137:
6132:
6130:
6129:
6110:
6100:
6098:
6097:
6092:
6090:
6089:
6072:
6070:
6069:
6064:
6036:
6034:
6033:
6028:
6026:
6025:
6019:
6018:
6008:
5992:
5989:
5978:
5977:
5967:
5951:
5948:
5925:
5923:
5922:
5917:
5915:
5914:
5904:
5882:
5880:
5879:
5874:
5872:
5871:
5854:
5852:
5851:
5846:
5821:
5819:
5818:
5813:
5811:
5807:
5806:
5802:
5801:
5793:
5786:
5785:
5773:
5772:
5755:
5751:
5750:
5742:
5735:
5734:
5717:
5713:
5709:
5707:
5706:
5701:
5699:
5697:
5696:
5695:
5694:
5693:
5678:
5673:
5657:
5656:
5655:
5654:
5640:
5613:
5611:
5610:
5605:
5603:
5601:
5600:
5599:
5586:
5585:
5581:
5580:
5572:
5565:
5564:
5551:
5537:
5535:
5534:
5529:
5527:
5523:
5522:
5514:
5507:
5506:
5485:
5484:
5481:
5469:
5467:
5466:
5461:
5459:
5458:
5441:
5439:
5438:
5433:
5408:
5406:
5405:
5400:
5398:
5397:
5396:
5395:
5361:
5359:
5358:
5353:
5351:
5350:
5349:
5348:
5323:
5309:
5307:
5306:
5301:
5299:
5298:
5281:
5279:
5278:
5273:
5242:
5240:
5239:
5234:
5232:
5230:
5229:
5224:
5220:
5219:
5218:
5194:
5193:
5192:
5174:
5173:
5154:
5144:
5142:
5141:
5136:
5134:
5132:
5131:
5130:
5108:
5098:
5086:
5084:
5083:
5078:
5076:
5075:
5058:
5056:
5055:
5050:
5022:
5020:
5019:
5014:
5012:
5011:
4996:
4993:
4973:
4970:
4945:
4943:
4942:
4937:
4923:
4921:
4920:
4915:
4913:
4912:
4897:
4894:
4874:
4871:
4845:
4833:
4831:
4830:
4825:
4823:
4822:
4805:
4803:
4802:
4797:
4769:
4767:
4766:
4761:
4759:
4758:
4743:
4740:
4720:
4717:
4694:
4692:
4691:
4686:
4684:
4683:
4668:
4665:
4645:
4642:
4616:
4604:
4602:
4601:
4596:
4594:
4593:
4576:
4574:
4573:
4568:
4537:
4535:
4534:
4529:
4527:
4526:
4511:
4508:
4488:
4485:
4481:
4480:
4447:
4445:
4444:
4439:
4421:
4419:
4418:
4413:
4396:with parameters
4393:
4391:
4390:
4385:
4383:
4382:
4367:
4364:
4344:
4341:
4328:
4327:
4293:
4281:
4279:
4278:
4273:
4271:
4270:
4264:
4261:
4257:
4256:
4234:
4231:
4227:
4226:
4201:
4199:
4198:
4193:
4165:
4163:
4162:
4157:
4155:
4154:
4139:
4136:
4116:
4113:
4109:
4108:
4078:
4076:
4075:
4070:
4056:
4054:
4053:
4048:
4046:
4045:
4030:
4027:
4007:
4004:
4000:
3996:
3989:
3988:
3955:
3943:
3941:
3940:
3935:
3933:
3932:
3915:
3913:
3912:
3907:
3882:
3880:
3879:
3874:
3872:
3870:
3869:
3868:
3846:
3836:
3834:
3833:
3828:
3826:
3822:
3821:
3820:
3786:
3774:
3772:
3771:
3766:
3764:
3763:
3746:
3744:
3743:
3738:
3707:
3705:
3704:
3699:
3659:
3657:
3656:
3651:
3649:
3628:
3623:
3617:
3613:
3612:
3608:
3602:
3598:
3592:
3589:
3573:
3565:
3562:
3550:
3538:
3536:
3535:
3530:
3528:
3527:
3510:
3508:
3507:
3502:
3477:
3475:
3474:
3469:
3467:
3466:
3451:
3448:
3428:
3425:
3402:
3400:
3399:
3394:
3392:
3388:
3387:
3376:
3375:
3340:
3331:
3330:
3315:
3312:
3292:
3289:
3272:
3267:
3266:
3239:
3224:
3222:
3221:
3216:
3214:
3213:
3196:
3194:
3193:
3188:
3158:
3156:
3155:
3150:
3148:
3146:
3145:
3144:
3126:
3125:
3112:
3111:
3110:
3092:
3091:
3078:
3050:
3034:
3032:
3031:
3026:
3024:
3023:
3006:
3004:
3003:
2998:
2970:
2968:
2967:
2962:
2960:
2959:
2927:
2925:
2924:
2919:
2917:
2915:
2914:
2913:
2898:
2897:
2887:
2886:
2885:
2870:
2869:
2859:
2831:
2815:
2813:
2812:
2807:
2805:
2804:
2787:
2785:
2784:
2779:
2754:
2752:
2751:
2746:
2700:
2698:
2697:
2692:
2690:
2688:
2687:
2686:
2664:
2639:
2631:
2620:
2618:
2617:
2612:
2610:
2609:
2589:
2587:
2586:
2581:
2556:
2554:
2553:
2548:
2535:
2533:
2532:
2527:
2525:
2524:
2509:
2506:
2486:
2483:
2460:
2446:
2444:
2443:
2438:
2436:
2435:
2418:
2416:
2415:
2410:
2382:
2380:
2379:
2374:
2361:
2359:
2358:
2353:
2340:
2316:
2314:
2313:
2308:
2297:
2282:
2280:
2279:
2274:
2257:
2255:
2254:
2249:
2220:
2219:
2216:
2163:
2161:
2160:
2155:
2143:
2141:
2140:
2135:
2119:
2117:
2116:
2111:
2109:
2089:
2087:
2086:
2081:
2079:
2078:
2077:
2069:
2063:
2059:
2058:
2057:
2045:
2044:
2035:
2027:
2007:
1986:
1984:
1983:
1978:
1976:
1974:
1973:
1961:
1960:
1951:
1943:
1935:
1927:
1906:
1904:
1903:
1898:
1896:
1892:
1891:
1889:
1888:
1887:
1874:
1873:
1872:
1863:
1855:
1846:
1824:
1768:
1766:
1765:
1760:
1758:
1753:
1749:
1731:
1702:
1700:
1699:
1694:
1682:
1680:
1679:
1674:
1669:
1664:
1660:
1636:
1602:action potential
1591:
1589:
1588:
1583:
1581:
1580:
1565:
1560:
1556:
1517:
1493:
1491:
1490:
1485:
1483:
1482:
1475:
1470:
1466:
1443:
1419:
1417:
1416:
1411:
1406:
1401:
1397:
1367:
1343:
1341:
1340:
1335:
1333:
1328:
1324:
1306:
1259:
1257:
1256:
1251:
1243:
1223:
1217:
1210:
1202:
1181:
1179:
1178:
1173:
1165:
1145:
1139:
1132:
1124:
1103:
1101:
1100:
1095:
1075:radial functions
975:of a node in an
953:
946:
939:
900:Related articles
777:Confusion matrix
530:Isolation forest
475:Graphical models
254:
253:
206:Learning to rank
201:Feature learning
39:Machine learning
30:
29:
7917:
7916:
7912:
7911:
7910:
7908:
7907:
7906:
7892:
7891:
7890:
7885:
7837:
7751:
7717:Google DeepMind
7695:
7661:Geoffrey Hinton
7620:
7557:
7483:Project Debater
7429:
7327:Implementations
7322:
7276:
7240:
7183:
7125:Backpropagation
7059:
7045:Tensor calculus
6999:
6996:
6966:
6917:
6913:
6888:
6884:
6867:
6863:
6818:Neural Networks
6814:
6810:
6796:
6771:
6765:
6761:
6744:
6740:
6717:
6713:
6688:
6684:
6667:
6663:
6651:
6645:
6641:
6635:
6617:
6613:
6568:
6564:
6540:10.1145/3065386
6519:
6515:
6508:
6492:
6488:
6448:
6439:
6435:
6411:
6405:
6401:
6386:10.1145/3065386
6366:
6362:
6327:
6323:
6306:
6297:
6288:
6286:
6282:
6271:
6265:
6261:
6257:
6230:
6205:
6199:
6177:
6174:
6173:
6157:
6154:
6153:
6143:Kronecker delta
6122:
6118:
6116:
6113:
6112:
6085:
6081:
6079:
6076:
6075:
6043:
6040:
6039:
6021:
6020:
6014:
6010:
5999:
5988:
5986:
5980:
5979:
5973:
5969:
5958:
5947:
5945:
5935:
5934:
5932:
5929:
5928:
5910:
5906:
5900:
5894:
5891:
5890:
5867:
5863:
5861:
5858:
5857:
5828:
5825:
5824:
5792:
5791:
5787:
5781:
5777:
5765:
5761:
5760:
5756:
5741:
5740:
5736:
5730:
5726:
5724:
5721:
5720:
5715:
5711:
5689:
5685:
5684:
5680:
5674:
5663:
5658:
5650:
5646:
5645:
5641:
5639:
5637:
5634:
5633:
5595:
5591:
5587:
5571:
5570:
5566:
5560:
5556:
5552:
5550:
5548:
5545:
5544:
5513:
5512:
5508:
5502:
5498:
5496:
5493:
5492:
5479:
5454:
5450:
5448:
5445:
5444:
5415:
5412:
5411:
5391:
5387:
5383:
5379:
5368:
5365:
5364:
5344:
5340:
5336:
5332:
5330:
5327:
5326:
5294:
5290:
5288:
5285:
5284:
5249:
5246:
5245:
5225:
5211:
5207:
5200:
5196:
5195:
5185:
5181:
5166:
5162:
5155:
5153:
5151:
5148:
5147:
5123:
5119:
5112:
5107:
5105:
5102:
5101:
5071:
5067:
5065:
5062:
5061:
5029:
5026:
5025:
5007:
5006:
4992:
4990:
4984:
4983:
4969:
4967:
4957:
4956:
4954:
4951:
4950:
4931:
4928:
4927:
4926:with parameter
4908:
4907:
4893:
4891:
4885:
4884:
4870:
4868:
4855:
4854:
4852:
4849:
4848:
4818:
4814:
4812:
4809:
4808:
4776:
4773:
4772:
4754:
4753:
4739:
4737:
4731:
4730:
4716:
4714:
4704:
4703:
4701:
4698:
4697:
4679:
4678:
4664:
4662:
4656:
4655:
4641:
4639:
4626:
4625:
4623:
4620:
4619:
4589:
4585:
4583:
4580:
4579:
4544:
4541:
4540:
4522:
4521:
4507:
4505:
4499:
4498:
4484:
4482:
4476:
4472:
4462:
4461:
4456:
4453:
4452:
4427:
4424:
4423:
4401:
4398:
4397:
4378:
4377:
4363:
4361:
4355:
4354:
4340:
4338:
4323:
4319:
4306:
4305:
4300:
4297:
4296:
4266:
4265:
4260:
4258:
4252:
4248:
4245:
4244:
4230:
4228:
4222:
4218:
4211:
4210:
4208:
4205:
4204:
4172:
4169:
4168:
4150:
4149:
4135:
4133:
4127:
4126:
4112:
4110:
4104:
4100:
4090:
4089:
4087:
4084:
4083:
4064:
4061:
4060:
4059:with parameter
4041:
4040:
4026:
4024:
4018:
4017:
4003:
4001:
3984:
3980:
3979:
3975:
3965:
3964:
3962:
3959:
3958:
3928:
3924:
3922:
3919:
3918:
3889:
3886:
3885:
3861:
3857:
3850:
3845:
3843:
3840:
3839:
3816:
3812:
3805:
3801:
3793:
3790:
3789:
3759:
3755:
3753:
3750:
3749:
3714:
3711:
3710:
3666:
3663:
3662:
3647:
3646:
3629:
3627:
3622:
3619:
3618:
3597:
3593:
3588:
3581:
3577:
3564:
3559:
3557:
3554:
3553:
3523:
3519:
3517:
3514:
3513:
3484:
3481:
3480:
3462:
3461:
3447:
3445:
3439:
3438:
3424:
3422:
3412:
3411:
3409:
3406:
3405:
3390:
3389:
3377:
3371:
3370:
3369:
3341:
3339:
3333:
3332:
3326:
3325:
3311:
3309:
3303:
3302:
3288:
3286:
3276:
3275:
3273:
3271:
3262:
3258:
3248:
3246:
3243:
3242:
3209:
3205:
3203:
3200:
3199:
3167:
3164:
3163:
3134:
3130:
3118:
3114:
3113:
3100:
3096:
3084:
3080:
3079:
3077:
3057:
3054:
3053:
3019:
3015:
3013:
3010:
3009:
2977:
2974:
2973:
2955:
2951:
2934:
2931:
2930:
2906:
2902:
2893:
2889:
2888:
2878:
2874:
2865:
2861:
2860:
2858:
2838:
2835:
2834:
2800:
2796:
2794:
2791:
2790:
2761:
2758:
2757:
2707:
2704:
2703:
2679:
2675:
2668:
2663:
2646:
2643:
2642:
2629:
2602:
2598:
2596:
2593:
2592:
2563:
2560:
2559:
2542:
2539:
2538:
2520:
2519:
2505:
2503:
2497:
2496:
2482:
2480:
2470:
2469:
2467:
2464:
2463:
2431:
2427:
2425:
2422:
2421:
2389:
2386:
2385:
2368:
2365:
2364:
2347:
2344:
2343:
2290:
2288:
2285:
2284:
2268:
2265:
2264:
2234:
2231:
2230:
2214:
2208:
2176:
2170:
2149:
2146:
2145:
2129:
2126:
2125:
2105:
2103:
2100:
2099:
2068:
2064:
2053:
2049:
2040:
2036:
2031:
2023:
2019:
2015:
2014:
2003:
1994:
1991:
1990:
1969:
1965:
1956:
1952:
1947:
1939:
1934:
1923:
1914:
1911:
1910:
1883:
1879:
1875:
1868:
1864:
1859:
1851:
1847:
1845:
1841:
1837:
1820:
1811:
1808:
1807:
1789:
1787:Radial function
1783:
1754:
1745:
1744:
1727:
1719:
1716:
1715:
1688:
1685:
1684:
1665:
1656:
1655:
1632:
1624:
1621:
1620:
1573:
1569:
1561:
1552:
1551:
1513:
1505:
1502:
1501:
1471:
1462:
1461:
1454:
1450:
1439:
1431:
1428:
1427:
1402:
1393:
1392:
1363:
1355:
1352:
1351:
1329:
1320:
1319:
1302:
1294:
1291:
1290:
1280:
1274:
1239:
1219:
1206:
1198:
1197:
1191:
1188:
1187:
1161:
1141:
1128:
1120:
1119:
1113:
1110:
1109:
1089:
1086:
1085:
1071:ridge functions
1067:
1017:
957:
928:
927:
901:
893:
892:
853:
845:
844:
805:Kernel machines
800:
792:
791:
767:
759:
758:
739:Active learning
734:
726:
725:
694:
684:
683:
609:Diffusion model
545:
535:
534:
507:
497:
496:
470:
460:
459:
415:Factor analysis
410:
400:
399:
383:
346:
336:
335:
256:
255:
239:
238:
237:
226:
225:
131:
123:
122:
88:Online learning
53:
41:
28:
17:
12:
11:
5:
7915:
7905:
7904:
7887:
7886:
7884:
7883:
7882:
7881:
7876:
7863:
7862:
7861:
7856:
7842:
7839:
7838:
7836:
7835:
7830:
7825:
7820:
7815:
7810:
7805:
7800:
7795:
7790:
7785:
7780:
7775:
7770:
7765:
7759:
7757:
7753:
7752:
7750:
7749:
7744:
7739:
7734:
7729:
7724:
7719:
7714:
7709:
7703:
7701:
7697:
7696:
7694:
7693:
7691:Ilya Sutskever
7688:
7683:
7678:
7673:
7668:
7663:
7658:
7656:Demis Hassabis
7653:
7648:
7646:Ian Goodfellow
7643:
7638:
7632:
7630:
7626:
7625:
7622:
7621:
7619:
7618:
7613:
7612:
7611:
7601:
7596:
7591:
7586:
7581:
7576:
7571:
7565:
7563:
7559:
7558:
7556:
7555:
7550:
7545:
7540:
7535:
7530:
7525:
7520:
7515:
7510:
7505:
7500:
7495:
7490:
7485:
7480:
7475:
7474:
7473:
7463:
7458:
7453:
7448:
7443:
7437:
7435:
7431:
7430:
7428:
7427:
7422:
7421:
7420:
7415:
7405:
7404:
7403:
7398:
7393:
7383:
7378:
7373:
7368:
7363:
7358:
7353:
7348:
7343:
7337:
7335:
7328:
7324:
7323:
7321:
7320:
7315:
7310:
7305:
7300:
7295:
7290:
7284:
7282:
7278:
7277:
7275:
7274:
7269:
7264:
7259:
7254:
7248:
7246:
7242:
7241:
7239:
7238:
7237:
7236:
7229:Language model
7226:
7221:
7216:
7215:
7214:
7204:
7203:
7202:
7191:
7189:
7185:
7184:
7182:
7181:
7179:Autoregression
7176:
7171:
7170:
7169:
7159:
7157:Regularization
7154:
7153:
7152:
7147:
7142:
7132:
7127:
7122:
7120:Loss functions
7117:
7112:
7107:
7102:
7097:
7096:
7095:
7085:
7080:
7079:
7078:
7067:
7065:
7061:
7060:
7058:
7057:
7055:Inductive bias
7052:
7047:
7042:
7037:
7032:
7027:
7022:
7017:
7009:
7007:
7001:
7000:
6995:
6994:
6987:
6980:
6972:
6965:
6964:
6911:
6882:
6861:
6808:
6794:
6759:
6738:
6711:
6682:
6661:
6639:
6633:
6611:
6582:(4): 500–544.
6562:
6513:
6506:
6486:
6459:(4): 303–314.
6433:
6422:(3): 178–191.
6399:
6360:
6321:
6295:
6258:
6256:
6253:
6252:
6251:
6246:
6241:
6236:
6229:
6226:
6201:Main article:
6198:
6195:
6194:
6193:
6181:
6161:
6152:For instance,
6146:
6128:
6125:
6121:
6102:
6101:
6088:
6084:
6073:
6062:
6059:
6056:
6053:
6050:
6047:
6037:
6024:
6017:
6013:
6006:
6003:
5998:
5995:
5987:
5985:
5982:
5981:
5976:
5972:
5965:
5962:
5957:
5954:
5946:
5944:
5941:
5940:
5938:
5926:
5913:
5909:
5903:
5899:
5888:
5884:
5883:
5870:
5866:
5855:
5844:
5841:
5838:
5835:
5832:
5822:
5810:
5805:
5799:
5796:
5790:
5784:
5780:
5776:
5771:
5768:
5764:
5759:
5754:
5748:
5745:
5739:
5733:
5729:
5718:
5692:
5688:
5683:
5677:
5672:
5669:
5666:
5662:
5653:
5649:
5644:
5631:
5625:
5624:
5619:
5614:
5598:
5594:
5590:
5584:
5578:
5575:
5569:
5563:
5559:
5555:
5538:
5526:
5520:
5517:
5511:
5505:
5501:
5489:
5471:
5470:
5457:
5453:
5442:
5431:
5428:
5425:
5422:
5419:
5409:
5394:
5390:
5386:
5382:
5378:
5375:
5372:
5362:
5347:
5343:
5339:
5335:
5324:
5317:
5311:
5310:
5297:
5293:
5282:
5271:
5268:
5265:
5262:
5259:
5256:
5253:
5243:
5228:
5223:
5217:
5214:
5210:
5206:
5203:
5199:
5191:
5188:
5184:
5180:
5177:
5172:
5169:
5165:
5161:
5158:
5145:
5129:
5126:
5122:
5118:
5115:
5111:
5099:
5092:
5088:
5087:
5074:
5070:
5059:
5048:
5045:
5042:
5039:
5036:
5033:
5023:
5010:
5005:
5002:
4999:
4991:
4989:
4986:
4985:
4982:
4979:
4976:
4968:
4966:
4963:
4962:
4960:
4948:
4947:
4946:
4935:
4911:
4906:
4903:
4900:
4892:
4890:
4887:
4886:
4883:
4880:
4877:
4869:
4867:
4864:
4861:
4860:
4858:
4846:
4839:
4835:
4834:
4821:
4817:
4806:
4795:
4792:
4789:
4786:
4783:
4780:
4770:
4757:
4752:
4749:
4746:
4738:
4736:
4733:
4732:
4729:
4726:
4723:
4715:
4713:
4710:
4709:
4707:
4695:
4682:
4677:
4674:
4671:
4663:
4661:
4658:
4657:
4654:
4651:
4648:
4640:
4638:
4635:
4632:
4631:
4629:
4617:
4610:
4606:
4605:
4592:
4588:
4577:
4566:
4563:
4560:
4557:
4554:
4551:
4548:
4538:
4525:
4520:
4517:
4514:
4506:
4504:
4501:
4500:
4497:
4494:
4491:
4483:
4479:
4475:
4471:
4468:
4467:
4465:
4460:
4450:
4449:
4448:
4437:
4434:
4431:
4411:
4408:
4405:
4381:
4376:
4373:
4370:
4362:
4360:
4357:
4356:
4353:
4350:
4347:
4339:
4337:
4334:
4331:
4326:
4322:
4318:
4315:
4312:
4311:
4309:
4304:
4294:
4287:
4283:
4282:
4269:
4259:
4255:
4251:
4247:
4246:
4243:
4240:
4237:
4229:
4225:
4221:
4217:
4216:
4214:
4202:
4191:
4188:
4185:
4182:
4179:
4176:
4166:
4153:
4148:
4145:
4142:
4134:
4132:
4129:
4128:
4125:
4122:
4119:
4111:
4107:
4103:
4099:
4096:
4095:
4093:
4081:
4080:
4079:
4068:
4044:
4039:
4036:
4033:
4025:
4023:
4020:
4019:
4016:
4013:
4010:
4002:
3999:
3995:
3992:
3987:
3983:
3978:
3974:
3971:
3970:
3968:
3956:
3949:
3945:
3944:
3931:
3927:
3916:
3905:
3902:
3899:
3896:
3893:
3883:
3867:
3864:
3860:
3856:
3853:
3849:
3837:
3825:
3819:
3815:
3811:
3808:
3804:
3800:
3797:
3787:
3780:
3776:
3775:
3762:
3758:
3747:
3736:
3733:
3730:
3727:
3724:
3721:
3718:
3708:
3697:
3694:
3691:
3688:
3685:
3682:
3679:
3676:
3673:
3670:
3660:
3645:
3642:
3639:
3636:
3633:
3630:
3626:
3621:
3620:
3616:
3611:
3605:
3601:
3596:
3587:
3584:
3580:
3576:
3571:
3568:
3563:
3561:
3551:
3544:
3540:
3539:
3526:
3522:
3511:
3500:
3497:
3494:
3491:
3488:
3478:
3465:
3460:
3457:
3454:
3446:
3444:
3441:
3440:
3437:
3434:
3431:
3423:
3421:
3418:
3417:
3415:
3403:
3386:
3383:
3380:
3368:
3365:
3362:
3359:
3356:
3353:
3350:
3347:
3344:
3342:
3338:
3335:
3334:
3329:
3324:
3321:
3318:
3310:
3308:
3305:
3304:
3301:
3298:
3295:
3287:
3285:
3282:
3281:
3279:
3274:
3270:
3265:
3261:
3257:
3254:
3251:
3250:
3240:
3233:
3226:
3225:
3212:
3208:
3197:
3186:
3183:
3180:
3177:
3174:
3171:
3161:
3159:
3143:
3140:
3137:
3133:
3129:
3124:
3121:
3117:
3109:
3106:
3103:
3099:
3095:
3090:
3087:
3083:
3076:
3073:
3070:
3067:
3064:
3061:
3051:
3044:
3036:
3035:
3022:
3018:
3007:
2996:
2993:
2990:
2987:
2984:
2981:
2971:
2958:
2954:
2950:
2947:
2944:
2941:
2938:
2928:
2912:
2909:
2905:
2901:
2896:
2892:
2884:
2881:
2877:
2873:
2868:
2864:
2857:
2854:
2851:
2848:
2845:
2842:
2832:
2825:
2817:
2816:
2803:
2799:
2788:
2777:
2774:
2771:
2768:
2765:
2755:
2744:
2741:
2738:
2735:
2732:
2729:
2726:
2723:
2720:
2717:
2714:
2711:
2701:
2685:
2682:
2678:
2674:
2671:
2667:
2662:
2659:
2656:
2653:
2650:
2640:
2633:
2622:
2621:
2608:
2605:
2601:
2590:
2579:
2576:
2573:
2570:
2567:
2557:
2546:
2536:
2523:
2518:
2515:
2512:
2504:
2502:
2499:
2498:
2495:
2492:
2489:
2481:
2479:
2476:
2475:
2473:
2461:
2454:
2448:
2447:
2434:
2430:
2419:
2408:
2405:
2402:
2399:
2396:
2393:
2383:
2372:
2362:
2351:
2341:
2334:
2328:
2327:
2322:
2317:
2306:
2303:
2300:
2296:
2293:
2272:
2258:
2247:
2244:
2241:
2238:
2227:
2224:
2207:
2204:
2180:pooling layers
2172:Main article:
2169:
2166:
2153:
2133:
2108:
2096:
2095:
2090:
2075:
2072:
2067:
2062:
2056:
2052:
2048:
2043:
2039:
2034:
2030:
2026:
2022:
2018:
2013:
2010:
2006:
2002:
1999:
1987:
1972:
1968:
1964:
1959:
1955:
1950:
1946:
1942:
1938:
1933:
1930:
1926:
1922:
1919:
1907:
1895:
1886:
1882:
1878:
1871:
1867:
1862:
1858:
1854:
1850:
1844:
1840:
1836:
1833:
1830:
1827:
1823:
1819:
1816:
1785:Main article:
1782:
1779:
1757:
1752:
1748:
1743:
1740:
1737:
1734:
1730:
1726:
1723:
1692:
1672:
1668:
1663:
1659:
1654:
1651:
1648:
1645:
1642:
1639:
1635:
1631:
1628:
1594:
1593:
1579:
1576:
1572:
1568:
1564:
1559:
1555:
1550:
1547:
1544:
1541:
1538:
1535:
1532:
1529:
1526:
1523:
1520:
1516:
1512:
1509:
1495:
1481:
1478:
1474:
1469:
1465:
1460:
1457:
1453:
1449:
1446:
1442:
1438:
1435:
1421:
1409:
1405:
1400:
1396:
1391:
1388:
1385:
1382:
1379:
1376:
1373:
1370:
1366:
1362:
1359:
1345:
1332:
1327:
1323:
1318:
1315:
1312:
1309:
1305:
1301:
1298:
1278:Ridge function
1276:Main article:
1273:
1270:
1249:
1246:
1242:
1238:
1235:
1232:
1229:
1226:
1222:
1216:
1213:
1209:
1205:
1201:
1196:
1171:
1168:
1164:
1160:
1157:
1154:
1151:
1148:
1144:
1138:
1135:
1131:
1127:
1123:
1118:
1093:
1079:fold functions
1066:
1063:
1054:
1053:
1045:
1042:
1039:learning rates
1034:
1031:
1024:
1016:
1013:
959:
958:
956:
955:
948:
941:
933:
930:
929:
926:
925:
920:
919:
918:
908:
902:
899:
898:
895:
894:
891:
890:
885:
880:
875:
870:
865:
860:
854:
851:
850:
847:
846:
843:
842:
837:
832:
827:
825:Occam learning
822:
817:
812:
807:
801:
798:
797:
794:
793:
790:
789:
784:
782:Learning curve
779:
774:
768:
765:
764:
761:
760:
757:
756:
751:
746:
741:
735:
732:
731:
728:
727:
724:
723:
722:
721:
711:
706:
701:
695:
690:
689:
686:
685:
682:
681:
675:
670:
665:
660:
659:
658:
648:
643:
642:
641:
636:
631:
626:
616:
611:
606:
601:
600:
599:
589:
588:
587:
582:
577:
572:
562:
557:
552:
546:
541:
540:
537:
536:
533:
532:
527:
522:
514:
508:
503:
502:
499:
498:
495:
494:
493:
492:
487:
482:
471:
466:
465:
462:
461:
458:
457:
452:
447:
442:
437:
432:
427:
422:
417:
411:
406:
405:
402:
401:
398:
397:
392:
387:
381:
376:
371:
363:
358:
353:
347:
342:
341:
338:
337:
334:
333:
328:
323:
318:
313:
308:
303:
298:
290:
289:
288:
283:
278:
268:
266:Decision trees
263:
257:
243:classification
233:
232:
231:
228:
227:
224:
223:
218:
213:
208:
203:
198:
193:
188:
183:
178:
173:
168:
163:
158:
153:
148:
143:
138:
136:Classification
132:
129:
128:
125:
124:
121:
120:
115:
110:
105:
100:
95:
93:Batch learning
90:
85:
80:
75:
70:
65:
60:
54:
51:
50:
47:
46:
35:
34:
15:
9:
6:
4:
3:
2:
7914:
7903:
7900:
7899:
7897:
7880:
7877:
7875:
7872:
7871:
7864:
7860:
7857:
7855:
7852:
7851:
7848:
7844:
7843:
7840:
7834:
7831:
7829:
7826:
7824:
7821:
7819:
7816:
7814:
7811:
7809:
7806:
7804:
7801:
7799:
7796:
7794:
7791:
7789:
7786:
7784:
7781:
7779:
7776:
7774:
7771:
7769:
7766:
7764:
7761:
7760:
7758:
7756:Architectures
7754:
7748:
7745:
7743:
7740:
7738:
7735:
7733:
7730:
7728:
7725:
7723:
7720:
7718:
7715:
7713:
7710:
7708:
7705:
7704:
7702:
7700:Organizations
7698:
7692:
7689:
7687:
7684:
7682:
7679:
7677:
7674:
7672:
7669:
7667:
7664:
7662:
7659:
7657:
7654:
7652:
7649:
7647:
7644:
7642:
7639:
7637:
7636:Yoshua Bengio
7634:
7633:
7631:
7627:
7617:
7616:Robot control
7614:
7610:
7607:
7606:
7605:
7602:
7600:
7597:
7595:
7592:
7590:
7587:
7585:
7582:
7580:
7577:
7575:
7572:
7570:
7567:
7566:
7564:
7560:
7554:
7551:
7549:
7546:
7544:
7541:
7539:
7536:
7534:
7533:Chinchilla AI
7531:
7529:
7526:
7524:
7521:
7519:
7516:
7514:
7511:
7509:
7506:
7504:
7501:
7499:
7496:
7494:
7491:
7489:
7486:
7484:
7481:
7479:
7476:
7472:
7469:
7468:
7467:
7464:
7462:
7459:
7457:
7454:
7452:
7449:
7447:
7444:
7442:
7439:
7438:
7436:
7432:
7426:
7423:
7419:
7416:
7414:
7411:
7410:
7409:
7406:
7402:
7399:
7397:
7394:
7392:
7389:
7388:
7387:
7384:
7382:
7379:
7377:
7374:
7372:
7369:
7367:
7364:
7362:
7359:
7357:
7354:
7352:
7349:
7347:
7344:
7342:
7339:
7338:
7336:
7332:
7329:
7325:
7319:
7316:
7314:
7311:
7309:
7306:
7304:
7301:
7299:
7296:
7294:
7291:
7289:
7286:
7285:
7283:
7279:
7273:
7270:
7268:
7265:
7263:
7260:
7258:
7255:
7253:
7250:
7249:
7247:
7243:
7235:
7232:
7231:
7230:
7227:
7225:
7222:
7220:
7217:
7213:
7212:Deep learning
7210:
7209:
7208:
7205:
7201:
7198:
7197:
7196:
7193:
7192:
7190:
7186:
7180:
7177:
7175:
7172:
7168:
7165:
7164:
7163:
7160:
7158:
7155:
7151:
7148:
7146:
7143:
7141:
7138:
7137:
7136:
7133:
7131:
7128:
7126:
7123:
7121:
7118:
7116:
7113:
7111:
7108:
7106:
7103:
7101:
7100:Hallucination
7098:
7094:
7091:
7090:
7089:
7086:
7084:
7081:
7077:
7074:
7073:
7072:
7069:
7068:
7066:
7062:
7056:
7053:
7051:
7048:
7046:
7043:
7041:
7038:
7036:
7033:
7031:
7028:
7026:
7023:
7021:
7018:
7016:
7015:
7011:
7010:
7008:
7006:
7002:
6993:
6988:
6986:
6981:
6979:
6974:
6973:
6970:
6960:
6956:
6952:
6948:
6944:
6940:
6935:
6930:
6926:
6922:
6915:
6906:
6901:
6897:
6893:
6886:
6877:
6872:
6865:
6857:
6853:
6849:
6845:
6841:
6837:
6832:
6827:
6823:
6819:
6812:
6805:
6801:
6797:
6791:
6787:
6783:
6779:
6778:
6770:
6763:
6754:
6749:
6742:
6734:
6730:
6726:
6722:
6715:
6706:
6701:
6697:
6693:
6686:
6677:
6672:
6665:
6657:
6650:
6643:
6636:
6634:9781605589077
6630:
6626:
6622:
6615:
6607:
6603:
6598:
6593:
6589:
6585:
6581:
6577:
6573:
6566:
6558:
6554:
6550:
6546:
6541:
6536:
6532:
6528:
6524:
6517:
6509:
6503:
6499:
6498:
6490:
6482:
6478:
6474:
6470:
6466:
6462:
6458:
6454:
6447:
6443:
6437:
6429:
6425:
6421:
6417:
6410:
6403:
6395:
6391:
6387:
6383:
6379:
6375:
6371:
6364:
6356:
6352:
6348:
6344:
6340:
6336:
6332:
6331:Sainath, Tara
6325:
6316:
6311:
6304:
6302:
6300:
6285:on 2018-10-06
6281:
6277:
6270:
6263:
6259:
6250:
6247:
6245:
6242:
6240:
6237:
6235:
6232:
6231:
6225:
6222:
6221:Taylor series
6218:
6214:
6210:
6204:
6179:
6159:
6150:
6147:
6144:
6126:
6123:
6119:
6109:
6106:
6105:
6086:
6082:
6074:
6054:
6048:
6038:
6015:
6011:
6004:
6001:
5996:
5993:
5983:
5974:
5970:
5963:
5960:
5955:
5952:
5942:
5936:
5927:
5911:
5907:
5901:
5889:
5886:
5885:
5864:
5856:
5839:
5836:
5833:
5823:
5808:
5803:
5794:
5788:
5782:
5778:
5774:
5769:
5766:
5762:
5757:
5752:
5743:
5737:
5731:
5727:
5719:
5690:
5686:
5681:
5675:
5670:
5667:
5664:
5660:
5651:
5647:
5642:
5632:
5630:
5627:
5626:
5623:
5620:
5618:
5615:
5596:
5592:
5582:
5573:
5567:
5561:
5557:
5542:
5539:
5524:
5515:
5509:
5503:
5499:
5490:
5487:
5486:
5483:
5478:
5451:
5443:
5426:
5423:
5420:
5410:
5392:
5388:
5384:
5380:
5376:
5373:
5370:
5363:
5345:
5341:
5337:
5333:
5325:
5322:
5318:
5316:
5313:
5312:
5291:
5283:
5263:
5260:
5257:
5254:
5244:
5226:
5221:
5215:
5212:
5208:
5204:
5201:
5197:
5189:
5186:
5182:
5178:
5175:
5170:
5167:
5163:
5159:
5156:
5146:
5127:
5124:
5120:
5116:
5113:
5109:
5100:
5097:
5093:
5090:
5089:
5072:
5068:
5060:
5040:
5034:
5024:
5003:
5000:
4997:
4987:
4980:
4977:
4974:
4964:
4958:
4949:
4933:
4925:
4924:
4904:
4901:
4898:
4888:
4881:
4878:
4875:
4865:
4862:
4856:
4847:
4844:
4840:
4837:
4836:
4819:
4815:
4807:
4787:
4781:
4771:
4750:
4747:
4744:
4734:
4727:
4724:
4721:
4711:
4705:
4696:
4675:
4672:
4669:
4659:
4652:
4649:
4646:
4636:
4633:
4627:
4618:
4615:
4611:
4608:
4607:
4590:
4586:
4578:
4558:
4555:
4552:
4549:
4539:
4518:
4515:
4512:
4502:
4495:
4492:
4489:
4477:
4473:
4469:
4463:
4458:
4451:
4435:
4432:
4429:
4409:
4406:
4403:
4395:
4394:
4374:
4371:
4368:
4358:
4351:
4348:
4345:
4332:
4329:
4324:
4320:
4313:
4307:
4302:
4295:
4292:
4288:
4285:
4284:
4253:
4249:
4241:
4238:
4235:
4223:
4219:
4212:
4203:
4183:
4180:
4177:
4167:
4146:
4143:
4140:
4130:
4123:
4120:
4117:
4105:
4101:
4097:
4091:
4082:
4066:
4058:
4057:
4037:
4034:
4031:
4021:
4014:
4011:
4008:
3997:
3993:
3990:
3985:
3981:
3976:
3972:
3966:
3957:
3954:
3950:
3947:
3946:
3925:
3917:
3897:
3894:
3884:
3865:
3862:
3858:
3854:
3851:
3847:
3838:
3823:
3817:
3813:
3809:
3806:
3802:
3798:
3795:
3788:
3785:
3781:
3778:
3777:
3756:
3748:
3728:
3725:
3722:
3719:
3709:
3692:
3686:
3683:
3680:
3674:
3661:
3640:
3631:
3624:
3614:
3609:
3603:
3599:
3594:
3585:
3582:
3578:
3574:
3569:
3566:
3552:
3549:
3545:
3542:
3541:
3524:
3520:
3512:
3492:
3489:
3479:
3458:
3455:
3452:
3442:
3435:
3432:
3429:
3419:
3413:
3404:
3384:
3381:
3378:
3366:
3363:
3357:
3354:
3351:
3343:
3336:
3322:
3319:
3316:
3306:
3299:
3296:
3293:
3283:
3277:
3268:
3263:
3255:
3241:
3238:
3234:
3231:
3228:
3227:
3206:
3198:
3181:
3178:
3175:
3172:
3162:
3160:
3141:
3138:
3135:
3131:
3127:
3122:
3119:
3115:
3107:
3104:
3101:
3097:
3093:
3088:
3085:
3081:
3074:
3068:
3062:
3059:
3052:
3049:
3045:
3042:
3038:
3037:
3016:
3008:
2991:
2988:
2985:
2982:
2972:
2956:
2948:
2942:
2939:
2936:
2929:
2910:
2907:
2903:
2899:
2894:
2890:
2882:
2879:
2875:
2871:
2866:
2862:
2855:
2849:
2843:
2840:
2833:
2830:
2826:
2823:
2819:
2818:
2797:
2789:
2772:
2769:
2766:
2756:
2736:
2730:
2727:
2724:
2715:
2709:
2702:
2683:
2680:
2676:
2672:
2669:
2665:
2660:
2654:
2648:
2641:
2638:
2634:
2627:
2624:
2623:
2606:
2603:
2599:
2591:
2574:
2571:
2568:
2558:
2544:
2537:
2516:
2513:
2510:
2500:
2493:
2490:
2487:
2477:
2471:
2462:
2459:
2455:
2453:
2450:
2449:
2428:
2420:
2400:
2394:
2384:
2370:
2363:
2349:
2342:
2339:
2335:
2333:
2330:
2329:
2326:
2323:
2321:
2318:
2301:
2294:
2291:
2270:
2262:
2259:
2242:
2236:
2228:
2225:
2222:
2221:
2218:
2213:
2203:
2201:
2197:
2193:
2189:
2185:
2181:
2175:
2174:Fold function
2165:
2151:
2131:
2123:
2094:
2091:
2073:
2070:
2065:
2060:
2054:
2050:
2046:
2041:
2028:
2016:
2011:
1997:
1988:
1970:
1966:
1962:
1957:
1944:
1931:
1917:
1908:
1893:
1884:
1880:
1876:
1869:
1856:
1842:
1838:
1834:
1831:
1828:
1814:
1805:
1802:
1801:
1800:
1798:
1794:
1788:
1774:
1770:
1750:
1741:
1738:
1735:
1721:
1713:
1708:
1706:
1690:
1661:
1652:
1649:
1643:
1640:
1626:
1617:
1615:
1611:
1607:
1603:
1599:
1577:
1574:
1557:
1548:
1545:
1542:
1536:
1533:
1530:
1527:
1521:
1507:
1499:
1496:
1479:
1476:
1467:
1458:
1455:
1451:
1447:
1433:
1425:
1422:
1398:
1389:
1386:
1383:
1380:
1371:
1357:
1349:
1346:
1325:
1316:
1313:
1310:
1296:
1288:
1285:
1284:
1283:
1279:
1269:
1267:
1263:
1247:
1244:
1233:
1227:
1203:
1185:
1184:nonsaturating
1169:
1166:
1155:
1149:
1125:
1107:
1091:
1082:
1080:
1076:
1072:
1062:
1060:
1050:
1046:
1043:
1040:
1035:
1032:
1029:
1025:
1022:
1021:
1020:
1012:
1010:
1006:
1002:
998:
994:
990:
986:
982:
978:
974:
965:
954:
949:
947:
942:
940:
935:
934:
932:
931:
924:
921:
917:
914:
913:
912:
909:
907:
904:
903:
897:
896:
889:
886:
884:
881:
879:
876:
874:
871:
869:
866:
864:
861:
859:
856:
855:
849:
848:
841:
838:
836:
833:
831:
828:
826:
823:
821:
818:
816:
813:
811:
808:
806:
803:
802:
796:
795:
788:
785:
783:
780:
778:
775:
773:
770:
769:
763:
762:
755:
752:
750:
747:
745:
744:Crowdsourcing
742:
740:
737:
736:
730:
729:
720:
717:
716:
715:
712:
710:
707:
705:
702:
700:
697:
696:
693:
688:
687:
679:
676:
674:
673:Memtransistor
671:
669:
666:
664:
661:
657:
654:
653:
652:
649:
647:
644:
640:
637:
635:
632:
630:
627:
625:
622:
621:
620:
617:
615:
612:
610:
607:
605:
602:
598:
595:
594:
593:
590:
586:
583:
581:
578:
576:
573:
571:
568:
567:
566:
563:
561:
558:
556:
555:Deep learning
553:
551:
548:
547:
544:
539:
538:
531:
528:
526:
523:
521:
519:
515:
513:
510:
509:
506:
501:
500:
491:
490:Hidden Markov
488:
486:
483:
481:
478:
477:
476:
473:
472:
469:
464:
463:
456:
453:
451:
448:
446:
443:
441:
438:
436:
433:
431:
428:
426:
423:
421:
418:
416:
413:
412:
409:
404:
403:
396:
393:
391:
388:
386:
382:
380:
377:
375:
372:
370:
368:
364:
362:
359:
357:
354:
352:
349:
348:
345:
340:
339:
332:
329:
327:
324:
322:
319:
317:
314:
312:
309:
307:
304:
302:
299:
297:
295:
291:
287:
286:Random forest
284:
282:
279:
277:
274:
273:
272:
269:
267:
264:
262:
259:
258:
251:
250:
245:
244:
236:
230:
229:
222:
219:
217:
214:
212:
209:
207:
204:
202:
199:
197:
194:
192:
189:
187:
184:
182:
179:
177:
174:
172:
171:Data cleaning
169:
167:
164:
162:
159:
157:
154:
152:
149:
147:
144:
142:
139:
137:
134:
133:
127:
126:
119:
116:
114:
111:
109:
106:
104:
101:
99:
96:
94:
91:
89:
86:
84:
83:Meta-learning
81:
79:
76:
74:
71:
69:
66:
64:
61:
59:
56:
55:
49:
48:
45:
40:
37:
36:
32:
31:
26:
22:
7722:Hugging Face
7686:David Silver
7334:Audio–visual
7188:Applications
7167:Augmentation
7134:
7012:
6924:
6920:
6914:
6895:
6891:
6885:
6864:
6821:
6817:
6811:
6775:
6762:
6741:
6724:
6720:
6714:
6695:
6691:
6685:
6664:
6655:
6642:
6624:
6614:
6579:
6575:
6565:
6533:(6): 84–90.
6530:
6526:
6516:
6496:
6489:
6456:
6452:
6436:
6419:
6415:
6402:
6380:(6): 84–90.
6377:
6373:
6363:
6341:(6): 82–97.
6338:
6334:
6324:
6287:. Retrieved
6280:the original
6275:
6262:
6206:
6149:
6108:
5474:
2209:
2177:
2121:
2097:
1797:RBF networks
1790:
1709:
1618:
1595:
1500:activation:
1426:activation:
1350:activation:
1289:activation:
1281:
1183:
1105:
1083:
1068:
1055:
1018:
980:
972:
970:
830:PAC learning
517:
366:
361:Hierarchical
293:
247:
241:
7870:Categories
7818:Autoencoder
7773:Transformer
7641:Alex Graves
7589:OpenAI Five
7493:IBM Watsonx
7115:Convolution
7093:Overfitting
6442:Cybenko, G.
5541:Derivatives
2452:Binary step
714:Multi-agent
651:Transformer
550:Autoencoder
306:Naive Bayes
44:data mining
7859:Technology
7712:EleutherAI
7671:Fei-Fei Li
7666:Yann LeCun
7579:Q-learning
7562:Decisional
7488:IBM Watson
7396:Midjourney
7288:TensorFlow
7135:Activation
7088:Regression
7083:Clustering
6934:2201.03700
6927:(4): 128.
6876:1710.05941
6831:1702.03118
6753:1502.01852
6721:Proc. ICML
6705:1706.02515
6676:1511.07289
6315:1606.08415
6289:2018-10-06
6255:References
6217:perceptron
5491:Equation,
2261:Derivative
2229:Function,
1106:saturating
699:Q-learning
597:Restricted
395:Mean shift
344:Clustering
321:Perceptron
249:regression
151:Clustering
146:Regression
7742:MIT CSAIL
7707:Anthropic
7676:Andrew Ng
7574:AlphaZero
7418:VideoPoet
7381:AlphaFold
7318:MindSpore
7272:SpiNNaker
7267:Memristor
7174:Diffusion
7150:Rectifier
7130:Batchnorm
7110:Attention
7105:Adversary
6959:1570-0755
6905:1302.4389
6557:195908774
6549:0001-0782
6473:0932-4194
6394:0001-0782
6355:206485943
6120:δ
6058:∞
6052:∞
6049:−
5997:≠
5869:∞
5798:→
5775:−
5763:δ
5747:→
5661:∑
5589:∂
5577:→
5554:∂
5519:→
5456:∞
5385:−
5371:−
5338:−
5296:∞
5267:∞
5261:…
5255:−
5213:−
5187:−
5168:−
5125:−
5044:∞
5038:∞
5035:−
5001:≥
4965:α
4934:α
4902:≥
4863:α
4791:∞
4785:∞
4782:−
4650:≤
4562:∞
4556:α
4553:λ
4550:−
4516:≥
4470:α
4459:λ
4430:α
4404:λ
4372:≥
4330:−
4314:α
4303:λ
4262:otherwise
4236:α
4187:∞
4181:α
4178:−
4098:α
4067:α
4012:≤
3991:−
3973:α
3930:∞
3901:∞
3863:−
3799:
3779:Softplus
3761:∞
3732:∞
3726:…
3720:−
3687:ϕ
3669:Φ
3635:Φ
3496:∞
3297:≤
3269:≐
3211:∞
3173:−
3136:−
3102:−
3094:−
3075:≐
3063:
3021:∞
2983:−
2940:−
2908:−
2880:−
2872:−
2856:≐
2844:
2802:∞
2728:−
2681:−
2661:≐
2649:σ
2604:−
2514:≥
2433:∞
2404:∞
2398:∞
2395:−
2152:σ
2066:−
2038:‖
2029:−
2021:‖
1998:ϕ
1954:‖
1945:−
1937:‖
1918:ϕ
1881:σ
1866:‖
1857:−
1849:‖
1843:−
1835:
1815:ϕ
1722:ϕ
1627:ϕ
1575:−
1549:−
1543:−
1537:
1508:ϕ
1434:ϕ
1424:Heaviside
1358:ϕ
1297:ϕ
1245:≠
1225:∇
1215:∞
1212:→
1186:if it is
1147:∇
1137:∞
1134:→
1023:Nonlinear
981:nonlinear
858:ECML PKDD
840:VC theory
787:ROC curve
719:Self-play
639:DeepDream
480:Bayes net
271:Ensembles
52:Paradigms
7896:Category
7850:Portals
7609:Auto-GPT
7441:Word2vec
7245:Hardware
7162:Datasets
7064:Concepts
6848:29395652
6824:: 3–11.
6733:16489696
6698:(2017).
6606:12991237
6228:See also
5990:if
5949:if
5714:= 1, …,
5315:Gaussian
4994:if
4971:if
4895:if
4872:if
4741:if
4718:if
4666:if
4643:if
4509:if
4486:if
4365:if
4342:if
4232:if
4137:if
4114:if
4028:if
4005:if
3449:if
3426:if
3313:if
3290:if
2626:Logistic
2507:if
2484:if
2332:Identity
2295:′
1804:Gaussian
1751:′
1683:, where
1662:′
1558:′
1498:Logistic
1468:′
1399:′
1326:′
1182:. It is
1011:model.
281:Boosting
130:Problems
7732:Meta AI
7569:AlphaGo
7553:PanGu-ÎŁ
7523:ChatGPT
7498:Granite
7446:Seq2seq
7425:Whisper
7346:WaveNet
7341:AlexNet
7313:Flux.jl
7293:PyTorch
7145:Sigmoid
7140:Softmax
7005:General
6939:Bibcode
6856:6940861
6804:9959057
6597:1392413
6481:3958369
6141:is the
5887:Maxout
5629:Softmax
4436:1.67326
3232:(ReLU)
2200:softmax
2196:maximum
2192:minimum
1703:is the
1614:sigmoid
1005:AlexNet
993:sigmoid
863:NeurIPS
680:(ECRAM)
634:AlexNet
276:Bagging
7747:Huawei
7727:OpenAI
7629:People
7599:MuZero
7461:Gemini
7456:Claude
7391:DALL-E
7303:Theano
6957:
6854:
6846:
6802:
6792:
6731:
6631:
6604:
6594:
6555:
6547:
6504:
6479:
6471:
6392:
6353:
6111:Here,
6002:argmax
5961:argmax
4410:1.0507
2630:
2122:center
2098:where
1610:neuron
1606:binary
1287:Linear
1009:ResNet
656:Vision
512:RANSAC
390:OPTICS
385:DBSCAN
369:-means
176:AutoML
7813:Mamba
7584:SARSA
7548:LLaMA
7543:BLOOM
7528:GPT-J
7518:GPT-4
7513:GPT-3
7508:GPT-2
7503:GPT-1
7466:LaMDA
7298:Keras
6929:arXiv
6900:arXiv
6871:arXiv
6852:S2CID
6826:arXiv
6800:S2CID
6772:(PDF)
6748:arXiv
6729:S2CID
6727:(1).
6700:arXiv
6671:arXiv
6652:(PDF)
6553:S2CID
6477:S2CID
6449:(PDF)
6412:(PDF)
6351:S2CID
6310:arXiv
6283:(PDF)
6272:(PDF)
5617:Range
5488:Name
5258:0.278
2632:step
2320:Range
2226:Plot
2223:Name
1712:slope
1033:Range
878:IJCAI
704:SARSA
663:Mamba
629:LeNet
624:U-Net
450:t-SNE
374:Fuzzy
351:BIRCH
7737:Mila
7538:PaLM
7471:Bard
7451:BERT
7434:Text
7413:Sora
6955:ISSN
6844:PMID
6790:ISBN
6629:ISBN
6602:PMID
6545:ISSN
6502:ISBN
6469:ISSN
6390:ISSN
5477:fold
4978:<
4879:<
4748:>
4725:<
4712:0.01
4673:>
4634:0.01
4493:<
4422:and
4349:<
4144:>
4121:<
4035:>
3723:0.17
3456:>
3433:<
3382:>
3320:>
3060:smht
3041:smht
2841:tanh
2822:tanh
2491:<
2212:fold
2188:mean
2144:and
2124:and
1477:>
1348:ReLU
1262:ReLU
1077:and
1049:ReLU
1001:ReLU
989:BERT
985:ReLU
971:The
888:JMLR
873:ICLR
868:ICML
754:RLHF
570:LSTM
356:CURE
42:and
7478:NMT
7361:OCR
7356:HWR
7308:JAX
7262:VPU
7257:TPU
7252:IPU
7076:SGD
6947:doi
6836:doi
6822:107
6782:doi
6592:PMC
6584:doi
6580:117
6535:doi
6461:doi
6424:doi
6382:doi
6343:doi
6207:In
5898:max
3590:erf
3346:max
2263:of
2194:or
2182:in
1832:exp
1707:.
1596:In
1534:exp
1375:max
1195:lim
1117:lim
1108:if
1104:is
614:SOM
604:GAN
580:ESN
575:GRU
520:-NN
455:SDL
445:PGD
440:PCA
435:NMF
430:LDA
425:ICA
420:CCA
296:-NN
7898::
6953:.
6945:.
6937:.
6925:21
6923:.
6896:28
6894:.
6850:.
6842:.
6834:.
6820:.
6798:,
6788:,
6774:,
6725:30
6723:.
6696:30
6694:.
6654:.
6623:,
6600:.
6590:.
6578:.
6574:.
6551:.
6543:.
6531:60
6529:.
6525:.
6475:.
6467:.
6455:.
6451:.
6420:12
6418:.
6414:.
6388:.
6378:60
6376:.
6372:.
6349:.
6339:29
6337:.
6298:^
6274:.
5543:,
3796:ln
3043:)
2824:)
2283:,
2190:,
1806::
1769:.
1268:.
1081:.
1073:,
1061:.
883:ML
6991:e
6984:t
6977:v
6961:.
6949::
6941::
6931::
6908:.
6902::
6879:.
6873::
6858:.
6838::
6828::
6784::
6756:.
6750::
6735:.
6708:.
6702::
6679:.
6673::
6658:.
6608:.
6586::
6559:.
6537::
6510:.
6483:.
6463::
6457:2
6430:.
6426::
6396:.
6384::
6357:.
6345::
6318:.
6312::
6292:.
6180:i
6160:j
6145:.
6127:j
6124:i
6087:0
6083:C
6061:)
6055:,
6046:(
6016:i
6012:x
6005:i
5994:j
5984:0
5975:i
5971:x
5964:i
5956:=
5953:j
5943:1
5937:{
5912:i
5908:x
5902:i
5865:C
5843:)
5840:1
5837:,
5834:0
5831:(
5809:)
5804:)
5795:x
5789:(
5783:j
5779:g
5770:j
5767:i
5758:(
5753:)
5744:x
5738:(
5732:i
5728:g
5716:J
5712:i
5691:j
5687:x
5682:e
5676:J
5671:1
5668:=
5665:j
5652:i
5648:x
5643:e
5597:j
5593:x
5583:)
5574:x
5568:(
5562:i
5558:g
5525:)
5516:x
5510:(
5504:i
5500:g
5480:x
5452:C
5430:]
5427:1
5424:,
5421:0
5418:(
5393:2
5389:x
5381:e
5377:x
5374:2
5346:2
5342:x
5334:e
5292:C
5270:)
5264:,
5252:[
5227:2
5222:)
5216:x
5209:e
5205:+
5202:1
5198:(
5190:x
5183:e
5179:x
5176:+
5171:x
5164:e
5160:+
5157:1
5128:x
5121:e
5117:+
5114:1
5110:x
5073:0
5069:C
5047:)
5041:,
5032:(
5004:0
4998:x
4988:1
4981:0
4975:x
4959:{
4905:0
4899:x
4889:x
4882:0
4876:x
4866:x
4857:{
4820:0
4816:C
4794:)
4788:,
4779:(
4751:0
4745:x
4735:1
4728:0
4722:x
4706:{
4676:0
4670:x
4660:x
4653:0
4647:x
4637:x
4628:{
4591:0
4587:C
4565:)
4559:,
4547:(
4519:0
4513:x
4503:1
4496:0
4490:x
4478:x
4474:e
4464:{
4433:=
4407:=
4375:0
4369:x
4359:x
4352:0
4346:x
4336:)
4333:1
4325:x
4321:e
4317:(
4308:{
4254:0
4250:C
4242:1
4239:=
4224:1
4220:C
4213:{
4190:)
4184:,
4175:(
4147:0
4141:x
4131:1
4124:0
4118:x
4106:x
4102:e
4092:{
4038:0
4032:x
4022:x
4015:0
4009:x
3998:)
3994:1
3986:x
3982:e
3977:(
3967:{
3926:C
3904:)
3898:,
3895:0
3892:(
3866:x
3859:e
3855:+
3852:1
3848:1
3824:)
3818:x
3814:e
3810:+
3807:1
3803:(
3757:C
3735:)
3729:,
3717:(
3696:)
3693:x
3690:(
3684:x
3681:+
3678:)
3675:x
3672:(
3644:)
3641:x
3638:(
3632:x
3625:=
3615:)
3610:)
3604:2
3600:x
3595:(
3586:+
3583:1
3579:(
3575:x
3570:2
3567:1
3525:0
3521:C
3499:)
3493:,
3490:0
3487:[
3459:0
3453:x
3443:1
3436:0
3430:x
3420:0
3414:{
3385:0
3379:x
3373:1
3367:x
3364:=
3361:)
3358:x
3355:,
3352:0
3349:(
3337:=
3323:0
3317:x
3307:x
3300:0
3294:x
3284:0
3278:{
3264:+
3260:)
3256:x
3253:(
3207:C
3185:)
3182:1
3179:,
3176:1
3170:(
3142:x
3139:d
3132:e
3128:+
3123:x
3120:c
3116:e
3108:x
3105:b
3098:e
3089:x
3086:a
3082:e
3072:)
3069:x
3066:(
3017:C
2995:)
2992:1
2989:,
2986:1
2980:(
2957:2
2953:)
2949:x
2946:(
2943:g
2937:1
2911:x
2904:e
2900:+
2895:x
2891:e
2883:x
2876:e
2867:x
2863:e
2853:)
2850:x
2847:(
2798:C
2776:)
2773:1
2770:,
2767:0
2764:(
2743:)
2740:)
2737:x
2734:(
2731:g
2725:1
2722:(
2719:)
2716:x
2713:(
2710:g
2684:x
2677:e
2673:+
2670:1
2666:1
2658:)
2655:x
2652:(
2607:1
2600:C
2578:}
2575:1
2572:,
2569:0
2566:{
2545:0
2517:0
2511:x
2501:1
2494:0
2488:x
2478:0
2472:{
2429:C
2407:)
2401:,
2392:(
2371:1
2350:x
2305:)
2302:x
2299:(
2292:g
2271:g
2246:)
2243:x
2240:(
2237:g
2215:x
2132:a
2107:c
2074:2
2071:1
2061:)
2055:2
2051:a
2047:+
2042:2
2033:c
2025:v
2017:(
2012:=
2009:)
2005:v
2001:(
1971:2
1967:a
1963:+
1958:2
1949:c
1941:v
1932:=
1929:)
1925:v
1921:(
1894:)
1885:2
1877:2
1870:2
1861:c
1853:v
1839:(
1829:=
1826:)
1822:v
1818:(
1756:b
1747:v
1742:+
1739:a
1736:=
1733:)
1729:v
1725:(
1691:U
1671:)
1667:b
1658:v
1653:+
1650:a
1647:(
1644:U
1641:=
1638:)
1634:v
1630:(
1592:.
1578:1
1571:)
1567:)
1563:b
1554:v
1546:a
1540:(
1531:+
1528:1
1525:(
1522:=
1519:)
1515:v
1511:(
1494:,
1480:0
1473:b
1464:v
1459:+
1456:a
1452:1
1448:=
1445:)
1441:v
1437:(
1420:,
1408:)
1404:b
1395:v
1390:+
1387:a
1384:,
1381:0
1378:(
1372:=
1369:)
1365:v
1361:(
1344:,
1331:b
1322:v
1317:+
1314:a
1311:=
1308:)
1304:v
1300:(
1248:0
1241:|
1237:)
1234:v
1231:(
1228:f
1221:|
1208:|
1204:v
1200:|
1170:0
1167:=
1163:|
1159:)
1156:v
1153:(
1150:f
1143:|
1130:|
1126:v
1122:|
1092:f
952:e
945:t
938:v
518:k
367:k
294:k
252:)
240:(
27:.
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.