Principales resultados de la investigación sobre redes neuronales artificiales
1 Antecedentes de la aparición de las redes neuronales artificiales
Desde la antigüedad, el misterio del origen de la inteligencia humana ha atraído el entusiasmo investigador de innumerables filósofos y científicos naturales. Después de esfuerzos incansables y a largo plazo, los biólogos y neurocientíficos han observado y comprendido el cerebro humano y creen que las actividades inteligentes del cerebro humano son inseparables de la base material del cerebro, incluida su estructura física y los diversos procesos biológicos y biológicos que ocurren en él efectos químicos y eléctricos, y así estableció la teoría de la red neuronal y la teoría de la estructura del sistema nervioso, y la teoría de la neurona es la base de la teoría de la conducción nerviosa y la teoría de la función cerebral posteriores. Sobre la base de estas teorías, los científicos creen que las actividades de la inteligencia humana y los fenómenos cognitivos pueden estudiarse imitando la estructura y función del sistema nervioso del cerebro humano. Por otro lado, antes del siglo XIX, ya fueran las matemáticas clásicas representadas por la geometría y el cálculo euclidianos o la física clásica representada por la mecánica newtoniana, en términos generales, estas ciencias clásicas eran ciencias lineales. Sin embargo, el mundo objetivo es tan complejo que se pueden ver situaciones no lineales en todas partes, especialmente en el sistema nervioso del cerebro humano. La complejidad y la no linealidad están interconectadas. Por lo tanto, el estudio de la ciencia no lineal es también la clave para nuestra comprensión de los sistemas complejos. Para comprender mejor el mundo objetivo, debemos realizar investigaciones sobre ciencia no lineal. Nació la red neuronal artificial, como modelo de red no lineal similar a la inteligencia cerebral. Por tanto, la creación de redes neuronales artificiales no es casual, sino producto del pleno desarrollo de la ciencia y la tecnología a principios del siglo XX.
2 El desarrollo de las redes neuronales artificiales
La investigación sobre las redes neuronales artificiales comenzó a principios de los años 40. Durante medio siglo, ha experimentado un camino mucho más tortuoso de ascenso, altibajos, clímax y desarrollo constante.
En 1943, el psicólogo W.S. McCulloch y el lógico matemático W. Pitts propusieron el modelo MP, que fue el primer modelo en utilizar lenguaje matemático para describir el proceso de procesamiento de información del cerebro. Aunque la función de las neuronas es relativamente débil, Proporciona una base para futuros trabajos de investigación. En 1949, el psicólogo D.O. Hebb propuso la hipótesis de que las conexiones sinápticas son variables. Las reglas de aprendizaje propuestas en base a esta hipótesis sentaron las bases para el algoritmo de aprendizaje de las redes neuronales. En 1957, el informático Rosenblatt propuso el famoso modelo de perceptrón. Su modelo contenía algunos principios de las computadoras modernas. Fue la primera red neuronal artificial completa y la primera vez que la investigación sobre redes neuronales se puso en práctica en ingeniería. Debido a que se puede aplicar al reconocimiento de patrones, la memoria asociativa, etc., cientos de laboratorios participaron en esta investigación en ese momento. El ejército estadounidense incluso creyó que el proyecto de red neuronal debería ser más importante que el "proyecto de bomba atómica" y lo dio. financiación enorme y la utilizó en señales de sonar. Se han logrado ciertos logros en áreas como la identificación. En 1960, B. Windrow y E. Hoff propusieron la unidad lineal adaptativa, que puede utilizarse para filtrado, predicción y reconocimiento de patrones adaptativos. En este punto, el trabajo de investigación sobre redes neuronales artificiales ha alcanzado su primer clímax.
En 1969, los famosos estudiosos estadounidenses de inteligencia artificial M.Minsky y S.Papert escribieron el influyente libro Perceptron, que teóricamente demostró que el perceptrón de una sola capa tiene capacidades limitadas, como ser incapaz de resolver el XOR. Problema, y especularon que las capacidades de perceptrón de las redes multicapa no eran más que esto. Su análisis fue como una gota de agua fría. Muchos académicos sintieron que su futuro era sombrío y cambiaron de carrera. Uno tras otro se retiraron. Después de casi 10 años, las redes neuronales La investigación entró en una depresión que se desarrolló lentamente. Durante este período, el erudito finlandés T. Kohonen propuso la teoría del mapeo autoorganizado, que refleja las características de autoorganización de las células nerviosas del cerebro, los métodos de memoria y las reglas de excitación de las células nerviosas. La teoría de la oscilación adaptativa (ART) del erudito estadounidense S.A. Grossberg; El erudito japonés K. Fukushima propuso el modelo de máquina cognitiva; Shun Ichimari se comprometió con la investigación de teorías matemáticas relacionadas con las redes neuronales. Estos resultados de la investigación tuvieron un impacto importante en el desarrollo futuro de las redes neuronales.
Los dos artículos publicados por el biofísico estadounidense J.J. Hopfield en las Actas de la Academia Nacional de Ciencias en 1982 y 1984 promovieron eficazmente la investigación de las redes neuronales y desencadenaron otro auge en el estudio de las redes neuronales. En 1982, propuso un nuevo modelo de red neuronal: el modelo de red hopfield.
En su investigación sobre este modelo de red, introdujo por primera vez el concepto de función de energía de la red y proporcionó la base para determinar la estabilidad de la red. En 1984, propuso un circuito electrónico para la implementación del modelo de red, que señaló la dirección para la implementación de ingeniería de redes neuronales. Los resultados de su investigación abrieron una nueva forma para que las redes neuronales optimizaran los cálculos de la memoria asociativa y sentaron las bases de la neurona. investigación informática. En 1984, Hinton et al. introdujeron el algoritmo de recocido simulado en la red neuronal y propusieron el modelo de red de máquina de Boltzmann. El algoritmo de red BM proporcionó un método eficaz para los cálculos de optimización de la red neuronal. En 1986, D.E. Rumelhart y J.LMcclelland propusieron el algoritmo de retropropagación de errores, que se ha convertido en un método de aprendizaje en red con gran influencia hasta el momento. En 1987, el experto estadounidense en informática neuronal R. Hecht-Nielsen propuso la red neuronal de contrapropagación. Esta red tiene las ventajas de una clasificación flexible y un algoritmo simple, y puede usarse en campos como la clasificación de patrones, la aproximación de funciones, el análisis estadístico y la compresión de datos. . En 1988, L. Ochua et al. propusieron el modelo de red neuronal celular, que ha sido ampliamente utilizado en el procesamiento visual primario.
Para adaptarse al desarrollo de las redes neuronales artificiales, la Sociedad Internacional de Redes Neuronales se estableció en 1987 y decidió celebrar conferencias académicas internacionales sobre redes neuronales con regularidad. Neural Network se fundó en enero de 1988. En marzo de 1990, salió IEEE Transaction on Neural Network. Nuestro país celebró la primera Conferencia Académica de Redes Neuronales en Beijing en diciembre de 1990 y decidió celebrarla todos los años en el futuro. En 1991, se estableció en Nanjing la Sociedad China de Redes Neuronales. IJCNN92, organizado conjuntamente por IEEE e INNS, se celebró en Beijing. Estos han contribuido a la investigación y el desarrollo de redes neuronales, y las redes neuronales artificiales han entrado en un período de desarrollo constante.
A principios de la década de 1990, el premio Nobel Edelman propuso el modelo darwinista y estableció la teoría del sistema de redes neuronales. Ese mismo año, Aihara et al., basándose en derivaciones y experimentos anteriores, dieron un modelo de neurona caótica, que se ha convertido en un modelo clásico de red neuronal caótica, que puede usarse para la memoria asociativa. Wunsch propuso una reunión anual en la reunión anual de 90OSA, que utiliza fotoelectricidad para realizar ART. El proceso de aprendizaje tiene funciones de razonamiento y filtrado adaptativo, y tiene características de aprendizaje rápidas y estables. En 1991, Hertz discutió la teoría de la computación neuronal, que era de gran importancia para el análisis de la complejidad computacional de las redes neuronales; Inoue et al. propusieron utilizar osciladores caóticos acoplados como ciertas neuronas para construir un modelo de red neuronal caótica, señalando sus amplias perspectivas de aplicación. . el camino. En 1992, Holland propuso un algoritmo genético que simulaba la evolución biológica para resolver problemas complejos de optimización. En 1993, Fang Jian'an y otros utilizaron el aprendizaje de algoritmos genéticos para estudiar los controladores de redes neuronales y obtuvieron algunos resultados. En 1994, Angeline et al. propusieron un algoritmo evolutivo para establecer una red neuronal de retroalimentación basada en la teoría de la estrategia evolutiva anterior, que se aplicó con éxito al reconocimiento de patrones, control automático, etc. Liao Xiaoxin estableció nuevas teorías y métodos matemáticos para las neuronas celulares; redes., y se obtuvieron una serie de resultados. HayashlY propuso una red neuronal oscilatoria basada en el fenómeno de oscilación que ocurre en el cerebro de los animales. En 1995, Mitra combinó redes neuronales artificiales con la teoría de la lógica difusa, la teoría de las células biológicas y la teoría de la probabilidad para proponer una red neuronal difusa, lo que supuso un gran avance en la investigación de las redes neuronales. Jenkins et al. estudiaron redes neuronales ópticas y establecieron una red neuronal óptica que combina interconexión óptica bidimensional paralela y electrónica. Puede evitar que la red caiga en mínimos locales y finalmente alcanzar o acercarse a la solución óptima. Red neuronal fluida La red se utiliza para estudiar la sociedad de los insectos y el sistema inmunológico colectivo de los robots, inspirando a las personas a utilizar la teoría del caos para analizar grandes sistemas sociales. En 1996, ShuaiJW’ et al. simularon el comportamiento de autodesarrollo del cerebro humano y propusieron una red neuronal de autodesarrollo basada en la discusión de redes neuronales caóticas. En 1997 y 1998, Dong Cong y otros crearon y mejoraron el algoritmo genético generalizado, que resolvió el problema de construcción de topología más simple y el problema de aproximación óptima global de redes directas multicapa.
Con el desarrollo del trabajo teórico, la investigación de aplicaciones de redes neuronales también ha logrado grandes avances, cubriendo una amplia gama de áreas técnicas aplicadas, que incluyen visión por computadora, reconocimiento de lenguaje, comprensión y comprensión. síntesis, cálculo de optimización, control inteligente y análisis de sistemas complejos, reconocimiento de patrones, desarrollo de computadoras neuronales, sistema experto de razonamiento del conocimiento e inteligencia artificial. Las disciplinas involucradas incluyen neurofisiología, ciencias cognitivas, ciencias matemáticas, psicología, ciencias de la información, informática, microelectrónica, óptica, dinámica, bioelectrónica, etc. Estados Unidos, Japón y otros países también han logrado logros notables en el desarrollo de software y hardware de redes neuronales y han ido formando productos gradualmente. En los Estados Unidos, la industria de las computadoras neuronales ha recibido un fuerte apoyo del ejército. La Agencia de Proyectos de Investigación Avanzada de Defensa cree que "las redes neuronales son la única esperanza para resolver la inteligencia artificial". plan de computadora solo. En el plan ESPRIT de la Unión Europea hay un proyecto especial: "Aplicación de redes neuronales en la industria europea". Sólo la producción de chips especiales para redes neuronales requiere una inversión de 22 millones de dólares. Según datos estadounidenses, la inversión de Japón en investigación de redes neuronales es aproximadamente cuatro veces mayor que la de Estados Unidos. Nuestro país no se queda atrás desde la aprobación de tres proyectos, incluido el ordenador neuronal óptico de la Universidad de Nankai en 1990, la Fundación Nacional de Ciencias Naturales y el Fondo de Preinvestigación de la Defensa Nacional también han proporcionado financiación para la investigación de redes neuronales. Además, muchas empresas de renombre internacional también han participado en la investigación de redes neuronales, como Intel, IBM, Siemens y HNC. Los productos informáticos neuronales han comenzado a entrar en la etapa comercial y son seleccionados por los departamentos de defensa nacional, empresas e investigación científica. En la Guerra del Golfo, que atrajo la atención mundial, la Fuerza Aérea de Estados Unidos utilizó redes neuronales para la toma de decisiones y el control. Bajo este estímulo y demanda, las redes neuronales artificiales seguramente lograrán nuevos avances y marcarán el comienzo de otro clímax. Desde el nacimiento de la primera red neuronal en 1958, sus logros teóricos y de aplicación son numerosos. Las redes neuronales artificiales son una disciplina emergente en rápido desarrollo, y están surgiendo uno tras otro nuevos modelos, nuevas teorías y nuevos resultados de aplicaciones.
3 Las perspectivas de desarrollo de las redes neuronales artificiales
En vista de los problemas existentes y las necesidades sociales de las redes neuronales, la dirección principal del desarrollo futuro se puede dividir en dos aspectos: la investigación teórica e investigación aplicada.
(1) Utilice la neurofisiología y la ciencia cognitiva para estudiar el mecanismo y la teoría del cálculo del pensamiento y la inteligencia del cerebro, y estudie teorías con preguntas.
Las redes neuronales artificiales proporcionan una forma razonable de revelar la inteligencia y comprender cómo funciona el cerebro humano. Sin embargo, debido a que los humanos inicialmente tienen una comprensión muy limitada del sistema nervioso, su comprensión de su propia estructura cerebral y su actividad. El mecanismo es todavía muy superficial y con una especie de "a priori". Por ejemplo, la máquina de Boltzmann introduce perturbaciones aleatorias para evitar mínimos locales, lo que tiene sus ventajas. Sin embargo, carece de la base necesaria de la fisiología cerebral. No hay duda de que la mejora y el desarrollo de las redes neuronales artificiales deben combinarse con la investigación en neurociencia. Además, algunas cuestiones importantes planteadas en la neurociencia, la psicología y las ciencias cognitivas plantean nuevos desafíos para la investigación de la teoría de las redes neuronales. Las soluciones a estas cuestiones ayudarán a mejorar y desarrollar la teoría de las redes neuronales. Por lo tanto, la neurofisiología y la ciencia cognitiva se utilizan para estudiar el mecanismo del pensamiento y la inteligencia del cerebro. Si se producen nuevos avances, cambiará la comprensión de la relación entre la inteligencia y las máquinas.
Utilice los resultados de la investigación de teorías básicas de la neurociencia, utilice métodos matemáticos para explorar modelos de redes neuronales artificiales con un mayor nivel de inteligencia y realice investigaciones en profundidad sobre los algoritmos y el rendimiento de la red, como Computación neuronal, computación evolutiva, estabilidad y convergencia, complejidad computacional, tolerancia a fallas, robustez, etc., y desarrollar una nueva teoría matemática de redes. Debido a la no linealidad de las redes neuronales, el estudio de problemas no lineales es la mayor fuerza impulsora para el desarrollo de la teoría de las redes neuronales. Especialmente desde que la gente descubrió que el caos existe en el cerebro, el uso de la dinámica caótica para inspirar el estudio de las redes neuronales o el uso de redes neuronales para generar caos se ha convertido en un tema nuevo para la gente, porque partiendo de la perspectiva de la esencia fisiológica. es la base para estudiar las redes neuronales.
(2) Investigación sobre simulación de software de redes neuronales, implementación de hardware y aplicación de redes neuronales en diversos campos científicos y tecnológicos.
Dado que las redes neuronales artificiales se pueden simular usando computadoras tradicionales, o se pueden usar chips de circuitos integrados para formar computadoras neuronales, o incluso se pueden implementar usando métodos ópticos o de biochips, la simulación de software puro, la simulación virtual y la simulación completa Se pueden desarrollar simulaciones de redes neuronales a gran escala. El potencial de las computadoras de redes neuronales electrónicas implementadas en hardware es enorme.
Cómo combinar las computadoras de redes neuronales con las computadoras tradicionales y la tecnología de inteligencia artificial también es un tema de vanguardia, cómo desarrollar las funciones de las computadoras de redes neuronales hacia la inteligencia y desarrollar computadoras inteligentes con funciones similares a las del cerebro humano, como las neuronales ópticas; ordenadores y ordenadores neuronales moleculares. Será una perspectiva muy atractiva.
4 Filosofía
(1) Las redes neuronales artificiales han abierto un nuevo campo de la epistemología
El tema de la cognición y el cerebro ha atraído la atención de la gente durante mucho tiempo. porque no es sólo una cuestión psicológica sobre la psicología y la conciencia humanas, sino también una cuestión de la ciencia del cerebro y la ciencia del pensamiento sobre el mecanismo de las actividades del pensamiento humano. También está directamente relacionada con la respuesta a las cuestiones filosóficas básicas de la materia y la conciencia. El desarrollo de redes neuronales artificiales nos permite comprender mejor la relación entre el conocimiento y el cerebro de una manera materialista y dialéctica, abriendo un nuevo campo de la epistemología. El cerebro humano es un sistema paralelo complejo que tiene funciones cerebrales avanzadas como "cognición, conciencia y emoción". La simulación artificial es beneficiosa para profundizar la comprensión del pensamiento y la inteligencia, y ha dado lugar a investigaciones sobre la naturaleza de la cognición y la inteligencia. proporcionó un gran impulso. En términos del estudio de la función general y la complejidad del cerebro, las redes neuronales artificiales han aportado nuevos conocimientos a las personas. Dado que el caos existe en el cerebro humano, el caos se puede utilizar para comprender ciertas actividades irregulares en el cerebro, por lo que el modelo de dinámica caótica se puede utilizar como una herramienta para que los humanos modelen el mundo externo y se puede utilizar para describir el proceso de procesamiento de información de el cerebro humano. El caos y la inteligencia están relacionados, y la introducción de la teoría del caos en las redes neuronales puede ayudar a revelar los misterios del pensamiento de imágenes humanas y otros aspectos. La clave del resurgimiento de las redes neuronales artificiales es que reflejan la no linealidad de las cosas y capturan la esencia del mundo objetivo. Además, responden a la pregunta más crítica de cómo los sistemas inteligentes aprenden de forma autónoma del entorno hasta cierto punto. Desde una perspectiva cognitiva, el llamado aprendizaje es el descubrimiento e inducción de fenómenos o leyes desconocidas. Debido a que las redes neuronales tienen un alto grado de paralelismo, un alto grado de efectos globales no lineales, buena tolerancia a fallas y funciones de memoria asociativa, así como funciones adaptativas y de autoaprendizaje muy fuertes, se han convertido en una forma razonable de revelar la inteligencia y comprender cómo el cerebro humano funciona. Sin embargo, debido a la complejidad de los problemas cognitivos, actualmente tenemos poca comprensión del funcionamiento de la red neuronal del cerebro y del mecanismo de procesamiento interno de las células nerviosas, como por ejemplo, ¿cómo se transmite, almacena y procesa la información en el cerebro humano? ¿Cómo se forman los recuerdos, las asociaciones y los juicios? ¿Existe un sistema operativo para el cerebro? Aún no se sabe mucho al respecto, por lo que para crear redes neuronales artificiales que imiten diversas funciones del cerebro humano, las personas aún necesitan profundizar su comprensión del mecanismo de procesamiento de información del cerebro.
(2) La fuerza impulsora para el desarrollo de redes neuronales artificiales proviene de la interacción de la práctica, la teoría y los problemas.
A medida que el alcance de la práctica social de las personas continúa expandiéndose, el nivel La práctica social continúa profundizándose, los fenómenos naturales a los que están expuestas las personas se vuelven cada vez más coloridos y complejos, lo que lleva a las personas a utilizar diferentes razones para explicar diferentes tipos de fenómenos naturales. Por las mismas razones, esto Apareció la intersección y síntesis de diferentes disciplinas y nacieron las redes neuronales artificiales. Al principio, debido a que estos modelos de redes teóricas eran relativamente simples y tenían muchos problemas, y estos modelos rara vez se probaban en la práctica, el desarrollo de las redes neuronales fue lento. Con la profundización de la investigación teórica, los problemas se fueron resolviendo gradualmente, especialmente después de que la implementación de la ingeniería, como el éxito del reconocimiento de sonar, marcó el comienzo del primer clímax del desarrollo de las redes neuronales. Pero Minisky cree que el perceptrón no puede resolver el problema XOR, y el perceptrón multicapa solo puede hacerlo. La investigación sobre redes neuronales ha entrado en un punto muerto, principalmente porque el problema no lineal no se ha resuelto. Con el continuo enriquecimiento de la teoría y la profundización de la práctica, se ha demostrado que la visión pesimista de Minisky es errónea. Hoy en día, la ciencia y la tecnología altamente desarrolladas han ido revelando gradualmente que los problemas no lineales son la esencia del mundo objetivo. La interacción de problemas, teoría y práctica ha marcado el comienzo del segundo clímax de las redes neuronales artificiales. En la actualidad, el problema de las redes neuronales artificiales es que el nivel de inteligencia no es alto y existen otros problemas teóricos y de implementación, lo que obliga a las personas a continuar realizando investigaciones teóricas y prácticas, y promover el desarrollo continuo de las redes neuronales. En resumen, las causas anteriores encuentran nuevos fenómenos con diferentes explicaciones, lo que lleva a las personas a proponer causas más generales y precisas para explicar.
La teoría es la base y la práctica es la fuerza impulsora, pero el papel de la teoría y la práctica puras no puede promover el desarrollo de redes neuronales artificiales. Se deben plantear preguntas para atraer a los científicos a ingresar a un ámbito específico de investigación y guiar a los científicos para que participen en investigaciones relevantes. , acercándose así a los descubrimientos científicos, y luego la práctica plantea nuevas preguntas, y las nuevas preguntas desencadenan nuevos pensamientos, lo que lleva a los científicos a pensar y mejorar las teorías constantemente. El desarrollo de redes neuronales artificiales refleja la unidad dialéctica de problemas, teoría y práctica.
(3) Otra fuerza impulsora para el desarrollo de las redes neuronales artificiales proviene de las contribuciones de disciplinas relacionadas y la competencia y colaboración de expertos de diferentes disciplinas.
La red neuronal artificial en sí es una Tema marginal. Su desarrollo tiene una base científica más amplia, es decir, es el producto integral de muchos resultados de investigaciones científicas, el científico informático Turing propuso B. La idea de red; Prigogine propuso la teoría de la autoorganización de los sistemas en desequilibrio y ganó el Premio Nobel; Haken estudió la acción conjunta de una gran cantidad de componentes para producir efectos macroscópicos y propuso e investigó el estado de "caos". de sistemas no lineales, etc., todos los cuales estudian cómo pasar componentes. Las interacciones entre ellos crean sistemas complejos, similares al comportamiento autoorganizado de los sistemas biológicos. Los avances en las ciencias del cerebro y la neurociencia se reflejan rápidamente en la investigación de las redes neuronales artificiales, como la teoría de las redes neuronales biológicas, el principio de inhibición lateral descubierto en la visión, el concepto de campos receptivos, etc., que han jugado un papel importante en la promoción. El desarrollo de redes neuronales. De los cientos de modelos de redes neuronales artificiales que se han propuesto, la cantidad de disciplinas involucradas es vertiginosa y la amplitud de sus campos de aplicación es impresionante. Existen diversos grados de competencia entre expertos de diferentes disciplinas para alcanzar el liderazgo en este campo, todos los cuales han impulsado fuertemente el desarrollo de redes neuronales artificiales. El cerebro humano es un sistema de información con funciones muy poderosas y una estructura extremadamente compleja. Con el desarrollo de la teoría de la información, la cibernética, las ciencias biológicas y la informática, la gente se sorprende cada vez más con las maravillas del cerebro. Mecanismo de procesamiento del cerebro humano Para los propios humanos, sigue siendo una caja negra. Descubrir los misterios del cerebro humano requiere los esfuerzos conjuntos de neurocientíficos, psicólogos, informáticos, microelectrónicos, matemáticos y otros expertos. Rica fuente teórica para el desarrollo de redes neuronales artificiales. Además, los filósofos deben participar mediante la profunda integración del pensamiento filosófico y diversas disciplinas de las ciencias naturales, se pueden desarrollar gradualmente nuevos métodos para explorar la naturaleza y las leyes del pensamiento humano, de modo que la ciencia del pensamiento pueda pasar de la oscuridad a la racionalidad. Además, la competencia y la coordinación entre expertos en diferentes campos conducen a aclarar los problemas y encontrar las mejores soluciones. A lo largo de la historia del desarrollo de las redes neuronales, sin las contribuciones de disciplinas relacionadas y la competencia y colaboración de expertos de diferentes disciplinas, las redes neuronales no serían lo que son hoy. Por supuesto, la investigación sobre la aplicación de redes neuronales artificiales en diversas disciplinas promoverá a su vez el desarrollo de otras disciplinas y promoverá su propia mejora y desarrollo.