Although not a recent one (2015), The Master Algorithm by Pedro Domingos is a pleasant book to be read, mainly as a sort of basic pedagogical introduction to machine learning. As the author stated in the book, “when a new technology is as pervasive and game changing as machine learning, it’s not wise to let it remain a black box. Opacity opens the door to error and misuse.” Therefore, this initial effort to democratize this subfield of artificial intelligence is logically welcome.
Professor Domingos is a machine learning practitioner and hence you can realize his bias concerning other approaches to artificial intelligence; said that, it’s interesting how he divides and frames the different schools of thoughts inside machine learning. From his standpoint, there are five schools:
Symbolists: they view learning as inverse deduction and they take ideas from philosophy, psychology, and logic.
Connectionists: they reverse engineer the brain and they are inspired by neuroscience and physics.
Evolutionaries: they simulate evolution on the computer and they draw on genetics and evolutionary biology.
Bayesians: they believe learning is a form of probabilistic inference and they have their roots in statistics.
Analogizers: they learn by extrapolating from similarity judgements and they are influenced by psychology and mathematical optimization.
Each of the five tribes of machine learning has its own master algorithm, a general purpose learner that you can in principle use to discover knowledge from data in any domain. The symbolists’ master algorithm is inverse deduction; the connectionists’ is backpropagation; the evolutionaries’ is genetic programming; the bayesians’ is Bayesian inference; and the analogizers’ is the support vector machine.
For Symbolists, all intelligence can be reduced to manipulating symbols. Symbolists understand that you can’t learn from scratch: you need some initial knowledge to go with the data. Their master algorithm is inverse deduction, which figures out what knowledge is missing in order to make a deduction go through, and then makes it as general as possible.
Symbolist machine learning is an offshoot of the knowledge engineering school of AI. In the 1970s the so-called knowledge-based systems scored some impressive successes and in the 1980s they spread rapidly, but then they died out. The main reason was the infamous knowledge acquisition bottleneck: extracting knowledge from experts and encoding as rules is just too difficult, labor intensive, and failure-prone. Letting the computer automatically learn to, say, diagnose diseases by looking at databases of past patients’ symptoms and the corresponding outcomes turned out to be much easier that endlessly interviewing doctors.
For Connectionists, learning is what the brain does. The brain learns by adjusting the strengths of connections amongst neurons, and the crucial problem is figuring out which connections are to blame for which errors and changing them accordingly. The connectionist master algorithm is backpropagation, which compares a system output with the desired one and then successfully changes the connections in layer after layer of neurons, so as to bring the output closer to what it should be.
Connectionist representations are distributed, mirroring what happens in the human brain. Each concept is represented by many neurons and each neuron participates in representing many different concepts. Neurons that excite one another form a cell assembly. Concepts and memories are represented in the brain by cell assemblies. Each of these can include neurons from different brain regions and overlap with other assemblies.
The first formal model of a neuron was proposed by Warren McCulloch and Walter Pitts in 1943. It looked a lot like the logic gates computers are made of. McCulloch and Pitts’ neuron did not learn though. For that it was needed to give variable weights to the connections amongst neurons in resulting in what’s called perceptrons. Perceptrons were invented in the late 1960s by Frank Rosenblatt, a Cornell psychologist. In a perceptron, a positive weight represents an excitatory connection, and a negative weight an inhibitory one. The perceptron generated a lot of excitement. It was simple, yet it could recognize printed letters and speech sounds, just by being trained with examples.
In 1985 David Ackley, Geoff Hinton, and Terry Sejnowsky replaced the deterministic neurons in Hopfield networks with probabilistic ones. A neural network had then a probability distribution over its states, with higher energy-status being exponentially less likely than lower-energy ones. One year later, 1986, Backpropagation was invented by David Rumelhart, a psychologist at the University of California, with the help of Geoff Hinton and Ronald Williams.
Evolutionaries believe that the mother of all learning is natural selection. The master algorithm is genetic programming, which mates and evolves computer programs in the same way that nature mates and evolves organisms. Whilst backpropagation entertains a single hypothesis at any given time and the hypothesis changes until it settles into a local optimum, genetic algorithms consider an entire population of hypothesis at each step, and these can make big jumps from one generation to the next thanks to crossover. Genetic algorithms are full of random choices; they make no a priori assumptions about the structures they will learn, other than their general form.
Bayesians are concerned above all with uncertainty. The problem then becomes how to deal with noisy, incomplete, and even contradictory information without falling apart. The solution is probabilistic inference and the master algorithm is Bayes’ theorem and its derivates. Bayes theorem is just a simple rule for updating your degree of belief in a hypothesis, when you receive new evidence. If the evidence is consistent with the hypothesis, the probability of the hypothesis goes up, If not, it goes down.
For Analogizers the key to learning is recognizing similarities between situations and thereby inferring other similarities. The analogizers’ master algorithm is the support vector machine, which figures out which experiences to remember and how to combine them to make new predictions. The nearest neighbor algorithm, before the support vector machine, was the first preferred option in the analogy-based learning.
Up to the late 1980s researchers in each tribe mostly believed their own rhetoric, assumed their paradigm was fundamentally better and communicated little with the other schools. Today the rivalry continues but there is much more cross-pollination. For professor Domingos, the best hope of creating a universal learner lies in synthesizing ideas from different paradigms. In fact just a few algorithms are responsible for the great majority of machine learning applications.
As a coda to his pedagogical explanation of machine learning, professor Domingo’s views about data privacy are worthy to be highlighted. From his standpoint, our digital future begins with a realization every time we interact with a computer -whether it’s a smart phone or a server thousands of kilometers away- we do so on two levels: the first one is getting what we want there and then: an answer to a question, a product you want to buy, a new credit card. The second level, in the long run the most important one, is teaching the computer about us. The more we teach it, the better it can serve us -or manipulate us.
Life is a game between us and the learners which surround us. We can refuse to play but then we will have to live a twentieth-century life in the twenty-first. Or we can play to win. What model of us do we want the computer to have? And what data can we give it that will produce that model? Those questions should always be in the back our minds whenever we interact with a learning algorithm -as they are when we interact with other people.
A white paper -published together with Redesigning Financial Services and EY- about how AI can be used to tackle some daily problems the banking institutions have to cope with such as, amongst others, anti-money laundering, KYC, data quality management, process & data mining…
“Yes, but artificial intelligence must become common currency”.
A few days ago I had the good fortune to attend a meeting between technology investors, entrepreneurs, businessmen and professors in the field, the latter three, of AI. It was interesting, on the one hand, to mix in the same virtual space money, willingness to create something, success in having done so, and knowledge… and, on the other hand, to observe the same vital dilemma regarding this technology is shared in the background: democratization or industrialization of artificial intelligence.
Information and communication technologies -and more specifically AI- are GPTs, general purpose technologies, a term coined by MIT professors Erik Brynjolfsson and Andrew McAfee in their book The Second Machine Age; namely, technologies that “disrupt and accelerate the normal march of economic progress”. The steam engine and electricity were also GPTs. They were disruptive technologies that have extended their reach into many corners of the economy and radically altered the way we live and work.
Nonetheless, if we look at the current state of AI, it has yet to take off. Why? One of the reasons is perhaps because it is stuck at a crossroads.
On the one hand, we have tech giants like Amazon, Google, Facebook, Alibaba, Tencent… they are not only competing with each other to see which is the first to discover the next disruptive breakthrough within AI. At the same time, they compete against fast AI startups that want to use machine learning, deep learning, ontologies or even hybrid approaches -mathematics, statistics, rule-based programming and logic…-, to revolutionize certain specific industries. It is a competition between two approaches to extend AI in the field of economics: the industrialization of the powerful giants versus the democratization of the agile startups. How that race plays out will determine the nature of the AI business landscape: monopoly, oligopoly, or free and spontaneous competition amongst thousands of companies. The industrialization approach wants to turn AI into a commodity, with a price tending towards zero. Its goal is to transform the power of AI, and its various subfields, into a standardized freemium service; namely, any company can acquire it, with its use perhaps being free of charge for academic or personal environments. Access to this freemium AI environment would be through cloud platforms. The powerful giants behind these platforms (Google, Alibaba, Amazon…) act as service companies, managing the network and charging a fee. Connecting to that network would allow traditional companies, with a large data set, to leverage the optimization power of AI without having to redo their entire business. The most obvious example of this approach: Google’s TensorFlow. This is an open-source software ecosystem for building deep learning models; however, it still requires specialized programming skills to make it work. The goal of the network approach is to both lower that specialization threshold and increase the functionality of AI platforms in the cloud. Making full use of an AI model is not easy as of today but AI giants hope to simplify this technology and then reap the rewards, in addition to operating the network.
On the other hand, AI start-ups and middle-sized enterprises (MsEs) are taking the opposite approach. Instead of waiting for this network to take shape, they are creating AI niche products for each use case. Such startups and MsEs are aiming at specialization, rather than breadth. Instead of providing, for example, natural language processing models for general purposes, they build new products, solutions, niche platforms for algorithms to perform specific tasks such as fraud tracking, insurance policy comparison, customer profiling for upselling and cross-selling, terrorist threat detection on social networks, pharma knowledge graph generation… The starting postulates of these startups and MsEs are twofold: on the one hand, traditional businesses are still very far, operationally, from being able to use a multipurpose AI network; on the other hand, AI should start to be an intrinsic element in the business operation of these traditional companies. It is because of the latter that, almost always, companies following this approach end up building a strategic relationship with the AI startup or MsE, which has introduced them to this world.
Who will win in this race? Difficult to make a prediction. What is clear is that, if the industrialization approach triumphs, the astronomical economic benefits of this technology will be concentrated in a handful of companies (probably American and Chinese ones); if the democratization approach succeeds, these huge benefits will be spread among thousands of vibrant young agile companies.
As a welcome for the allocated seats in the Redesigning Financial Services Strategic Steering Committee, expert.ai’s Chief Operating Officer Gabriele Donino, and the Managing Director Switzerland Domingo Senise de Gracia were interviewed to talk about the use of artificial intelligence, the potentials, opportunities and barriers.
El blanqueo de capitales se define legalmente como la transferencia de dinero obtenido ilegalmente a través de personas o cuentas legítimas, de manera que no se pueda rastrear su fuente original.
El Fondo Monetario Internacional (FMI) estima que el tamaño agregado del blanqueo de capitales en todo el mundo es de aproximadamente 3,2 billones de dólares, o el 3% del PIB mundial. Los beneficios del blanqueo de capitales se utilizan a menudo para financiar delitos, como el terrorismo, la trata de personas, el tráfico de drogas y la venta ilegal de armas. Los bancos y otro tipo de instituciones financieras implementan sistemas contra el blanqueo de capitales. No cumplir con las normas de lucha contra el blanqueo de capitales es un tipo de delito corporativo, que significa un serio riesgo para la reputación de estas instituciones financieras. A pesar de los esfuerzos actuales, varias instituciones financieras multinacionales han sido objeto de fuertes multas por parte de los reguladores de la lucha contra el blanqueo de capitales, por la ineficacia de sus prácticas en los últimos años.
La introducción de la inteligencia artificial con el propósito de luchar contra el blanqueo de capitales mejora y facilita el proceso general de toma de decisiones, al tiempo que se mantiene el cumplimiento de políticas como el Reglamento General de Protección de Datos. La IA puede reducir al mínimo el número de transacciones falsamente etiquetadas como sospechosas, lograr una calidad demostrable de cumplimiento de las expectativas reglamentarias, y mejorar la productividad de los recursos operacionales.
La colocación, la diversificación y la integración son las tres fases en los procesos de blanqueo de capitales. En la fase de colocación el producto de las actividades delictivas se convierte en instrumentos monetarios o se deposita de otro modo en una institución financiera (o ambas situaciones). La diversificación se refiere a la transferencia de fondos a otras instituciones financieras o personas mediante transferencias electrónicas, cheques, giros postales u otros métodos. En la fase final de integración, los fondos se utilizan para adquirir activos legítimos o seguir financiando empresas delictivas. En este caso, el dinero obtenido ilegalmente pasa a formar parte de la economía legítima. Los enfoques de inteligencia artificial pueden aplicarse para identificar las actividades de blanqueo de capitales en cada una de las tres fases mencionadas. Pueden utilizarse métodos comunes de aprendizaje automático como las máquinas de vectores de soporte (support vector machines, según su denominación en inglés), y los bosques aleatorios (random forests, según su denominación en inglés), a fin de clasificar las transacciones fraudulentas utilizando grandes conjuntos de datos bancarios anotados.
En la actualidad, los esquemas típicos en la lucha contra el blanqueo de capitales pueden descomponerse en cuatro capas. La primera capa es la capa de datos, en la que se produce la recogida, gestión y almacenamiento de los datos relevantes. Esto incluye tanto los datos internos de la institución financiera como los datos externos de fuentes como agencias reguladoras, autoridades y listas de vigilancia. La segunda capa, la capa de control y vigilancia, examina las transacciones y los clientes en busca de actividades sospechosas. Esta capa ha sido automatizada en su mayor parte por las instituciones financieras en un procedimiento de varias etapas que a menudo se basa en normas o análisis de riesgos. Si se encuentra una actividad sospechosa, se pasa a la capa de alerta y eventos para una inspección en más detalle. El aprovechamiento de los datos en redes sociales y la web para adquirir información para la investigación está poco desarrollado en los sistemas actuales de lucha contra el blanqueo de capitales. Un analista humano toma la decisión de bloquear o aprobar una transacción en la capa de operaciones.
Procesamiento de lenguaje natural, ingeniería ontológica, aprendizaje automático, aprendizaje profundo y análisis de sentimiento
El procesamiento de lenguaje natural (PLN) y la ingeniería ontológica, ambos campos de la inteligencia artificial, pueden ayudar a aliviar la carga de trabajo al proporcionar a los expertos humanos una valoración y una visualización de las relaciones, basadas en datos de las noticias: por ejemplo, la base de datos de noticias de los bancos y las fuentes de noticias tradicionales o de las redes sociales en relación con la posible entidad defraudadora. Un enfoque para identificar el blanqueo de capitales consiste en definir un grafo de conocimiento relativo a las entidades. El reconocimiento de entidades es un conjunto de algoritmos capaces de reconocer las entidades pertinentes; a saber, personas, cargos y empresas mencionadas en una cadena de texto de entrada. La extracción de relaciones detecta la relación entre dos entidades nombradas (e1 , e2) en una oración dada, típicamente expresada como un triplete [ e1 , r, e2 ] donde r es una relación entre e1 y e2. La resolución de entidades determina si las referencias a las entidades mencionadas en diversos registros y documentos se refieren a la misma o a diferentes entidades. Por ejemplo, una misma persona puede ser mencionada de diferentes maneras, y una organización podría tener diferentes direcciones. Los principales desafíos en el aprendizaje de grafos para la lucha contra el blanqueo de capitales son la velocidad de aprendizaje/análisis de grafos y el tamaño de los mismos. El aprendizaje rápido de grafos utiliza redes neuronales convolucionales rápidas, y aumenta drásticamente las velocidades de entrenamiento en comparación con las redes neuronales convolucionales convencionales. El análisis de relaciones, de sentimiento y muchas otras técnicas basadas en el PLN y los grafos de conocimiento se utilizan a menudo para reducir los altos índices de falsos positivos en la lucha contra el blanqueo de capitales.
Otra manera de enmarcar la IA y la minería de datos en la lucha contra el blanqueo de capitales es a través de la detección de anomalías mediante técnicas de aprendizaje automático. De conformidad con este método, en primer lugar se define lo que sería una transacción normal o típica y luego se detecta cualquier transacción que sea lo suficientemente diferente como para ser considerada como anómala. Se define un grupo de elementos comunes, a fin de captar los hábitos de gasto típicos de un cliente. La agrupación es un método estándar para definir los grupos de elementos comunes; a continuación, se calcula una distancia entre las transacciones entrantes y los grupos de elementos comunes con el ánimo de detectar comportamientos anómalos, por ejemplo, mediante el algoritmo de agrupación k-medias (k-means, según su denominación en inglés).
El salto adelante significativo se ha producido al utilizar, en contraste con los enfoques convencionales de aprendizaje automático, métodos de aprendizaje profundo para aprender representaciones de características a partir de datos en bruto. En las técnicas de aprendizaje profundo, se aprenden múltiples capas de representación a partir de una capa de entrada de datos en bruto, utilizando manipulaciones no lineales en cada nivel de aprendizaje de la representación. El PLN y el aprendizaje profundo ya se utilizan en muchos niveles de cumplimiento normativo de la lucha contra el blanqueo de capitales.
La implementación de análisis de sentimiento puede ser útil también para la lucha contra el blanqueo de capitales. Entendido dicho análisis como una tarea de clasificación masiva, mediante PLN, de documentos de manera automática en función de la connotación positiva o negativa del lenguaje del documento, su función principal es acortar el período de investigación por parte de un responsable de cumplimiento normativo. Puede aplicarse en diferentes niveles, incluidas las etapas de gestión de atrasos, incorporación de clientes y supervisión del perfil de los mismos. El objetivo de un sistema de análisis de sentimiento en este contexto es vigilar las tendencias de sentimiento asociadas con un cliente, para identificar patrones importantes. Cuando los investigadores de la lucha contra el blanqueo de capitales identifican una empresa que ha participado potencialmente en una transacción sospechosa, generalmente consultan Internet para obtener pruebas. El análisis de los niveles de sentimiento de las noticias relativas a una organización específica puede revelar una gran cantidad de pruebas. El análisis de sentimiento basado en el PLN puede examinar miles de artículos en segundos, mejorando significativamente el proceso de investigación en términos de eficiencia y precisión. El análisis de sentimiento también puede emplearse en el proceso de monitoreo del perfil del cliente y de la incorporación del mismo, con el ánimo de investigar e identificar puntos débiles específicos de un cliente y sus vinculaciones con artículos negativos. En términos de IA, se han utilizado numerosas técnicas para el análisis de sentimiento, entre ellas las máquinas de vectores de soporte, los campos aleatorios condicionales (conditional random fields, según su denominación en inglés) y las redes neuronales profundas como las redes neuronales convolucionales y las redes neuronales recurrentes.
Métodos explicables de inteligencia artificial
La eficacia de los sistemas de IA está limitada en cierta medida por su capacidad para explicar una decisión específica que se ha tomado o predicho. La naturaleza de la explicación varía según las diferencias de los datos y los algoritmos, y hasta ahora no se ha implementado ningún marco común o estándar de explicación.
La comunicación con los analistas es de suma importancia cuando se diseña cualquier sistema de lucha contra el blanqueo de capitales, puesto que los usuarios toman la decisión final. Los métodos explicables de IA funcionan proporcionando a los usuarios información clara sobre por qué se hizo una predicción: por ejemplo, por qué el sistema cree que una transacción es sospechosa, a fin de ayudar a los usuarios a tomar una decisión y fomentar la comprensión de la tecnología por parte de los mismos. Es importante que cualquier sistema pueda explicar sus decisiones de manera sencilla para el usuario. Las políticas europeas y el Reglamento General de Protección de Datos hacen hincapié en la necesidad de que las instituciones financieras proporcionen decisiones explicables y autorizadas por el ser humano. Es fundamental que cualquier método de lucha contra el blanqueo de capitales incorpore un analista humano y garantice que éste comprenda claramente la información que se le presenta. Un sistema de “caja negra” que etiqueta una transacción como “fraudulenta” sin ningún tipo de explicación o argumentación es inaceptable.
Finalmente, en este futuro entorno de trabajo común, una decisión final tomada por el humano, que puede o no apoyar la predicción del sistema, debería ser retro-propagada al modelo de IA para mejorar su capacidad de toma de decisiones. Los sistemas de lucha contra el blanqueo de capitales no deberían ser lineales sino cíclicos, en los que los modelos de IA se comuniquen y aprendan de los analistas. Sólo a través de este esfuerzo conjunto de los seres humanos y la inteligencia artificial los procedimientos de lucha contra el blanqueo de capitales lograrán un éxito excepcional.
