Интуиция свертки графов

Блог

TD; LR - Учитывая представление Graph в терминах матрицы смежности, оно не фиксирует пространственную корреляцию, необходимую для свертки. Этот пост отражает интуицию о том, как домен Фурье помогает в свертке.



как продать мою безопасную луну

Предварительные условия для графического представления

Спрашивается - а что в этом нового? Он по-прежнему фиксирует пространственные отношения в данных. Ответ на этот вопрос - посмотреть на количество параметров. В случае MLP - поскольку мы рассматриваем каждый пиксель как независимый от каждого другого пикселя, у нас есть 784 веса для каждого скрытого измерения (если размер встраивания равен 256 - тогда у нас есть 784 x 256 в качестве матрицы весов)



В случае двумерной свертки (изображения в оттенках серого) - у нас на входе будет 28 28 и ядро, скажем, размером 3x3. Тогда общее количество обучаемых параметров для одного канала будет 9 (3 3) + 1 (необязательное смещение). и если мы выберем 256 карт функций - у нас будет 256 карт * 10 всего с 2560 обучаемыми весами по сравнению с 200704 весами в случае MLP.

Ключевая идея свертки состоит в том, чтобы извлечь выгоду из локализации изображения - то есть в локальном представлении (область маски) ядра, пиксели в окрестности похожи и имеют очень мало скачков / краев. Это причина того, почему свертка, применяемая к изображениям, имеет смысл.



создать класс вершины, который возвращает массив (или список) строк.

Давайте рассмотрим случай, когда это не так - нам нужно построить нейронную сеть, чтобы принять решение об одобрении банковской ссуды. Наш вход - это 5-мерный вектор, имеющий следующие особенности

Характеристики - [возраст, доход, пол, семейное положение, стоимость активов]

В этом случае свертка не имеет смысла. Поскольку в пространстве признаков нет общей информации - каждое измерение вектора признаков независимый

# искусственный интеллект # машинное обучение # граф # глубокое обучение # глубокое обучение

SVG в PDF JavaScript

medium.com

Интуиция свертки графов

TD; LR - Учитывая представление Graph в терминах матрицы смежности, оно не фиксирует пространственную корреляцию, необходимую для свертки.