Что такое сингулярное разложение матрицы

Сингулярное разложение

Материал из MachineLearning.

Содержание

Сингулярное разложение (Singular Value Decomposition, SVD) — декомпозиция вещественной матрицы с целью ее приведения к каноническому виду. Сингулярное разложение является удобным методом при работе с матрицами. Оно показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. Сингулярное разложение используется при решении самых разных задач — от приближения методом наименьших квадратов и решения систем уравнений до сжатия изображений. При этом используются разные свойства сингулярного разложения, например, способность показывать ранг матрицы, приближать матрицы данного ранга. SVD позволяет вычислять обратные и псевдообратные матрицы большого размера, что делает его полезным инструментом при решении задач регрессионного анализа.

Матрицы и выбираются так, чтобы диагональные элементы матрицы имели вид

Столбцы матриц и называются соответственно левыми и правыми сингулярными векторами, а значения диагонали матрицы называются сингулярными числами.

имеет сингулярное разложение

Легко увидеть, что матрицы и ортогональны,

также и сумма квадратов значений их столбцов равна единице.

Геометрический смысл SVD

Пусть матрице поставлен в соответствие линейный оператор. Cингулярное разложение можно переформулировать в геометрических терминах. Линейный оператор, отображающий элементы пространства в себя представим в виде последовательно выполняемых линейных операторов вращения, растяжения и вращения. Поэтому компоненты сингулярного разложения наглядно показывают геометрические изменения при отображении линейным оператором множества векторов из векторного пространства в себя или в векторное пространство другой размерности.

Пространства матрицы и SVD

Сингулярное разложение позволяет найти ортогональные базисы различных векторных пространств разлагаемой матрицы

Для прямоугольных матриц существует так называемое экономное представление сингулярного разложения матрицы.

Согласно этому представлению при n» alt= «m>n» />, диагональная матрица имеет пустые строки (их элементы равны нулю), а при — пустые столбцы. Поэтому существует еще одно экономное представление

SVD и собственные числа матрицы

Умножая оба выражения справа соответственно на и получаем

SVD и норма матриц

Евклидова норма матрицы есть максимальный коэффициент растяжения произвольного вектора заданной матрицей

Альтернативой Евклидовой норме является норма Фробениуса:

Сингулярные числа матрицы — это длины осей эллипсоида, заданного множеством

Нахождение псевдообратной матрицы с помощью SVD

матрица — такая матрица, для которой выполняются условия

Пусть найдено разложение матрицы вида

Метод наименьших квадратов и число обусловленности

вектора невязки, Решение

задачи наименьших квадратов —

Из формулы Евклидовой нормы матрицы и предыдущей формулы следует, что число обусловленности матрицы есть отношение ее первого сингулярного числа к последнему.

Усеченное SVD при обращении матриц

Определим усеченную псевдообратную матрицу как

Источник

Как уменьшить количество измерений и извлечь из этого пользу

Сначала я хотел честно и подробно написать о методах снижения размерности данных — PCA, ICA, NMF, вывалить кучу формул и сказать, какую же важную роль играет SVD во всем этом зоопарке. Потом понял, что получится текст, похожий на вырезки из опусов от Mathgen, поэтому количество формул свел к минимуму, но самое любимое — код и картинки — оставил в полном объеме.

Еще думал написать об автоэнкодерах. В R же, как известно, беда с нейросетевыми библиотеками: либо медленные, либо глючные, либо примитивные. Это и понятно, ведь без полноценной поддержки GPU (и в этом огромный минус R по сравнению с Python) работа со сколь-нибудь сложными нейронными сетями — и в особенности с Deep Learning — практически бессмысленна (хотя есть подающий надежды развивающийся проект MXNet ). Интересен также относительно свежий фреймворк h2o, авторов которого консультирует небезызвестный Trevor Hastie, а Cisco, eBay и PayPal даже используют его для создания своих планов по порабощению человечества. Фреймворк написан на Java (да-да, и очень любит оперативную память). К сожалению, он тоже не поддерживает работу с GPU, т.к. имеет несколько иную целевую аудиторию, но зато отлично масштабируется и предоставляет интерфейс к R и Python (хотя любители мазохизма могут воспользоваться и висящем по дефолту на localhost:54321 web-интерфейсом).

Так вот, если уж возник вопрос о количестве измерений в наборе данных, то это значит, что их, ну, скажем так, довольно много, из-за чего применение алгоритмов машинного обучения становится не совсем удобным. А иногда часть данных — всего лишь информационный шум, бесполезный мусор. Поэтому лишние измерения желательно убрать, вытащив из них по возможности все самое ценное. Кстати, может возникнуть и обратная задача — добавить еще измерений, а попросту — больше интересных и полезных фич. Выделенные компоненты могут быть полезны и для целей визуализации (t-SNE на это, например, и ориентирован). Алгоритмы декомпозиции интересны и сами по себе в качестве машинных методов обучения без учителя, что, согласитесь, иногда может и вовсе привести к решению первичной задачи.

Матричные разложения

В принципе, для сокращения размерности данных с той или иной эффективностью можно приспособить большинство методов машинного обучения — этим, собственно, они и занимаются, отображая одни многомерные пространства в другие. Например, результаты работы PCA и K-means в некотором смысле эквивалентны. Но обычно хочется сокращать размерность данных без особой возни с поиском параметров модели. Самым важным среди таких методов, конечно же, является SVD. «Почему SVD, а не PCA?» — спросите вы. Потому что SVD, во-первых, само по себе является отдельной важной методикой при анализе данных, а полученные в результате разложения матрицы имеют вполне осмысленную интерпретацию с точки зрения машинного обучения; во-вторых, его можно использовать для PCA и с некоторыми оговорками для NMF (как и других методов факторизации матриц); в-третьих, SVD можно приспособить для улучшения результатов работы ICA. Кроме того, у SVD нет таких неудобных свойств, как, например, применимость только к квадратным (разложения LU, Schur) или квадратным симметричным положительно определенным матрицам (Cholesky), или только к матрицам, элементы которых неотрицательны (NMF). Естественно, за универсальность приходится платить — сингулярное разложение довольно медленное; поэтому, когда матрицы слишком большие, применяют рандомизированные алгоритмы.

Что будет, если из исходного изображения вычесть средние значения каждого столбца, разделить полученную матрицу на корень квадратный из количества столбцов в исходной матрице, а потом выполнить сингулярное разложение? Оказывается, что столбцы матрицы V в полученном разложении в точности будут соответствовать главным компонентам, которые получаются при PCA (к слову, в R для PCA можно использовать функцию prcomp() )

Вернемся к вопросу выбора количества главных компонент. Капитанское правило такое: чем больше компонент, тем больше дисперсии они описывают. Andrew Ng, например, советует ориентироваться на >90% дисперсии. Другие исследователи утверждают, что это число может быть и 50%. Даже придуман так называемый параллельный анализ Хорна, который основывается на симуляции Монте-Карло. В R для этого и пакет есть. Совсем простой подход — использовать scree plot: на графике надо искать «локоть» и отбрасывать все компоненты, которые формируют пологую часть этого «локтя». На рисунке ниже, я бы сказал, надо учитывать 6 компонент:

В общем, как вы видите. вопрос неплохо проработан. Также бытует мнение, что PCA применим только для нормально распределенных данных, но Wiki с этим не согласна, и SVD/PCA можно использовать с данными любого распределения, но, конечно, не всегда результативно (что выясняется эмпирически).

Еще одно интересное разложение — это факторизация неотрицательных матриц, которая, как следует из названия, применяется для разложения неотрицательных матриц на неотрицательные матрицы:
X=WH.
В целом, такая задача не имеет точного решения (в отличие от SVD), и для ёё вычисления используют численные алгоритмы. Задачу можно сформулировать в терминах квадратичного программирования — и в этом смысле она будет близка к SVM. В проблеме же сокращения размерности пространства важным является вот что: если матрица Х имеет размерность m x n, то соответственно матрицы W и H имеют размерности m x k и k x n, и, выбирая k намного меньше самих m и n, можно значительно урезать эту самую исходную размерность. NMF любят применят для анализа текстовых данных, там, где неотрицательные матрицы хорошо согласуются с самой природой данных, но в целом спектр применения методики не уступает PCA. Разложение первой картинки в R дает такой результат:

Если требуется что-то более экзотичное

Какое отношение имеет ICA к задаче уменьшения размерности данных? Попробуем представить данные — вне зависимости от их природы — как смесь компонент, тогда можно будет разделить эту смесь на то количество «сигналов», которое нам подходит. Особого критерия, как в случае с PCA, по выбору количества компонент нет — оно подбирается экспериментально.

В самом простом представлении автоэнкодер можно смоделировать как многослойный перцептрон, в котором количество нейронов в выходном слое равно количеству входов. Из рисунка ниже понятно, что, выбирая промежуточный скрытый слой малой размерности, мы тем самым «сжимаем» исходные данные.

Вышеозначенный автоэнкодер несложно превратить в denoising autoencoder. Так как такому автокодировщику на вход надо подавать искаженные образы, перед первым скрытым слоем достаточно разместить dropout слой. Благодаря ему с некоторой вероятностью нейроны будут находиться в «выключенном» состоянии, что а) будет вносить искажения в обрабатываемый образ; б) будет служить своеобразной регуляризацией при обучении.
Еще одно интересное применение автоэнкодера — определение аномалий в данных по ошибке реконструкции образов. В целом, если подавать на вход автоэнкодера данные не из обучающей выборки, то, понятно, ошибка реконструкции каждого образа из новой выборки будет выше таковой из тренировочной выборки, но более-менее одного порядка. При наличии аномалий эта ошибка будет в десятки, а то и сотни раз больше.

Источник

Рекомендательные системы: SVD, часть I

Продолжаем разговор о рекомендательных системах. В прошлый раз мы сделали первую попытку определить схожесть между пользователями и схожесть между продуктами. Сегодня мы подойдём к той же задаче с другой стороны – попытаемся обучить факторы, характеризующие пользователей и продукты. Если Васе из предыдущего поста нравятся фильмы о тракторах и не нравятся фильмы о поросятах, а Петру – наоборот, было бы просто замечательно научиться понимать, какие фильмы «о поросятах», и рекомендовать их Петру, а какие фильмы – «о тракторах», и рекомендовать их Васе.

Напоминаю ещё раз (и, видимо, буду напоминать до конца времён), что у нас есть матрица, состоящая из рейтингов (лайков, фактов покупки и т.п.), которые пользователи (строки матрицы) присвоили продуктам (столбцы матрицы). Давайте присмотримся к матрице , в которой записаны известные нам рейтинги. Как правило, один пользователь не сможет оценить значительную долю продуктов, и вряд ли будет много продуктов, которые готова оценить значительная доля пользователей. Это значит, что матрица R разреженная (sparse); нельзя ли этим как-нибудь воспользоваться?

Главным инструментом для нас станет так называемое сингулярное разложение матрицы R:

Сингулярное разложение – это достаточно простой, но очень мощный инструмент. Собственно, это один из главных с практической точки зрения результатов линейной алгебры, и результат уже весьма не новый (свойства SVD были изучены самое позднее в 1930-х годах), – и тем удивительнее бывает, когда университетские курсы линейной алгебры, довольно подробные в каких-то других аспектах, совершенно обходят SVD стороной.

Если у вас есть три минуты, можете насладиться ярким образчиком математического юмора; юмор, конечно, математический, так что не то чтобы смешно, но суть изложена доходчиво, а музыка наверняка понравится любителям… хм, на хабре, наверное, лучше будет сказать, что понравится любителям Fallout:

На случай, если трёх минут всё-таки не нашлось, я выделю главное для нас свойство: если R – матрица большого размера , но малого ранга f (в частности, разреженные матрицы часто бывают малого ранга), её можно разложить в произведение матрицы и матрицы , тем самым резко сократив число параметров, c NM до (N+M)f (чтобы понять, что это большой прогресс, представьте, что, как это обычно бывает на практике, N и M измеряются сотнями тысяч и миллионами, а f меньше десятка).

SVD очень широко употребляется в машинном обучении; фактически, если вы хотите что-то чем-то приблизить, не исключено, что вам где-то по дороге встретится SVD. Классический пример применения SVD – шумоподавление, например, в изображениях. Рассмотрим (чёрно-белое) изображение как матрицу X размера , элементы которой – интенсивности каждого пикселя. Теперь попробуем выбрать f столбцов пикселей из изображения, счесть их «репрезентативными» и представить каждый из оставшихся столбцов в виде линейной комбинации этих. Я не буду сейчас углубляться в математику, но в результате, когда вы найдёте оптимальные представления каждого столбца, получится, что вы представили исходную матрицу в виде произведения матриц размера и , то есть как раз приблизили матрицу X матрицей малого ранга f.

Основное же свойство SVD – в том, что SVD даёт оптимальное такое приближение, если в матрице D просто оставить ровно f первых диагональных элементов, а остальные занулить:

В диагональной матрице D, которая в середине сингулярного разложения, элементы упорядочены по размеру: , так что обнулить последние элементы – это значит обнулить наименьшие элементы.

Если хорошо подобрать f, то в результате изображение и в весе потеряет, и шума на нём станет меньше. А f в данном случае можно подбирать, исходя из размера сингулярных значений матрицы, т.е. тех самых диагональных элементов матрицы D: желательно отбрасывать как можно больше, но при этом как можно более маленьких таких элементов.

Но мы отвлеклись. В случае рекомендательных систем получается, что мы представляем каждого пользователя вектором из f факторов и представляем каждый продукт вектором из f факторов , а потом, чтобы предсказать рейтинг пользователя i товару j, берём их скалярное произведение . Можно сказать, что вектор факторов пользователя показывает, насколько пользователю нравится или не нравится тот или иной фактор, а вектор факторов продукта показывает, насколько тот или иной фактор в продукте выражен. Линейная же алгебра подсказывает нам, что для разреженной матрицы рейтингов такое разложение часто возможно и имеет содержательный смысл.

Может оказаться, кстати, что некоторые факторы легко будет понять человеческим умом: для фильмов может выделиться что-нибудь в духе «комедия–драма», «доля action’а», «доля романтики» и т.п., а факторы пользователей, соответственно, будут показывать, насколько соответствующие характеристики фильма им по вкусу. Но может и не выделиться ничего содержательного – тут гарантий нет, формально мы просто жонглируем цифрами.

В следующий раз мы превратим эту базовую идею – приблизить матрицу рейтингов матрицей малого ранга посредством SVD – в хорошо поставленную задачу оптимизации и научимся её решать.

Источник

Русские Блоги

Факторизация сингулярной матрицы SVD

Сингулярная матричная факторизация SVD

Основная идея разложения сингулярной матрицы заключается в том, что на интерес пользователя влияет только несколько факторов, поэтому разреженная и многомерная матрица оценок User-Item разлагается на две низкоразмерные матрицы, которые изучаются через User и информация о рейтинге элемента. Матрица характеристик пользователя P и матрица характеристик элемента Q используются для прогнозирования оценки продукта пользователем посредством восстановленной низкоразмерной матрицы. Временная сложность SVD составляет O (м3).

1. Разложение на собственные значения:

Если вектор v является вектором признаков квадратной матрицы A, он должен быть выражен в следующей форме:

2. Разложение по сингулярным числам:

3. Применение в неявной семантической модели рекомендательной системы.

Предполагая, что существует K скрытых переменных, нам нужно найти матрицы P (U * K) и Q (K * V):

2. Как мы можем найти лучшие P и Q?

Градиентный спуск (поскольку размерность вектора признаков пользователей и элементов относительно невелика, его можно эффективно решить с помощью градиентного спуска (Gradient Descend)):

1. Определите функцию потерь (плюс член регуляризации)

2. Найдите градиент / частную производную, обновите формулу итерации:

3. Вернитесь к матричному продукту, чтобы добавить немаркированные элементы.

4. Преимущества и недостатки матричной факторизации в рекомендации

Метод матричной факторизации сопоставляет многомерную матрицу оценок User-Item с двумя низкоразмерными матрицами пользователей и элементов, что решает проблему разреженности данных. Использование матричной факторизации имеет следующие преимущества:

1. Его легче программировать, и метод стохастического градиентного спуска можно повторять для обучения модели.

2. Относительно низкая временная и пространственная сложность, отображение многомерных матриц в две низкоразмерные матрицы экономит место для хранения, процесс обучения относительно трудоемок, но может быть завершен в автономном режиме; оценочное прогнозирование обычно рассчитывается онлайн, напрямую с использованием параметров полученные в ходе автономного обучения, можно рекомендовать в режиме реального времени.

3. Точность предсказания относительно высока, а точность предсказания выше, чем у совместной фильтрации на основе полей и фильтрации содержимого.

4. Очень хорошая масштабируемость, удобно добавлять другие факторы к вектору характеристик пользователя и вектору характеристик элемента, такие как SVD ++ с неявными факторами обратной связи и динамическое время SVD ++, этот метод часть предвзятости и интерес пользователя выражаются как функция времени, что хорошо отражает изменение интереса пользователя.

Основными недостатками матричной факторизации являются:

1. Обучение модели требует много времени.

2. Рекомендуемые результаты плохо поддаются интерпретации. Каждое измерение матрицы пользователей и элементов, которое разложено *, не может быть объяснено с помощью концепций в реальной жизни. Невозможно назвать каждое измерение с реальной концепцией, но можно понимать только как потенциальное семантическое пространство.

Источник

Русские Блоги

Принцип и расчет разложения на собственные значения и разложения по сингулярным числам

(1) Характеристическое значение

Q представляет собой собственный вектор, составленный из этой матрицы A, Σ представляет собой диагональную матрицу, а значение на каждой диагонали представляет собственное значение, соответствующее собственному вектору.

Примеры процесса решения:

Умножьте вектор на квадратную матрицу слева, чтобы получить новый вектор.

Затем вручную переместите v в двумерном пространстве, будут два момента, когда v и Av коллинеарны, что составляет разницу в λ раз.

Значение характеристики имеет следующие свойства:

(2) Разложение на собственные значения

Разложенная Σ-матрица является диагональной матрицей. Если собственные значения в Σ расположены от больших к малым, собственные векторы, соответствующие этим собственным значениям, описывают направление изменения матрицы (упорядоченные от основного изменения к вторичному изменению)

Когда матрица является многомерной, тогда эта матрица A является линейным преобразованием в многомерном пространстве. Это преобразование также имеет множество направлений преобразования. Первые N собственных векторов, полученных путем разложения по собственным значениям, соответствуют наиболее важной матрице N направлений изменения. Мы можем аппроксимировать эту матрицу (преобразование), используя первые N изменяющихся направлений.

Другими словами: Извлеките наиболее важные особенности этой матрицы.

(3) Сингулярное и сингулярное разложение

В реальном мире большинство встречающихся матриц не являются квадратными матрицами. Например, есть N студентов, и каждый студент имеет M оценок; есть N пользователей, и каждый пользователь покупает M предметов, что составляет одну N * M прямоугольная матрица.

Как описать важные характеристики такой обычной матрицы?

Можно решить с помощью разложения по сингулярным числам

Правое сингулярное векторное решение: матрица A умножается на левую, транспонируется и транспонируется на AT, и получается квадратная матрица (m * m). Используя эту квадратную матрицу для нахождения собственных значений и собственных векторов, можно получить V и соответствующие собственные значения.

По собственному значению λ, полученному функцией 👆, вычислить сингулярное значение σ и левый сингулярный вектор U.

(4) Расчет числа сингулярных чисел

Его можно рассчитать с помощью np.linalg.svd (matrix), который поставляется с numpy

Результатом умножения трех матриц справа будет матрица, близкая к A. Сумма «площади» этих трех матриц намного меньше, чем исходная матрица A. Пространство может быть сжато для представления исходной матрицы A, и можно сохранить только три матрицы U, Σ и V.

(5) Сжатие изображения с сингулярными значениями.

Мы используем SVD-декомпозицию для сжатия изображений, Фактически, это в основном состоит в том, чтобы сохранить большее значение в матрице коэффициентов и отбросить меньшее значение, чтобы добиться эффекта сжатия изображения.

В Python декомпозиция SVD очень проста, вы можете использовать функцию np.linalg.svd (), такую ​​как u, sigma, v = np.linalg.svd (A), затем u и v возвращают левый и правый сингулярные векторы A и сигма Возвращается не матрица коэффициентов, а вектор сингулярных значений, упорядоченный в порядке убывания. Тогда для изображения это фактически наложение матриц на трех слоях RGB, а значение каждого элемента представляет собой целое число от 0 до 255. Изображение можно прочитать в Python с помощью функции plt.imread (), которая получается напрямую Создайте матрицу a * b * 3, а затем обработайте три слоя отдельно.

А теперь разберемся с идеями:

1 Прочтите картинку и разложите ее на три матрицы RGB.

2 Выполните SVD-разложение трех матриц, чтобы получить соответствующие сингулярные значения и сингулярные векторы.

3 Скрининг единичных значений по определенным критериям (определенный процент от общего количества или определенный процент от суммы единичных значений)

4 Восстановите матрицу и наложите три матрицы RGB.

5 Сохраните изображение.

Затем выложу картинку 0,1, 0,2, 0,5, 0,9 от общего количества сингулярных значений.

0.1: все еще относительно расплывчато

Видно, что изображение в основном было восстановлено при 0,2, и оно в основном такое же, как 0,9 при 0,5! Таким образом мы сыграли роль сжатия картинок!

Интеллектуальная рекомендация

Из-за добавления Lombok’s @Accessors (chain = true) класс инструмента копирования bean-компонентов не работает

ПредисловиеСеть Time Novel wap.youxs.org На этот раз был построен новый проект, потому чтоLombok Я привык, но раньше пользовался[email protected]，@AllArgsConstructor，@EqualsAndHashCodeДождитесь очередного коммен.

ios FMDB

1. Что такое FMDB? В iOS использование функций языка C для добавления, удаления, изменения и запроса собственных баз данных SQLite является сложным и хлопотным, поэтому появился ряд библиотек, инкапсу.

POJ2236 WirelessNetWork (также проверьте набор)

Ссылка на заголовок Этот вопрос представляет собой простое приложение параллельного поиска, которое не сложно. (Не потребовалось много времени, чтобы увидеть, что Accepted чувствует себя так хорошо, х.

Android бизнес и реализация SDK интерфейс

Источник