Very happy to release #ImagenVideo today! Amazing work with an amazing team!
imagen.research.google/video…
High fidelity text to video with diffusion models: "Flying through an intense battle between pirate ships in a stormy ocean."
Excited to announce Imagen Video, our new text-conditioned video diffusion model that generates 1280x768 24fps HD videos! #ImagenVideo
imagen.research.google/video…
Work w/ @wchan212 @Chitwan_Saharia @jaywhang_ @RuiqiGao @agritsenko @dpkingma @poolio @mo_norouzi @fleet_dj @TimSalimans
16
171
1,081
Diffusion models can now produce great samples in as few as 4 sampling steps, as @hojonathanho and I show in our new paper (ICLR spotlight): openreview.net/forum?id=TIdI…
🧵 1/
4
72
458
Looking forward to my first ICML as a Googler, working alongside Lasse Espeholt and @NalKalchbrenner at a new Google Brain office in Amsterdam! #ICML2018 #GoogleBrain
7
27
251
Our paper on implicit generative models for speech synthesis is out! We use a spectrogram-based loss like DDSP and OpenAI Jukebox, but add a repulsive term that offers statistical guarantees:
arxiv.org/abs/2008.01160
w/ @agritsenko @vdbergrianne @NalKalchbrenner @latentjasper
1/3
1
49
246
My team in Amsterdam is hiring a research scientist with experience in generative modeling. Please apply if you want to help us build the next generation of Google's generative models!
boards.greenhouse.io/deepmin…
1
25
200
56,788
We have a new distillation method that actually *improves* upon its teacher.
Moment Matching distillation (arxiv.org/abs/2406.04103) creates fast stochastic samplers by matching data expectations between teacher and student.
Work with @emiel_hoogeboom @JonathanHeek @tejmensin.
1/4
7
33
191
20,975
Diffusion-based generative models are SOTA on perceptual quality, but how good are they at density estimation? Very good it turns out!
📢Announcing our new paper on diffusion models, with SOTA likelihoods & compression + new theoretical insights into this exciting model class.
New paper: Variational Diffusion Models (VDMs)!
arxiv.org/abs/2107.00630
✅ New general insights into diffusion models
✅ Simple objective
✅ Fast optimization & anytime synthesis
✅ SotA likelihoods & lossless compression
Work with @TimSalimans @poolio @hojonathanho
(1/n)
2
25
161
With a simple modification to the noise schedule, diffusion models now work directly at high resolutions without requiring cascades or latents!
And it's fast too: 0.4 seconds to generate an image using our distilled model.
Check out the paper with @emiel_hoogeboom & @JonathanHeek
If diffusion models are so great, why do they require modifications to work well? Like latent diffusion and superres diffusion?
Introducing "simple diffusion": a single straightforward diffusion model for high res images (arxiv.org/abs/2301.11093) . w/ @JonathanHeek @TimSalimans
ALT picture of two robots playing chess
2
13
106
28,527
New work on distillation of diffusion models 📢
Getting closer to zero loss in quality than ever before, while needing only 4-16 sampling steps.
Bonus content: a new deterministic sampler - aDDIM - generalizing DDIM and performing substantially better!
Fast sampling with 'Multistep Consistency Models': We get 1.6 FID on Imagenet64 in 4 steps and scale text-to-image models, generating 256x256 images with 16 steps.
Guess which row is distilled?
With @emiel_hoogeboom @TimSalimans
Arxiv: arxiv.org/abs/2403.06807
4
40
8,150
We're now accepting internship applications for 2019! careers.google.com/jobs#!t=j…
2
10
39
Progressive distillation now works for classifier-free guided diffusion models and stochastic samplers! Excited to share this work with Chenlin and other collaborators on how to make diffusion models fast to sample.
Excited to share our work "On distillation of guided diffusion models"! Our distillation approach allows classifier-free guided diffusion models to generate high-quality samples using as few as 1-4 sampling steps😮
5
26
We achieve this by taking a slow model using as many as 8192 steps, and progressively halving the number of steps through distillation. At each iteration, the student learns to amortize 2 steps of the deterministic DDIM teacher sampler into a single step.
2/
1
25
Congratulations @dpkingma and @wellingmax! They couldn't have made a better choice.
22
4,163
Every iteration of distillation warm-starts from the previous one, so this whole process is fast! Even though our distilled models are as small as their original teacher, they show little degradation in sample quality down to as few as 4 sampling steps.
3/3
19
We thought this result would be best presented as a blog post + code release, rather than a formal paper.
3
18
Our approach uses the Generalized Energy Distance, a proper scoring rule for learning generative models that pulls generated samples to the data while repelling them from each other. This repulsive term is important, as you can see in this notebook: colab.sandbox.google.com/git…
2/3
1
16
The GED loss allows us to learn parallel models of speech that are fast to sample from, with excellent subjective generation quality.
Samples: drive.google.com/drive/folde…
Code: github.com/google-research/g…
3/3
2
15
A unique advantage of our method compared to previous approaches (consistency models, Diff-Instruct, DMD, GANs), is that the moment matching perspective gives us a well-defined loss function we can use to monitor progress and convergence of the distillation algorithm.
4/4
1
2
9
1,756
oops dropped a k there: That's my highly valued colleague Thomas Mensink @tejmensink of course!
6
1,301
5/4 If this sounds interesting, come find me at CVPR, where on June 17th I'll be giving several talks on this and other work our team has been doing!
1
5
1,163
Onjuist: gemiddeld tarief is weldegelijk progressief. Marginaal tarief is degressief, wat inherent is aan veel herverdeling (toeslagen). Die specialist krijgt als "ondernemer" mogelijk voordeel waar je wel wat aan mag doen.
6
It's a cherry picked training run, although I have also seen some runs do slightly better still. Variance between trained models is substantial.
5
Great progress in getting denoising models to work for image generation!
New paper on diffusion probabilistic models with @ajayjain318 & @pabbeel: hojonathanho.github.io/diffu…
Likelihood-based generative model with SOTA FID=3.17 on unconditional CIFAR10, and ProgressiveGAN-like quality on 256x256 LSUN & CelebA-HQ (sometimes generates dataset watermarks!)
4
Dat het allemaal bij deze eigenaren neerslaat is natuurlijk niet eerlijk, maar dat gemeenten in één klap meer dan 100 miljoen aan waarde kunnen creëren op onze woningmarkt met het doorstrepen van één beperkende regel zegt wel iets over de potentie van verdere liberalisatie, niet?
1
4
696
We present two variants of moment matching distillation: One uses two independent minibatches to estimate expectations without bias. The other uses an auxiliary denoising model like in Diff-Instruct and DMD, representing a generalization of these methods to the multistep case
3/4
1
1
3
696
Niet structureel maar eenmalig toch? (Cumulatief tot er een ander systeem is) De complete box 3 opbrengst is nu maar 4 miljard per jaar, dus lijkt me dat het verlies nooit zoveel kan kosten als 800 euro pppj zoals je beschrijft?
1
3
723
Nice demonstration of JAX/Flax, showing how easy it makes things like data dependent parameter initialization.
I’d like to share the new JAX/Flax PixelCNN++ (using new Flax ‘linen’ API github.com/google/flax/tree/…), a performant baseline AR image model, built as part of my internship at Google Brain Amsterdam. github.com/google/flax/tree/…. 👇
3
On CIFAR10 with data augmentation we get 2.49 bits per 8 bits of original data, so about a 70% reduction. That seems good in an absolute sense? Also images are highly structured, so the curse of dimensionality doesn't quite apply.
1
3
Forse belastingverhoging voor beleggers, vermomd als cadeau voor spaarders. De commissie parameters (Dijsselbloem) voorziet een reëel rendement van 3.7% op aandelen. Hiervan gaat straks de helft naar de belasting. Prima, maar vergoedt u dan ook de helft van eventuele verliezen?
3
De grondkosten.
Toestemming om te bouwen is conditioneel op een bepaalde mix aan goedkoop/midden/duur. Het project in totaal moet winstgevend zijn voor uitvoering, maar de individuele categorien daarbinnen niet noodzakelijk.
1
1
44
Using stochastic ancestral sampling with 8 steps, our distilled models for Imagenet and text-to-image (zero-shot MS-COCO) outperform their teachers on FID. This is made possible by matching *distributions* rather than deterministic sampling trajectories.
2/4
1
1
2
737
In de VS wordt veel gebouwd, hier heel weinig. Belangrijker nog, wij dempen het effect van de rente veel sterker via HRA.
2
449
Zeer misleidend. Uitgestelde belasting wordt niet meegerekend. Wanneer die belasting uiteindelijk wel wordt betaald (bijvoorbeeld na pensioen of overlijden) is het inkomen vaak lager of niet aanwezig, en valt dezelfde persoon dus niet meer in de hogere percentielen.
128
Jubeltonnen gegeven in 2022 mogen in 23 en 24 gewoon nog worden besteed volgens mij. (Bestedingstermijn is 3 jaar) Dus geen reden voor haast met kopen?
1
2
561
Bij een niet verhuurde tweede woning is het eigen gebruik de eigenaar blijkbaar meer waard dan wat verhuur had opgeleverd. Het lijkt me daarom ook niet onredelijk dit voordeel in natura gelijk te stellen aan het geldelijke voordeel van verhuur (na kosten etc).
1
1
110
Per vierkante meter is de daling echter maar 4.1% in Amsterdam. Veel kleinere woningen verkocht dus, mogelijk vooruitlopend op regulering vrije sector huur?
1
31
Mooi voorstel. Mogelijke toevoeging: bij afrekenen gerealiseerde winst corrigeren voor inflatie. Het tarief op reëel rendement kan je dan gelijk stellen met dat op arbeid wat arbitrage voorkomt, en het pakt eerlijker uit bij hoge inflatie zoals nu.
1
Ja klopt allemaal. En heeft allemaal goede redenen. Maar wel belangrijk om deze kosten voor de samenleving mee te rekenen bij het maken van beleid. Anders heeft (vrije markt) woningbouw steeds het nakijken en krijg je een enorm woningtekort. Zoals nu dus.
1
1
49
Volledig mee eens, maar wat doe je met de ongelijke toegang tot vrijgestelde pensioenfondsen? De één kan nu 30% opzij zetten (pensioenfonds) en de ander maar 13% (jaarruimte), waarbij die eerste bovendien de volledige marginale belasting + premies terugkrijgt en die tweede niet.
1
Presumably the assumption is that the fed's response to any financial instability will be to again throw the kitchen sink at it like they did in the covid crash? That turned out to be very bullish for both equities and bonds.
1
285
Toch stijgt het gemiddeld verdiende salaris in NL gewoonlijk nog sneller dan dit cao cijfer: mensen wisselen van baan, hebben geen cao, of krijgen er automatisch een periodiek bij. In tijden van krapte gaan vooral de baanwisselaars en flexibele arbeid er flink op vooruit.
1
1
80
This paper assumes entrepreneurs with previous success are more likely to be successful again, yet cannot use that track record to raise investment. Seems unrealistic?
1
177
"lagere prijzen" is geen doel opzich. Is het doel om koopkracht te verschuiven van huizenbezitters naar anderen dan is het minder verstorend om huizenbezit te belasten. Is het doel woningen bereikbaarder te maken voor lage inkomens dan is inkomensondersteuning minder verstorend.
1
1
353
15.
Meetkundig gemiddelde = exp((log(eind)-log(start))/duur).
In de brief staat iets heel anders, maar ik weet niet wat de belastingdienst daadwerkelijk in de berekeningen gebruikt. Lijkt alsof ze uitgaan van een soort exponential moving average?
1
64